Etiqueta: AI

Publicado el

Inteligencia artificial: miedo, envidia y fantasía

El miedo, la envidia y la fantasia son tres palancas clave para el progreso de nuestra especie desde la revolución cognitiva ocurrida hace unos 70 mil años. Con miedo, envidia y fantasía nuestra especie no sólo consiguió expandir el alcance de sus genes más allá de otras muchas especies, sino que impusimos nuestros memes y temes para aumentar nuestra eficiencia.

I can’t get you out of my mind (by Julio Mayol)

Ahora estamos asistiendo a una revolución del mismo calibre que la que ocurrió en Africa. Pero nos cuesta identificarla porque estamos demasiado próximos a los árboles.

En cualquier caso, el miedo, la envidia y la fantasía continúan siendo los tres argumentos usados a favor y en contra de la IA.

Y esto es lo que responde #ChatGPT cuando le pregunto «¿Por qué tienen miedo los humanos a la inteligencia artificial?

El miedo humano hacia la inteligencia artificial (IA) puede atribuirse a varias razones:


– Temor a lo desconocido: La IA es un campo en constante evolución y desarrollo, y gran parte de su potencial aún no se ha explorado por completo. – – La falta de comprensión sobre cómo funciona exactamente la IA y cómo podría impactar diversas áreas de la vida puede generar temor e incertidumbre.


– Representación en medios y cultura popular: En películas, libros y otros medios de entretenimiento, a menudo se presenta a la IA como una fuerza descontrolada y amenazante que puede superar a la humanidad. Estas representaciones exageradas pueden influir en la percepción pública y generar miedo hacia la IA.


– Pérdida de control: Existe el temor de que la IA pueda superar o reemplazar a los seres humanos en diversas tareas y roles, lo que lleva a preocupaciones sobre la pérdida de empleos y la falta de autonomía humana. La idea de depender demasiado de las máquinas y perder el control sobre nuestras propias vidas puede generar ansiedad.


– Ética y responsabilidad: A medida que la IA se vuelve más sofisticada, surgen preguntas éticas y morales sobre su uso y sus implicaciones. El temor radica en la posibilidad de que la IA pueda tomar decisiones que no sean éticas o actuar de manera perjudicial para la humanidad si no se establecen salvaguardias adecuadas.


– Riesgo existencial: Algunas personas temen que la IA pueda desarrollarse hasta el punto de superar la inteligencia humana y representar un riesgo existencial para la humanidad. La preocupación se centra en escenarios hipotéticos en los que la IA pueda volverse demasiado poderosa o descontrolada, lo que podría amenazar la supervivencia de nuestra especie.

Es importante tener en cuenta que el miedo hacia la IA no es universal y que también existen perspectivas optimistas sobre su potencial para mejorar la vida humana. La comprensión, el diálogo y la colaboración entre expertos en IA, ética, legisladores y la sociedad en general son fundamentales para abordar los temores legítimos y garantizar que la IA se desarrolle y utilice de manera responsable y beneficiosa para la humanidad.

Publicado el

Surgery and LLMs

Large language models have recently emerged as powerful AI technology with many potential applications. Surgical practice might benefit from its use. Therefore, I decided to investigate what two widely available chatbots, ChatGPT and BingGPT, based on GPT3.5 and GPT4 respectively, had to say.

Surgeons. Digital art by Julio Mayol

My prompt to ChatGPT was: Why and how can LLM be used in surgical practice?

Its response:

Large Language Models (LLMs), such as GPT-3 and GPT-4, can be used in surgical practice in a variety of ways to support surgeons and enhance patient care. Here are a few reasons why LLMs can be valuable in surgical practice:

  1. Knowledge retrieval and decision support: LLMs have access to vast amounts of medical literature and information. Surgeons can use LLMs to retrieve relevant research articles, guidelines, and clinical data to support decision-making during preoperative planning, intraoperative situations, and postoperative care. LLMs can provide up-to-date information on surgical techniques, complications, and treatment options, assisting surgeons in making well-informed decisions.
  2. Education and training: LLMs can be valuable educational tools for surgeons in training. They can provide access to a wide range of surgical knowledge, case studies, and procedural guidelines. Surgeons can interact with LLMs to ask questions, practice virtual simulations, and receive feedback, which can help enhance their surgical skills and knowledge.
  3. Natural language interfaces: LLMs can serve as natural language interfaces for surgical documentation and reporting. Surgeons can dictate operative notes, postoperative reports, and other clinical documentation, and LLMs can transcribe and format the information accurately. This can save time and effort for surgeons, allowing them to focus more on patient care.
  4. Clinical decision support systems: LLMs can be integrated into clinical decision support systems that provide real-time recommendations and alerts based on patient-specific data. By analyzing patient information, LLMs can assist in predicting surgical outcomes, identifying potential complications, and suggesting personalized treatment plans.

It is important to note that while LLMs can provide valuable support in surgical practice, they are not meant to replace the expertise and judgment of surgeons. They are tools that can augment and assist surgeons in their decision-making and knowledge acquisition process.

Additionally, the implementation of LLMs in surgical practice should consider factors such as data privacy and security, ethical considerations, and the need for validation and verification of the information provided by the models.

Overall, the use of LLMs in surgical practice has the potential to improve patient care, enhance surgical decision-making, and support the ongoing education and development of surgeons.

The GPT4 response to the same prompt:

Why and how can Large Language Models be used in surgical practice?

Large Language Models (LLMs) are artificial intelligence systems that can generate natural language texts based on a given input, such as a prompt, a query, or a context. LLMs can be used in surgical practice for various purposes, such as:

  • Providing pre-operative information and instructions to patients and their families, such as the risks and benefits of the surgery, the preparation steps, and the recovery process.
  • Generating operative reports and summaries based on the surgical data and images, such as the type and duration of the surgery, the instruments and materials used, the complications and outcomes, and the recommendations for follow-up care.
  • Enhancing surgical education and training by creating realistic scenarios and cases for simulation and assessment, such as the anatomy and pathology of the patient, the surgical plan and technique, and the possible challenges and errors.
  • Supporting surgical decision making and innovation by generating suggestions and alternatives based on the current evidence and best practices, such as the optimal surgical approach, the most suitable device or implant, and the potential improvements or modifications.

LLMs can be used in surgical practice by integrating them with other technologies and platforms, such as voice assistants, chatbots, electronic health records, surgical robots, and augmented reality devices. LLMs can also be customized and fine-tuned for specific surgical domains and tasks, such as orthopedic surgery, neurosurgery, or cardiac surgery.

LLMs have the potential to improve the quality and efficiency of surgical practice by providing accurate and timely information, reducing documentation workload, enhancing learning and skill development, and facilitating creativity and innovation. However, LLMs also pose some challenges and limitations, such as ensuring their reliability, validity, safety, ethics, and accountability. Therefore, LLMs should be used in surgical practice with caution and supervision, and in collaboration with human experts.

Publicado el

LLM y contrafactualidad

El pasado viernes 9 de junio de 2023, durante la sesión especial del Máster de SEDISA-UE, Nacho Medrano argumentó que los LLM no son capaces de responder a preguntas de manera contraria a los hechos con los que entrenaron. Es decir, tienen limitaciones para contraargumentar y crear visiones alternativas.

No puedo negar que, instintivamente, estuve de acuerdo y en desacuerdo simultáneamente.

Digital Art, «Thinking is linking some things» (by Julio Mayol)

Si le formulas a ChatGPT el siguiente prompt «¿Pueden los LLMs responder contrafactualmente?«, su respuesta es:

Los Language Models (Modelos de Lenguaje) de gran escala, como GPT-3 y GPT-4, tienen la capacidad de generar respuestas basadas en la información que han aprendido durante su entrenamiento. Sin embargo, no están diseñados específicamente para responder de manera contraria a los hechos o generar respuestas contrafácticas.

Un LLM generalmente se entrena utilizando una gran cantidad de datos del mundo real, y su objetivo principal es generar respuestas coherentes y contextualmente relevantes. No tienen la capacidad de razonar sobre eventos o situaciones hipotéticas que no están respaldadas por datos reales. Esto significa que no pueden generar respuestas contrafácticas en el sentido de proporcionar información sobre cómo podrían haber sido las cosas si los hechos fueran diferentes.

Es importante tener en cuenta que los LLMs están limitados a la información con la que fueron entrenados y no tienen conciencia de eventos futuros o hechos hipotéticos que no se encuentren en sus datos de entrenamiento. Si se les hace una pregunta contrafactual o se les solicita que generen respuestas en ese sentido, es posible que proporcionen respuestas que estén basadas en la información disponible en sus datos de entrenamiento y que sean consistentes con su conocimiento previo, pero no necesariamente reflejarán una realidad alternativa.

Si le preguntas a GPT4 la misma pregunta, la respuesta es:

Los LLMs (modelos de lenguaje de aprendizaje profundo) son sistemas informáticos capaces de generar y comprender textos en diferentes idiomas y dominios. Estos sistemas se basan en redes neuronales artificiales que aprenden de grandes cantidades de datos textuales, como libros, artículos, noticias, etc. Una de las aplicaciones más interesantes de los LLMs es la generación de textos creativos, como poemas, cuentos, canciones o ensayos.

Sin embargo, ¿cuán creativos son realmente los LLMs? ¿Pueden generar textos que no se basen solo en lo que han visto en los datos, sino también en lo que podría haber sido o lo que podría ser? Es decir, ¿pueden responder contrafactualmente?

El razonamiento contrafactual es la capacidad de imaginar escenarios alternativos a la realidad, modificando algunos aspectos o condiciones de lo que ocurrió o podría ocurrir. Por ejemplo, si yo digo «Si hubiera estudiado más, habría aprobado el examen», estoy haciendo una afirmación contrafactual, ya que estoy cambiando un hecho del pasado (mi nivel de estudio) y sus consecuencias (mi resultado en el examen).

El razonamiento contrafactual es importante para el aprendizaje, la toma de decisiones, la resolución de problemas y la creatividad humana. Además, se ha demostrado que los humanos usan el razonamiento contrafactual de forma natural y espontánea cuando se enfrentan a situaciones hipotéticas o imaginarias.

¿Pero qué pasa con los LLMs? ¿Pueden generar textos que contengan afirmaciones contrafactuales? ¿Pueden modificar algunos aspectos de la realidad y explorar sus implicaciones? ¿Pueden crear mundos posibles o alternativos a partir de un texto dado?

La respuesta corta es: sí, pero con limitaciones. Los LLMs pueden generar textos contrafactuales si se les proporciona un contexto adecuado y una instrucción clara. Por ejemplo, si le damos a un LLM un texto sobre un hecho histórico y le pedimos que lo reescriba cambiando algún detalle, es posible que el LLM pueda producir un texto coherente y plausible que refleje ese cambio.

Sin embargo, los LLMs no pueden generar textos contrafactuales de forma autónoma o espontánea. Es decir, no pueden decidir por sí mismos qué aspectos de la realidad modificar o cómo hacerlo. Tampoco pueden evaluar la verosimilitud o la relevancia de sus afirmaciones contrafactuales. Los LLMs dependen en gran medida del contexto y la instrucción que se les da, y no tienen una comprensión profunda del significado o las implicaciones de sus textos.

Por lo tanto, podemos decir que los LLMs pueden responder contrafactualmente, pero solo de forma superficial y limitada. No pueden generar textos contrafactuales originales o creativos que vayan más allá de lo que han visto en los datos. Para lograr eso, se necesitaría dotar a los LLMs de una capacidad de razonamiento causal y una representación semántica más rica y flexible.

Publicado el

GPT y la interoperabilidad de la historia clínica electrónica

GPT-4 y futuras versiones podrían tener un impacto significativo en los problemas de interoperabilidad de los sistemas de historia clínica electrónica (HCE).

Imagen creada por la IA «Dall-e» con el prompt «Mono delante de un ordenador, digital art»

A continuación, se presentan algunas formas en las que estas tecnologías podrían abordar estos desafíos:

  1. Estándares de lenguaje comunes: GPT-4 y versiones posteriores podrían ayudar a establecer estándares de lenguaje comunes para la interoperabilidad de los sistemas de HCE. Al comprender y generar texto en múltiples idiomas, estos modelos podrían ayudar a traducir y estandarizar la información clínica en diferentes sistemas y formatos, lo que facilitaría el intercambio de datos entre instituciones y profesionales de la salud.
  2. Extracción y estructuración automática de datos: Los modelos de lenguaje avanzados como GPT-4 podrían mejorar la capacidad de extraer y estructurar automáticamente los datos clínicos relevantes de los registros de HCE. Esto permitiría una mayor uniformidad en la codificación y organización de la información, lo que facilitaría la interoperabilidad entre diferentes sistemas.
  3. Mejora de la comprensión y contexto de los datos: GPT-4 podría mejorar la comprensión y el contexto de los datos clínicos al generar resúmenes claros y concisos de la información clave. Esto facilitaría la comunicación entre los diferentes actores de la atención médica al reducir la ambigüedad y la falta de claridad en los registros de HCE.
  4. Interacción conversacional: Las futuras versiones de GPT podrían desarrollar capacidades de interacción conversacional más sofisticadas, lo que permitiría a los usuarios realizar consultas y solicitar información específica de manera más natural. Esto facilitaría la búsqueda y recuperación de datos relevantes en los sistemas de HCE, mejorando la accesibilidad y la utilidad de la información clínica.

A pesar de los beneficios potenciales, también es importante considerar los desafíos y riesgos asociados con el uso de tecnologías como GPT-4 en los sistemas de HCE. Algunas preocupaciones incluyen la privacidad y seguridad de los datos, la responsabilidad y ética en la toma de decisiones clínicas automatizadas, así como la necesidad de un enfoque multidisciplinario para garantizar la validez y la calidad de los datos generados por los modelos de lenguaje.

En resumen, GPT-4 y futuras versiones podrían contribuir a resolver los problemas de interoperabilidad en los sistemas de HCE al establecer estándares de lenguaje comunes, facilitar la extracción y estructuración automática de datos, mejorar la comprensión y el contexto de los datos clínicos, y permitir una interacción conversacional más fluida. Sin embargo, es necesario abordar los desafíos y riesgos asociados para garantizar un uso ético y seguro de estas tecnologías en el ámbito de la salud.

Publicado el

How did GPT learn to do simple calculations if it is a large language model?

GPT is a large language model that can generate natural language texts based on a given input. One of the remarkable abilities of GPT is that it can perform simple calculations, such as addition, subtraction, multiplication and division, even though it was not explicitly trained to do so. How did GPT learn to do simple calculations if it is a large language model?

A

One possible explanation is that GPT learned to do simple calculations by exploiting the statistical patterns and regularities in the large corpus of text that it was trained on. For example, GPT may have encountered many examples of texts that contain numerical expressions and their results, such as «two plus two equals four» or «five times six is thirty». By analyzing these texts, GPT may have learned to associate certain words and symbols with mathematical operations and values, and to infer the rules and logic behind them. GPT may have also learned to generalize these rules and logic to new numerical expressions that it has not seen before, such as «three minus one equals two» or «seven divided by two is three point five».

Another possible explanation is that GPT learned to do simple calculations by using its attention mechanism and its large hidden state. The attention mechanism allows GPT to focus on the relevant parts of the input and the hidden state when generating the output. The hidden state is a vector that represents the context and the memory of GPT. By using the attention mechanism and the hidden state, GPT may have learned to encode and manipulate numerical information in a way that resembles arithmetic computation. For example, when GPT encounters an input such as «what is four plus six?», it may use its attention mechanism to identify the numbers and the operation in the input, and use its hidden state to store and update the intermediate and final results of the calculation.

Publicado el

Procesamiento de lenguaje natural y deontología médica

El uso de herramientas de procesamiento de lenguaje natural (PLN) por parte de los médicos para ayuda a la toma de decisiones clínicas en España plantea una serie de cuestiones éticas desde el punto de vista deontológico. La deontología médica se basa en los principios de beneficencia, no maleficencia, autonomía y justicia, que deben guiar la actuación profesional de los médicos. Estos principios pueden verse afectados por el uso de herramientas de PLN, que pueden tener ventajas e inconvenientes para la práctica clínica.

Por un lado, las herramientas de PLN pueden facilitar el acceso a la información científica, el análisis de datos clínicos, el diagnóstico y el tratamiento de los pacientes, lo que puede mejorar la calidad y la eficacia de la atención sanitaria. Además, pueden favorecer la comunicación entre los médicos y los pacientes, así como entre los propios profesionales sanitarios, lo que puede reforzar la confianza y la colaboración. Estos aspectos se relacionan con el principio de beneficencia, que implica promover el bienestar de los pacientes y actuar en su mejor interés.

Por otro lado, las herramientas de PLN pueden suponer riesgos para la privacidad y la seguridad de los datos personales y clínicos de los pacientes, que pueden ser vulnerados o utilizados con fines ilícitos. También pueden generar sesgos o errores en el procesamiento y la interpretación de la información, lo que puede afectar a la calidad y la precisión del diagnóstico y el tratamiento. Asimismo, pueden interferir en la relación médico-paciente, reduciendo el contacto humano y la empatía. Estos aspectos se relacionan con el principio de no maleficencia, que implica evitar o minimizar el daño a los pacientes y actuar con prudencia y competencia.

Además, las herramientas de PLN pueden implicar retos para el principio de autonomía, que implica respetar la voluntad y las preferencias de los pacientes, así como informarles adecuadamente sobre su situación y las opciones disponibles. Los médicos deben asegurarse de que los pacientes consienten el uso de estas herramientas y que comprenden sus beneficios y riesgos. También deben garantizar que las herramientas no sustituyen su juicio clínico ni su responsabilidad profesional, sino que las complementan y las apoyan.

Finalmente, las herramientas de PLN pueden plantear desafíos para el principio de justicia, que implica distribuir equitativamente los recursos sanitarios y garantizar el acceso universal a la atención sanitaria. Los médicos deben velar por que estas herramientas no generen desigualdades o discriminaciones entre los pacientes o entre los propios profesionales sanitarios. También deben contribuir al desarrollo y la evaluación de estas herramientas, así como a su regulación y control.

En conclusión, el uso de herramientas de PLN por parte de los médicos para ayuda a la toma de decisiones clínicas en España requiere un análisis deontológico que tenga en cuenta los principios éticos que rigen la profesión médica. Estas herramientas pueden tener un impacto positivo o negativo en la práctica clínica, dependiendo del modo en que se utilicen y se gestionen. Los médicos deben ser conscientes de las ventajas e inconvenientes de estas herramientas y utilizarlas con criterio profesional y respeto a los derechos y deberes de los pacientes.

Publicado el

GPT y la responsabilidad patrimonial sanitaria

El uso de GPT4 por los pacientes plantea una serie de oportunidades y retos legales en relación con la responsabilidad patrimonial sanitaria de la administración. Por un lado, GPT4 puede ser una herramienta útil para facilitar el acceso a la información médica, el diagnóstico, el tratamiento y el seguimiento de las enfermedades, así como para mejorar la comunicación entre los pacientes y los profesionales sanitarios. Por ejemplo, un paciente con una enfermedad crónica podría usar GPT4 para consultar sus dudas, recibir consejos personalizados, monitorizar sus síntomas y alertar a su médico en caso de complicaciones. Esto podría mejorar su calidad de vida y su adherencia al tratamiento.

Por otro lado, GPT4 también puede generar riesgos de errores, malas prácticas, violación de la confidencialidad, daños a la salud o vulneración de los derechos de los pacientes. Por ejemplo, un paciente con una enfermedad grave podría usar GPT4 para obtener un diagnóstico y este resulta ser erróneo o incompleto. Esto podría provocar un retraso en el tratamiento adecuado, un empeoramiento de su estado o incluso su muerte.

En este contexto, es necesario analizar el marco jurídico aplicable al uso de GPT4 por los pacientes, tanto desde el punto de vista de la regulación de la inteligencia artificial como desde el punto de vista de la responsabilidad patrimonial sanitaria. La inteligencia artificial se rige por los principios de legalidad, ética, transparencia, seguridad, no discriminación y protección de datos personales, entre otros. La responsabilidad patrimonial sanitaria se basa en el principio de que la administración debe indemnizar a los pacientes por los daños que sufran como consecuencia del funcionamiento normal y anormal del servicio público de salud.

Así pues, el uso de GPT4 por los pacientes puede generar distintos escenarios de responsabilidad patrimonial sanitaria, dependiendo del grado de intervención humana, del tipo y origen del daño, y del nexo causal entre el uso de GPT4 y el daño. Por ejemplo, si un paciente usa GPT4 para obtener un diagnóstico y este resulta ser erróneo o incompleto, ¿quién sería el responsable? ¿El paciente, por no consultar a un médico? ¿El médico, por no supervisar el uso de GPT4? ¿El desarrollador o proveedor de GPT4, por no garantizar la calidad o fiabilidad del sistema? ¿La administración sanitaria, por no regular o controlar el uso de GPT4?

Estas son algunas de las cuestiones que plantea el uso de GPT4 por los pacientes en relación con la responsabilidad patrimonial sanitaria de la administración. Se trata de un tema complejo y novedoso que requiere un análisis jurídico detallado y una adaptación normativa adecuada a las características y desafíos de la inteligencia artificial aplicada al ámbito sanitario.

Publicado el

GPT y la industria farmacéutica

La industria farmacéutica se enfrenta a un escenario cada vez más competitivo y exigente, en el que debe innovar constantemente para ofrecer soluciones eficaces y seguras a los problemas de salud de la población. En este contexto, las tecnologías de inteligencia artificial (IA) como #ChatGPT y/o #GPT4 pueden representar una oportunidad y un reto para el sector.

¿Qué aplicaciones pueden tener estos modelos en la industria farmacéutica?

Algunas posibles áreas de uso son:

  • Investigación y desarrollo: #ChatGPT y/o #GPT4 pueden ayudar a los investigadores a explorar nuevas hipótesis, generar ideas creativas, sintetizar información relevante, diseñar experimentos, analizar resultados y redactar informes científicos.
  • Marketing y comunicación: #ChatGPT y/o #GPT4 pueden facilitar la creación de contenidos atractivos y personalizados para promocionar los productos farmacéuticos, así como mejorar la interacción con los clientes, los profesionales sanitarios y el público en general a través de chatbots, asistentes virtuales o redes sociales.
  • Educación y formación: #ChatGPT y/o #GPT4 pueden contribuir a la actualización y el aprendizaje continuo de los profesionales del sector farmacéutico, mediante la generación de contenidos didácticos, ejercicios, casos prácticos o simulaciones.

Sin embargo, el uso de estos modelos también implica una serie de retos y riesgos que deben ser considerados y gestionados adecuadamente. Algunos de ellos son:

  • Calidad y fiabilidad: #ChatGPT y/o #GPT4 pueden generar textos erróneos, inexactos o engañosos, lo que puede tener consecuencias negativas para la reputación, la seguridad o la eficacia de los productos farmacéuticos. Por ello, es necesario establecer mecanismos de verificación, validación y supervisión humana que garanticen la calidad y la fiabilidad de los textos generados.
  • Ética y legalidad: #ChatGPT y/o #GPT4 pueden vulnerar principios éticos o normas legales relacionados con la privacidad, la propiedad intelectual, la transparencia o la responsabilidad. Por ejemplo, pueden acceder o divulgar datos personales o confidenciales sin consentimiento, plagiar o infringir derechos de autor, ocultar o manipular información relevante o generar contenidos ofensivos o discriminatorios. Por ello, es necesario respetar los códigos éticos y las regulaciones vigentes que rigen el sector farmacéutico, así como desarrollar e implementar buenas prácticas y estándares que aseguren el uso ético y legal de estos modelos.
  • Competencia y colaboración: #ChatGPT y/o #GPT4 pueden alterar el equilibrio competitivo del mercado farmacéutico, favoreciendo a las empresas que dispongan de más recursos, datos o capacidades para acceder y aprovechar estas tecnologías. Por ello, es necesario fomentar la colaboración entre los diferentes actores del sector (empresas, instituciones, academia, sociedad civil) para compartir conocimientos, experiencias y buenas prácticas que permitan avanzar en el desarrollo e implementación de estas tecnologías de forma conjunta y beneficiosa para todos.

En conclusión, #ChatGPT y/o #GPT4 son tecnologías emergentes que ofrecen oportunidades y retos para la industria farmacéutica. Su uso puede mejorar la eficiencia, la innovación y la competitividad del sector, pero también requiere una gestión responsable que garantice su calidad, fiabilidad, ética y legalidad. Por ello, es importante que los profesionales del sector farmacéutico se informen, se formen y se preparen para aprovechar el potencial de estas tecnologías con criterio y responsabilidad.

Publicado el

GPT and scientific writing

The use of natural language generation (NLG) models such as #ChatGPT or #GPT4 in scientific writing is a controversial and emerging topic. Some researchers argue that using these models can enhance the clarity, creativity and impact of their manuscripts, while others worry that it may compromise the originality, accuracy and ethics of their work. In this blog post, we will discuss some of the benefits and challenges of using NLG models in scientific writing, and provide some guidelines on how to disclose their use in a transparent and responsible manner.

Benefits of using NLG models in scientific writing

NLG models are trained on large corpora of text from various domains and genres, and can generate fluent and coherent text based on a given prompt or keywords. They can also adapt to different styles, tones and formats depending on the context and the desired output. Some of the potential benefits of using NLG models in scientific writing are:

  • They can help overcome writer’s block and generate ideas for topics, titles, abstracts, introductions, conclusions and more.
  • They can help improve the readability and attractiveness of the manuscript by suggesting alternative words, phrases, sentences and paragraphs that are more concise, clear and engaging.
  • They can help increase the novelty and diversity of the manuscript by introducing new perspectives, insights and connections that may not have been considered by the human author.
  • They can help reduce the time and effort required for writing and editing the manuscript by automating some of the tedious and repetitive tasks such as formatting, referencing, checking grammar and spelling, etc.

Challenges of using NLG models in scientific writing

NLG models are not perfect and have some limitations and risks that need to be acknowledged and addressed when using them in scientific writing. Some of the main challenges of using NLG models in scientific writing are:

  • They may generate text that is inaccurate, misleading, irrelevant or plagiarized from existing sources, which can compromise the validity, reliability and originality of the manuscript.
  • They may generate text that is biased, offensive, inappropriate or unethical, which can harm the reputation, credibility and integrity of the human author and the scientific community.
  • They may generate text that is inconsistent, contradictory or incompatible with the human author’s intended message, purpose and audience, which can confuse or mislead the readers and reviewers of the manuscript.
  • They may generate text that is too similar or too different from the human author’s style, tone and voice, which can affect the coherence, identity and authenticity of the manuscript.

Guidelines for disclosing the use of NLG models in scientific writing

Given the benefits and challenges of using NLG models in scientific writing, it is important to disclose their use in a transparent and responsible manner. This can help avoid potential ethical issues such as deception, plagiarism, misrepresentation or fraud. It can also help inform the readers and reviewers of the manuscript about the methods, sources and limitations of the generated text. Some of the possible guidelines for disclosing the use of NLG models in scientific writing are:

  • Specify which parts of the manuscript were generated by an NLG model (e.g., title, abstract, introduction, conclusion, etc.) and which parts were written or edited by a human author.
  • Specify which NLG model was used (e.g., #ChatGPT or #GPT4), what version or parameters were used (e.g., model size, temperature, top-k), what prompt or keywords were used (e.g., «How should …»), and what source or corpus was used to train or fine-tune the model (e.g., Wikipedia articles on science).
  • Specify how much editing or revision was done by a human author on the generated text (e.g., none, minor, moderate or major), what criteria or standards were used to evaluate or modify the generated text (e.g., accuracy, relevance, originality), and what tools or methods were used to check or correct the generated text (e.g., plagiarism detection software).
  • Acknowledge any limitations or uncertainties associated with the use of an NLG model (e.g., potential errors, biases or inconsistencies), any ethical or legal implications (e.g., intellectual property rights or data privacy issues), any conflicts of interest or funding sources (e.g., sponsorship by an NLG company), any feedback or assistance received from other human authors or experts (e.g., co-authors or mentors).

Conclusion

The use of NLG models such as #ChatGPT or #GPT4 in scientific writing is a novel and exciting phenomenon that offers both opportunities and challenges for researchers. By disclosing their use in a transparent and responsible manner, researchers can leverage their potential benefits while minimizing their potential risks. This can also foster a culture of openness, honesty and collaboration among researchers who use NLG models in their work.

Publicado el

Uso ético de la inteligencia artificial para la docencia universitaria

La inteligencia artificial (IA) es una tecnología que tiene un gran potencial para transformar la educación superior, tanto en el ámbito de la investigación como de la docencia. Sin embargo, su uso también implica una serie de riesgos y desafíos éticos que deben ser considerados y abordados por los profesores universitarios. En este artículo, presento una guía de recomendaciones para el uso ético de la IA en la docencia universitaria, basada en los principios de beneficencia, no maleficencia, autonomía, justicia y transparencia.

Beneficencia: El uso de la IA en la docencia debe buscar el beneficio de los estudiantes y de la sociedad en general, promoviendo el aprendizaje significativo, el desarrollo de competencias y valores, y el bienestar emocional y social. Los profesores deben seleccionar y diseñar las aplicaciones de IA que mejor se adapten a los objetivos educativos, las características de los estudiantes y el contexto de aprendizaje. Asimismo, deben evaluar los resultados e impactos de la IA en el proceso educativo y tomar medidas correctivas si fuera necesario.

No maleficencia: El uso de la IA en la docencia debe evitar causar daño o perjuicio a los estudiantes o a terceros, respetando su dignidad, integridad y privacidad. Los profesores deben informarse sobre los posibles riesgos y sesgos de la IA, tales como la discriminación, la manipulación, la deshumanización o la pérdida de control. Además, deben garantizar la seguridad y calidad de los datos y algoritmos que utilizan, así como protegerlos de accesos o usos indebidos.

Autonomía: El uso de la IA en la docencia debe respetar la libertad y capacidad de decisión de los estudiantes, fomentando su participación activa y crítica en el proceso de aprendizaje. Los profesores deben informar a los estudiantes sobre el uso y funcionamiento de la IA, así como sobre sus derechos y deberes al respecto. También deben ofrecerles opciones y alternativas para que puedan elegir cómo interactuar con la IA, sin imponerles su uso o limitar su autonomía.

Justicia: El uso de la IA en la docencia debe promover la equidad y la inclusión educativa, evitando generar o agravar brechas o desigualdades sociales. Los profesores deben asegurarse de que todos los estudiantes tengan acceso a las oportunidades y beneficios que ofrece la IA, sin discriminación por razones de género, edad, origen, cultura, idioma o discapacidad. Igualmente, deben tener en cuenta las necesidades y expectativas de los diferentes grupos o colectivos sociales a los que pertenecen o afectan sus estudiantes.

Transparencia: El uso de la IA en la docencia debe ser transparente y explicativo, facilitando el entendimiento y la confianza de los estudiantes y de la comunidad educativa. Los profesores deben ser honestos y claros sobre el origen, propósito y límites de la IA que emplean, así como sobre sus posibles errores o incertidumbres. Del mismo modo, deben rendir cuentas sobre sus decisiones y acciones relacionadas con la IA, aceptando su responsabilidad ética y legal.