ChatGPT y DeepSeek distorsionan los datos científicos

Se ha descubierto que modelos de IA como ChatGPT y DeepSeek tienden a sesgar el contenido científico al resumir, especialmente en el campo médico.

Un grupo de investigadores en Alemania advirtió recientemente sobre el riesgo de sesgo al usar chatbots de IA para acortar el contenido de las investigaciones. Tras analizar 4900 resúmenes científicos escritos por humanos, el equipo utilizó varios modelos de IA para comparar cómo estos sistemas procesaban la información. Los resultados mostraron que la mayoría de los chatbots cometían el error de generalizar excesivamente, incluso cuando se les pedía que resumieran con precisión.

La IA es propensa a sesgos al resumir la investigación científica.

En las pruebas, los modelos de IA cometieron cinco veces más errores que los expertos humanos sin guía. Incluso cuando se les pidió explícitamente precisión, la tasa de error fue el doble que la de un resumen estándar. «Las generalizaciones a veces parecen inofensivas, pero en realidad alteran la naturaleza de la investigación original», afirmó un miembro del equipo. «Es un sesgo sistemático».

Cabe destacar que las versiones más recientes del chatbot no solo no han solucionado el problema, sino que lo han agravado. Con su lenguaje fluido y atractivo, los resúmenes generados por IA pueden parecer fácilmente creíbles, mientras que el contenido real ha sido distorsionado. En un caso, DeepSeek cambió la frase "seguro y puede realizarse con éxito" por "tratamiento seguro y eficaz", una interpretación errónea de las conclusiones del estudio original.

En otro ejemplo, el modelo Llama recomendó medicamentos para la diabetes para jóvenes sin especificar dosis, frecuencia ni efectos secundarios. Si el lector es un médico o profesional de la salud que no verifica la investigación original, resúmenes como este pueden representar un riesgo directo para los pacientes.

Los expertos afirman que el fenómeno se origina en la forma en que se entrenan los modelos de IA. Muchos chatbots actuales se entrenan con datos secundarios, como noticias de divulgación científica, que ya han sido simplificados. A medida que la IA continúa resumiendo el contenido abreviado, aumenta el riesgo de distorsión.

Los expertos en IA en el campo de la salud mental afirman que es necesario construir barreras técnicas en las primeras etapas del desarrollo y uso de la IA.

Los usuarios deben tener cuidado, ya que los chatbots pueden distorsionar fácilmente el contenido.

A medida que los usuarios recurren cada vez más a los chatbots de IA para aprender sobre ciencia, pequeños errores de interpretación pueden acumularse y propagarse rápidamente, generando percepciones erróneas generalizadas. En un momento en que la confianza en la ciencia está en declive, este riesgo se vuelve aún más preocupante y merece la debida atención.

La integración de la IA en la investigación y la difusión del conocimiento es una tendencia irreversible. Sin embargo, los expertos afirman que la tecnología no puede reemplazar el papel de los humanos en la comprensión y verificación del contenido científico. Al utilizar chatbots en áreas de alto riesgo como la medicina, la precisión debe ser la máxima prioridad, en lugar de centrarse únicamente en la fluidez del lenguaje o la velocidad de respuesta.

Fuente: https://khoahocdoisong.vn/chatgpt-deepseek-bop-meo-du-lieu-khoa-hoc-post1552971.html