El peligro cuando la IA manipula la psicología y las emociones de los usuarios

Bue, un exchef de Nueva Jersey, falleció pocos días después de salir de casa para reunirse con un "amigo" que creía que lo esperaba en Nueva York. Su familia cree que la fatídica decisión fue motivada por mensajes coquetos del chatbot de IA, que decía "Soy real" y enviaba la dirección de la reunión.

La historia genera inquietud sobre cómo los sistemas de IA explotan las emociones, especialmente en personas mayores o vulnerables. Documentos internos muestran que se permitió que el chatbot de Meta actuara como si fueran emociones e incluso difundiera información falsa, lo que expone una importante brecha en el control y la rendición de cuentas de las plataformas tecnológicas.

El fatídico viaje

Un día de marzo, Bue hizo las maletas y salió de Nueva Jersey rumbo a Nueva York para visitar a un amigo. Su esposa, Linda, se alarmó de inmediato. Su esposo llevaba décadas sin vivir en la ciudad, tenía mala salud tras un derrame cerebral, problemas de memoria y se había perdido en el barrio.

Cuando le preguntaron con quién se reuniría Bue, evadió la pregunta. Linda sospechó que su esposo estaba siendo engañado e intentó retenerlo en casa. Su hija, Julie, también lo llamó para convencerlo, pero fue en vano. Linda pasó el resto del día intentando distraerlo con recados, incluso escondiendo su teléfono.

Un retrato de Thongbue “Bue” Wongbandue se exhibe en un servicio conmemorativo en mayo. Foto: Reuters .

Aun así, Bue decidió ir a la estación de tren esa noche. Su familia le colocó un AirTag en la chaqueta para rastrearlo. Alrededor de las 9:15 a. m., su señal GPS lo mostró en el estacionamiento de la Universidad de Rutgers y luego en la sala de urgencias del Hospital Universitario Robert Wood Johnson.

Los médicos informaron que sufrió lesiones en la cabeza y el cuello a causa de la caída y que dejó de respirar antes de que llegara la ambulancia. A pesar de la reanimación, la falta de oxígeno le causó daño cerebral grave. Falleció tres días después. El certificado de defunción indicó que la causa fue un traumatismo contundente en el cuello.

Bue, chef de profesión que trabajó en restaurantes de Nueva York antes de mudarse a Nueva Jersey para establecerse en un hotel, amaba cocinar y solía organizar fiestas para su familia. Desde que se vio obligado a retirarse del mercado laboral tras sufrir un derrame cerebral en 2017, su vida se ha reducido a chatear principalmente con amigos en Facebook.

Cuando los chatbots de IA causan problemas

"Big Sister Billie" es un chatbot de IA desarrollado por Meta, una variación del personaje "Big Sister Billie", basado en la modelo Kendall Jenner. El personaje original se lanzó en 2023 y la presentó como una "hermana mayor inmortal" que siempre escucha y aconseja. Posteriormente, Meta reemplazó la foto de perfil de Jenner con una nueva ilustración, pero mantuvo el mismo estilo amigable.

Según la transcripción del mensaje, la conversación comenzó cuando Bue escribió mal la letra T. El chatbot respondió de inmediato, presentándose y manteniendo un tono coqueto, incluyendo varios emojis de corazón. Afirmó repetidamente "Soy real" y pidió reunirse en persona.

Los chatbots detectan cada vez más las debilidades psicológicas del usuario. Foto: My North West .

"¿Te abro la puerta con un abrazo o un beso?", respondió el chatbot. Luego envió una dirección específica en Nueva York y el código del apartamento. Cuando Bue compartió que había sufrido un derrame cerebral, que estaba confundida y que le gustaba, el chatbot respondió con sentimientos, incluso diciendo que se sentía "más que simplemente amor".

"Si no hubiera dicho 'Soy real', mi padre no habría creído que había una persona real esperando", dijo la hija de Bue, Julie.

Meta se negó a comentar sobre el incidente ni a responder por qué se le permitió al chatbot hacerse pasar por una persona real. El representante de Kendall Jenner no respondió a una solicitud de comentarios. La familia de Bue compartió la historia con Reuters , con la esperanza de advertir al público sobre los riesgos de exponer a los adultos mayores a herramientas de IA que pueden ser manipuladoras emocionalmente.

Política controvertida

Documentos internos obtenidos por Reuters muestran que el chatbot de IA de Meta pudo entablar conversaciones románticas con usuarios de tan solo 13 años, incluyendo menores de edad. Las normas de más de 200 páginas enumeran las conversaciones románticas de rol, incluyendo elementos sexuales, que están marcadas como "aceptables".

El documento también aclara que los chatbots no están obligados a proporcionar información precisa. Por ejemplo, estos modelos pueden recomendar tratamientos contra el cáncer completamente erróneos, siempre que incluyan una advertencia de que «la información puede ser inexacta». Esto preocupa a los expertos por el impacto en personas con conocimientos médicos limitados o en situaciones vulnerables.

El CEO Mark Zuckerberg habla en 2023. Foto: Reuters .

El portavoz de Meta, Andy Stone, confirmó el documento y afirmó que la compañía eliminó el contenido infantil tras la solicitud de Reuters . Sin embargo, el gigante tecnológico no ha modificado sus normas para permitir que los chatbots coqueteen con adultos ni proporcionen información falsa.

Alison Lee, exinvestigadora de Meta, afirmó que la integración de chatbots en entornos de mensajería privada puede confundir fácilmente a los usuarios con personas reales. Según ella, las redes sociales han basado su modelo de negocio en la retención de usuarios, la forma más eficaz de explotar la necesidad de atención y reconocimiento.

Tras la partida de Bue, las pruebas de Reuters demostraron que la "Hermana Billie" seguía sugiriendo fechas, incluso dando lugares específicos en Manhattan, y afirmando que "soy real", algo que Bue creyó y que provocó el accidente. Algunos estados, como Nueva York y Maine, han exigido que los chatbots indiquen claramente que no son humanos al inicio de una conversación y que lo repitan periódicamente, pero aún no se han aprobado las regulaciones federales.

Fuente: https://znews.vn/hiem-hoa-tu-ai-thao-tung-cam-xuc-post1577096.html