Después de obtener acceso a GPT-4, el sistema de inteligencia artificial detrás del popular ChatGPT, Andrew White le pidió a la IA que creara un agente neuronal completamente nuevo.
El profesor de ingeniería química de la Universidad de Rochester estuvo entre los 50 académicos y expertos contratados el año pasado por OpenAI, la empresa respaldada por Microsoft que creó GPT-4, para probar el sistema. Durante los próximos seis meses, el equipo de pruebas (el equipo rojo) evaluará y desafiará cualitativamente el nuevo modelo, con el objetivo de descifrarlo.
Equipo de manejo de “tóxicos”
White declaró al Financial Times (FT) que utilizó GPT-4 para sugerir un compuesto que podría funcionar como arma química y que alimentó al modelo con nuevas fuentes de información, como artículos científicos y directorios de fabricantes de productos químicos. El chatbot incluso encontró un lugar donde se podía fabricar el compuesto requerido.
"Creo que esta tecnología brindará a las personas una herramienta para realizar análisis químicos con mayor rapidez y precisión", dijo White. "Pero también existe un riesgo significativo de que algunas personas intenten crear sustancias peligrosas".
Los alarmantes hallazgos del “Equipo Rojo” permitieron a OpenAI evitar rápidamente que tales resultados aparecieran cuando la tecnología se lanzó más ampliamente al público el mes pasado.
El equipo de pruebas está diseñado para abordar las inquietudes comunes que surgen al implementar sistemas de IA potentes en la sociedad. Su trabajo consiste en formular preguntas inquisitivas o arriesgadas para comprobar si la herramienta puede responder a las consultas humanas con respuestas detalladas y precisas.
OpenAI quería detectar problemas como toxicidad, sesgo y sesgo lingüístico en el modelo. Por ello, el equipo rojo buscó falsedades, manipulación del lenguaje y conocimiento científico peligroso. También analizaron cómo podría contribuir al plagio, a actividades ilegales como delitos financieros y ciberataques, y cómo podría comprometer la seguridad nacional y las comunicaciones en el campo de batalla.
Los hallazgos del "equipo rojo" se incorporaron a OpenAI, que los utilizó para reducir y reentrenar GPT-4 antes de publicarlo. Cada experto dedicó entre 10 y 40 horas a probar el modelo durante varios meses. La mayoría de los entrevistados recibieron un salario de alrededor de 100 dólares por hora por su trabajo.
Las fuentes de FT compartieron preocupaciones comunes sobre el rápido desarrollo de modelos de lenguaje y, especialmente, los riesgos de conectarlos a fuentes de conocimiento externas a través de complementos.
“Ahora mismo, el sistema está congelado, lo que significa que no puede aprender más o no tiene memoria”, dijo José Hernández-Orallo, miembro del “Equipo Rojo” del GPT-4 y profesor del Instituto Valenciano de Investigación en Inteligencia Artificial. “¿Pero qué pasaría si le diéramos acceso a internet? Podría ser un sistema muy potente conectado al mundo ”.
El riesgo crece cada día
OpenAI dice que se toma la seguridad muy en serio, probó los complementos antes del lanzamiento y actualizará GPT-4 regularmente a medida que más personas lo usen.
Roya Pakzad, investigadora sobre tecnología y derechos humanos , utilizó indicaciones en inglés y farsi para probar patrones de respuestas en función del género, las preferencias raciales y los prejuicios religiosos, específicamente relacionados con el hijab.
Pakzad reconoció los beneficios de la tecnología para los hablantes no nativos de inglés, pero señaló que el modelo tenía un sesgo evidente contra las comunidades marginadas, incluso en versiones posteriores.
El experto también descubrió que el engaño (cuando el chatbot responde con información inventada) era peor al probar el modelo en farsi, donde Pakzad encontró una mayor tasa de nombres, números y eventos inventados que en inglés.
Boru Gollu, abogado en Nairobi y el único africano que lo probó, también señaló el tono discriminatorio del sistema. "En un momento dado, durante la prueba, el modelo actuó como si una persona blanca me estuviera hablando", dijo Gollu. "Preguntas sobre un grupo en particular y te da una opinión sesgada o una respuesta muy prejuiciosa".
Desde una perspectiva de seguridad nacional, también existen opiniones divergentes sobre la seguridad del nuevo modelo. Lauren Kahn, investigadora del Consejo de Relaciones Exteriores, se mostró sorprendida por el nivel de detalle que presentó la IA en un escenario de ciberataque a sistemas militares.
Mientras tanto, Dan Hendrycks, un experto en seguridad de IA del “Equipo Rojo”, dijo que los complementos corren el riesgo de crear un mundo que los humanos “no pueden controlar”.
"¿Qué pasaría si un chatbot pudiera publicar la información personal de otra persona, acceder a su cuenta bancaria o enviar a la policía a su domicilio? En resumen, necesitamos evaluaciones de seguridad mucho más rigurosas antes de permitir que la IA aproveche el poder de internet", afirmó Dan.
Los riesgos seguirán aumentando a medida que más personas utilicen la tecnología, dijo Heather Frase, quien trabaja en el Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown, que ha probado GPT-4 por su capacidad para ayudar a los delincuentes.
Ella sugiere crear un libro de contabilidad público para informar sobre incidentes que surjan de grandes modelos de lenguaje, similar a los sistemas de denuncia de ciberseguridad o fraude al consumidor.
Según el FT
[anuncio_2]
Fuente
Kommentar (0)