Según Yoshua Bengio, existe una carrera feroz entre los principales laboratorios del mundo para crear una IA más inteligente sin prestar suficiente atención e inversión a la seguridad.

Recientemente fundó la organización sin fines de lucro LawZero, que se centra en construir sistemas más seguros y “aislar” la investigación de las presiones comerciales.

Hasta la fecha, LawZero ha recaudado casi 30 millones de dólares de nombres como el fundador de Skype, Jaan Tallinn, y el ex director ejecutivo de Google, Eric Schmidt.

1.BENGIO_Yoshua.jpg
Sr. Yoshua Bengio, uno de los fundadores de la IA. Foto: WordPress

La organización sin fines de lucro se fundó en respuesta a la creciente evidencia durante los últimos seis meses de que las mejores modelos de la actualidad exhiben rasgos peligrosos como el engaño, el fraude y la autoconservación, dijo Bengio.

Por ejemplo, el modelo Claude Opus de Anthropic chantajeó a los ingenieros en un escenario ficticio donde corría el riesgo de ser reemplazado por otro sistema. Un estudio realizado el mes pasado también reveló que el modelo o3 de OpenAI rechazó las instrucciones para apagar el sistema.

Apenas unas semanas después de despedir a 6.000 empleados, Microsoft continúa despidiendo a cientos. A pocas semanas de despedir a 6.000 empleados, Microsoft continúa despidiendo a más de 300 personas, mientras la compañía invierte miles de millones de dólares en inteligencia artificial (IA).

El científico ganador del premio Turing señaló que estos incidentes son “muy aterradores porque no queremos crear un rival para los humanos en este planeta, especialmente si son más inteligentes que nosotros”.

Si bien por ahora son solo experimentos controlados, teme que en el futuro la próxima versión de IA será lo suficientemente inteligente como para predecir lo que sucederá y vencer a los humanos con engaños que no podemos predecir.

"Creo que estamos jugando con fuego", dijo, prediciendo que los sistemas de IA que pueden ayudar a crear "armas biológicas extremadamente peligrosas" podrían convertirse en una realidad el próximo año.

Con sede en Montreal, Canadá, LawZero emplea a 15 personas y está buscando más talento para construir un nuevo sistema de IA seguro que proporcione respuestas verdaderas basadas en un razonamiento transparente, en lugar de estar entrenado para complacer a los usuarios.

El Sr. Bengio espera crear un modelo para monitorear y mejorar los servicios de IA existentes, evitando que actúen en contra de los intereses humanos.

“El peor escenario es que los humanos nos extingamos”, comentó.

(Según el FT)

China comienza a construir un "ejército" de supercomputadoras de IA en el espacio . China ha lanzado su primer grupo de 12 satélites para comenzar a construir una enorme red de supercomputadoras de IA en el espacio. Esta red única ayudará a los científicos a procesar datos directamente en órbita.

Fuente: https://vietnamnet.vn/lo-con-nguoi-tuyet-chung-vi-ai-bo-gia-yoshua-bengio-vua-lam-mot-dieu-2407930.html