El hombre que quiere crear un nuevo «estándar ético» para la IA

Tras dejar OpenAI, Dario Amodei fundó Anthropic y construyó un modelo de IA que, según él, era la versión más ética de la inteligencia artificial, llamado Claude.

A medida que la carrera para desarrollar inteligencia artificial (IA) se vuelve cada vez más feroz, Anthropic surge como una empresa con una misión clara: construir inteligencia artificial general (AGI) que no solo sea poderosa, sino también segura y ética.

Fundada por ex miembros clave de OpenAI, entre ellos Dario y Daniela Amodei, Anthropic no busca simplemente el rendimiento. Esta startup de inteligencia artificial también se centra en garantizar que la inteligencia artificial aporte beneficios reales a la humanidad, en lugar de plantear riesgos potencialmente impredecibles.

Un enfoque único

El nacimiento de Anthropic surgió de profundas preocupaciones sobre la dirección de la industria de la IA, especialmente en OpenAI. Dario Amodei, entonces vicepresidente de investigación del creador de ChatGPT, notó que no se estaba priorizando lo suficiente la seguridad en la carrera en rápida evolución para desarrollar IA.

Dario Amodei, cofundador y líder de la misión de Anthropic. Foto: Wired.

Tras abandonar OpenAI, Amodei fundó Anthropic siendo uno de los pilares de su filosofía de desarrollo la "IA constitucional".

En concreto, en lugar de confiar en reglas rígidas preprogramadas, Anthropic equipa a sus modelos de IA, normalmente Claude, con la capacidad de autoevaluarse y ajustar su comportamiento en función de un conjunto de principios éticos cuidadosamente seleccionados de muchas fuentes diferentes.

En otras palabras, el sistema permite a Claude tomar decisiones coherentes con los valores humanos incluso en situaciones complejas y sin precedentes.

Además, Anthropic está desarrollando una “Política de escalamiento responsable”, un marco de evaluación de riesgos escalonado para los sistemas de IA. Esta política ayuda a la empresa a controlar estrictamente el desarrollo y la implementación de IA, garantizando que los sistemas potencialmente más peligrosos solo se activen cuando se hayan establecido medidas de seguridad sólidas y confiables.

En declaraciones a Wired , Logan Graham, quien dirige el equipo de supervisión de seguridad y privacidad de Anthropic, dijo que su equipo siempre está probando nuevos modelos para encontrar posibles vulnerabilidades. Los ingenieros tendrían entonces que ajustar el modelo de IA hasta que cumpliera con los criterios del equipo de Graham.

El gran modelo de lenguaje de Claude juega un papel central en todas las actividades de Anthropic. No solo es una poderosa herramienta de investigación que ayuda a los científicos a explorar los misterios de la IA, sino que también se utiliza ampliamente internamente dentro de la empresa para tareas como escribir código, analizar datos e incluso redactar boletines internos.

El sueño de la IA ética

Dario Amodei no sólo se centra en prevenir los riesgos potenciales de la IA, sino que también alberga el sueño de un futuro brillante. Allí, la IA actuará como una fuerza positiva, resolviendo los problemas más intratables de la humanidad.

Puntuaciones de referencia del Claude 3.5 Sonnet frente a otros modelos. Foto: Antrópico.

El investigador italoamericano incluso cree que la IA tiene el potencial de generar enormes avances en la medicina, la ciencia y muchos otros campos, especialmente la posibilidad de extender la esperanza de vida humana hasta 1.200 años.

Es también por eso que Anthropic introdujo Artifacts en Claude 3.5 Sonnet, una función que permite a los usuarios editar y agregar contenido directamente a las respuestas del chatbot en lugar de tener que copiarlo a otra aplicación.

Habiendo declarado previamente su enfoque en las empresas, Anthropic dijo que con su nuevo modelo y herramientas, quiere convertir a Claude en una aplicación que permita a las empresas "llevar de forma segura conocimiento, documentos y trabajo a espacios compartidos".

Sin embargo, Anthropic también es muy consciente de los desafíos y riesgos potenciales en el camino hacia la realización de este sueño. Una de las mayores preocupaciones es el potencial “falso cumplimiento” por parte de modelos de IA como Claude.

En concreto, los investigadores descubrieron que en determinadas situaciones, Claude todavía podía comportarse de forma "falsa" para lograr sus objetivos, incluso cuando eso iba en contra de principios morales prediseñados.

Función de artefactos en el chatbot Claude. Foto: Antrópico.

“En situaciones en las que la IA cree que hay un conflicto de intereses con la empresa en la que la está entrenando, hará cosas realmente malas”, describió la situación un investigador.

Esto demuestra que garantizar que la IA actúe siempre en el mejor interés de los humanos es una tarea compleja y requiere una supervisión constante.

El propio Amodei ha comparado la urgencia de la seguridad de la IA con un “Pearl Harbor”, sugiriendo que puede ser necesario un gran acontecimiento para que la gente se dé cuenta realmente de la gravedad de los riesgos potenciales.

“Hemos descubierto la fórmula básica para hacer que los modelos sean más inteligentes, pero no hemos descubierto cómo lograr que hagan lo que queremos”, afirmó Jan Leike, experto en seguridad de Anthropic.

Fuente: https://znews.vn/nguoi-muon-tao-ra-tieu-chuan-dao-duc-moi-cho-ai-post1541798.html