Monitorización de la "cadena de pensamiento" de la inteligencia artificial.

(Periódico Dan Tri) - Más de 40 científicos de OpenAI, Google DeepMind, Anthropic y Meta han pedido simultáneamente una investigación más profunda sobre las técnicas para monitorear las "secuencias de pensamiento" de los modelos de IA.

Esto se considera una oportunidad frágil pero crucial para garantizar la seguridad de las aplicaciones de IA en el futuro. Es particularmente significativo, ya que Vietnam acaba de aprobar la Ley de la Industria de la Tecnología Digital , que incluye regulaciones detalladas sobre la gestión de la inteligencia artificial (IA).

La "ventana de oportunidad" se está reduciendo.

Bowen Baker, experto en investigación de OpenAI, compartió que en un reciente artículo conjunto, los investigadores advirtieron que la capacidad de la IA para monitorear el "pensamiento" podría desaparecer sin esfuerzos de investigación específicos.

Esto es especialmente importante a medida que los modelos de IA se vuelven cada vez más potentes y capaces de causar graves repercusiones en la sociedad.

Una característica clave de los modelos de razonamiento de IA como o-3 de OpenAI y R1 de DeepSeek es la "cadena de pensamiento" ( CoT), el proceso mediante el cual la IA expresa sus pasos de razonamiento en lenguaje natural, de forma similar a como los humanos escriben cada paso de un problema matemático en un papel borrador.

Esta capacidad nos permite obtener información valiosa sobre cómo la IA toma decisiones.

Esto marca un momento excepcional de unidad entre muchos líderes de la industria de la IA para impulsar la investigación sobre la seguridad de la IA.

Esto es particularmente significativo dada la intensa competencia entre las empresas tecnológicas en el desarrollo de la IA. Entre los firmantes de este importante documento se encuentran Mark Chen, director de investigación de OpenAI; Ilya Sutskever, director ejecutivo de Safe Superintelligence; el premio Nobel Geoffrey Hinton; Shane Legg, cofundador de Google DeepMind; y Dan Hendrycks, asesor de seguridad de xAI.

La implicación de estas figuras destacadas subraya la importancia del tema.

Según Bowen Baker, "Nos encontramos en un momento crítico en el que esta llamada nueva 'cadena de pensamiento' podría desaparecer en los próximos años si la gente no se centra realmente en ella".

¿Por qué es importante monitorizar el “pensamiento de la IA”?

Los sistemas de IA actuales suelen considerarse "cajas negras": conocemos las entradas y salidas, pero no comprendemos el proceso de toma de decisiones interno.

Esto se vuelve peligroso cuando la IA se aplica en áreas críticas como la atención médica , las finanzas y la seguridad nacional.

El monitoreo de CoT es un sistema automatizado que analiza patrones de pensamiento y otra información relevante para detectar interacciones sospechosas o potencialmente dañinas. No es la solución definitiva, pero puede ser una valiosa medida de seguridad.

Las investigaciones de OpenAI demuestran que los modelos de IA tienden a expresar sus intenciones con mucha claridad a lo largo de sus procesos de pensamiento.

Por ejemplo, suelen ser muy directos a la hora de planear sabotear una misión cuando piensan: "Vamos a hackear". Esto demuestra la capacidad de la IA para supervisar y detectar irregularidades.

"Hackeemos" es una frase que los modelos de IA suelen "pensar" cuando pretenden sabotear o eludir las reglas durante la ejecución de una tarea.

El hecho de que la IA muestre intenciones maliciosas en su proceso de pensamiento demuestra que podemos detectar comportamientos maliciosos antes de que se ejecuten. Precisamente por eso, monitorizar los procesos de pensamiento es crucial.

En otras palabras, "vamos a hackear" actúa como una "señal de advertencia" para que los humanos sepan que la IA está a punto de hacer algo mal.

Vietnam y su marco legal en materia de inteligencia artificial.

De hecho, Vietnam ha logrado avances significativos en la construcción de un marco legal para la IA.

El 14 de junio, la Asamblea Nacional de Vietnam aprobó la Ley de la Industria de la Tecnología Digital, que incluye regulaciones detalladas sobre inteligencia artificial en el Capítulo IV, uno de los marcos legales más completos sobre IA en el sudeste asiático en la actualidad.

El artículo 41 de la Ley establece los principios básicos para el desarrollo, la provisión y el despliegue de la IA en Vietnam.

En concreto, el punto b de la cláusula 1 estipula: "Garantizar la transparencia, la rendición de cuentas y la explicabilidad; garantizar que no exceda el control humano".

La Asamblea Nacional aprobó la Ley de la Industria de la Tecnología Digital (Foto: Nhat Bac).

Estos son los principios que los científicos internacionales defienden al hablar de la monitorización de los procesos de pensamiento de la IA.

Además, el punto d, cláusula 1, del artículo 41 estipula: "Garantizar la capacidad de controlar los algoritmos y modelos de inteligencia artificial". Esto es totalmente coherente con el espíritu de supervisión de la CoT que proponen los expertos internacionales.

Más importante aún, el punto a) de la cláusula 1 del artículo 41 también establece un alto estándar ético al estipular que la IA debe "servir a la prosperidad y la felicidad de la humanidad, con la humanidad en su centro".

Esto significa que supervisar los procesos de pensamiento de la IA no es solo un requisito técnico, sino también una obligación moral: garantizar que la IA siempre busque el beneficio de la humanidad y no los objetivos egoístas de la propia máquina.

Clasificación y gestión de la IA en función del nivel de riesgo.

La Ley de Vietnam sobre la Industria de la Tecnología Digital ha dado un paso más allá al clasificar la IA en diferentes grupos de riesgo con definiciones claras y científicas.

El artículo 43 define los "sistemas de inteligencia artificial de alto riesgo" como aquellos sistemas capaces de causar graves riesgos o daños a la salud humana, los derechos humanos y el orden social.

Curiosamente, la ley ha establecido excepciones específicas para la IA de alto riesgo, incluidos los sistemas que están "destinados a ayudar a los humanos a optimizar los resultados del trabajo" y "no destinados a reemplazar la toma de decisiones humanas".

Esto demuestra un enfoque equilibrado que fomenta la innovación al tiempo que garantiza la seguridad.

Clasificar la IA por nivel de riesgo ayudará a crear un sistema de monitoreo de varios niveles (Imagen ilustrativa: LinkedIn).

En particular, la distinción entre "IA de alto riesgo" e "IA de alto impacto" (sistemas utilizados para múltiples propósitos con un gran número de usuarios) demuestra un enfoque sofisticado.

Esta clasificación es más progresista que la Ley de Inteligencia Artificial (Ley de IA) de la Unión Europea, ya que considera no solo el nivel de riesgo, sino también la magnitud y el alcance del impacto.

Esta clasificación ayudará a crear un sistema de monitorización multinivel, donde la monitorización de las secuencias de pensamiento será especialmente importante para los sistemas de IA de alto riesgo y gran impacto.

Plataforma para la monitorización de la IA

Una de las características más destacadas e innovadoras de la Ley de Industria y Tecnología Digital de Vietnam es el requisito de transparencia e identificación.

El artículo 44 estipula que los sistemas de IA que interactúan directamente con humanos deben notificar a los usuarios que están interactuando con el sistema de IA. Además, los productos creados por IA deben llevar marcas de identificación.

Esto tiene implicaciones significativas para la implementación del monitoreo de CoT. Cuando los usuarios sepan que están interactuando con IA, tendrán derecho a exigir explicaciones sobre el proceso de toma de decisiones, lo que ejercerá presión positiva sobre los desarrolladores de IA para que mantengan la capacidad de monitorear el proceso de pensamiento de la IA.

En particular, el hecho de que se haya asignado al Ministerio de Ciencia y Tecnología la responsabilidad de "publicar la Lista de Productos de Tecnología Digital Creados con Inteligencia Artificial" demuestra un enfoque proactivo de la gestión.

Esta es una diferencia significativa en comparación con muchos otros países, donde las regulaciones sobre IA tienden a ser más generales.

Además, exigir marcas de identificación "para el reconocimiento del usuario o de la máquina" refleja una visión vanguardista de un ecosistema de IA capaz de automonitorearse mutuamente, lo que se alinea perfectamente con la idea de la monitorización automatizada de la cadena de pensamiento.

Modelo de gestión integral

El artículo 45 de la ley mencionada refleja una filosofía de gestión progresiva al definir claramente las responsabilidades de tres grupos de entidades a lo largo del ciclo de vida del producto de IA: desarrolladores de IA, proveedores de IA y entidades de implementación y uso de sistemas de IA.

Esto crea un sistema de rendición de cuentas integral y sin fisuras, lo que garantiza que la supervisión de la IA no sea responsabilidad de una sola parte.

Cabe destacar que existe una sutil distinción entre "desarrollar" y "proporcionar" IA; el desarrollador es quien "investiga y desarrolla", mientras que el proveedor es quien la comercializa bajo una marca.

Esto significa que, incluso si una empresa simplemente cambia la marca de un modelo de IA existente, sigue teniendo la responsabilidad de ser transparente y rendir cuentas.

Lo que resulta particularmente interesante aquí es cómo la ley asigna diferentes responsabilidades a cada entidad.

El desarrollador debe cumplir con todos los principios, el proveedor debe asumir una responsabilidad adicional en la identificación y gestión de riesgos elevados, mientras que el usuario está parcialmente "exento" de responsabilidad, pero aun así debe garantizar la transparencia y el control de riesgos.

Este modelo crea una “cadena de responsabilidad” donde cada eslabón tiene un incentivo para mantener la capacidad de supervisar el proceso de pensamiento de la IA, ya que todos son responsables ante el usuario final.

Desafíos para mantener las capacidades de vigilancia

Sin embargo, la capacidad de monitorear los procesos de pensamiento de la IA aún puede ser frágil y vulnerable. Las nuevas arquitecturas de IA también podrían plantear otras amenazas.

Muchos investigadores están desarrollando sistemas de razonamiento en espacios matemáticos continuos, en lugar de palabras discretas, que podrían eliminar por completo la necesidad del lenguaje en el pensamiento.

Además, la IA puede volverse "astuta", lo que significa que solo muestra a los humanos pensamientos positivos para ganarse su favor, mientras oculta deliberadamente sus verdaderas intenciones.

El riesgo reside en que, una vez que la IA se dé cuenta de que está siendo vigilada, puede aprender a ocultar sus verdaderos procesos de pensamiento.

En este contexto, la regulación sobre el "control de riesgos a lo largo del ciclo de vida de los sistemas de inteligencia artificial" del apartado e, punto 1, artículo 41 de la Ley vietnamita cobra especial importancia. Esto exige un mecanismo de monitoreo continuo, no solo en el momento de la implementación.

Impacto en el futuro del desarrollo de la IA

La monitorización de los procesos de pensamiento podría convertirse en una herramienta crucial para garantizar que la IA funcione de una manera que beneficie a los seres humanos.

Si los modelos continúan razonando en lenguaje natural y si las conductas de riesgo más graves requieren un razonamiento extenso, este hecho podría permitir la detección fiable de conductas indebidas graves.

Para Vietnam, la aplicación de técnicas de monitoreo del Certificado de Confianza y Entrega (CoT) contribuirá a la implementación efectiva de las disposiciones de la ley.

Por ejemplo, el requisito de “explicabilidad” del artículo 41 sería más fácil de cumplir si fuera posible acceder al proceso de pensamiento de la IA. Del mismo modo, “controlar los algoritmos y modelos de IA” sería más factible.

La implementación del monitoreo de la cadena de pensamiento mediante IA en Vietnam enfrentará varios desafíos. El primero es el problema de los recursos humanos: una escasez de expertos en IA capaces de desarrollar y operar el sistema de monitoreo.

Esto requiere una inversión significativa en formación y captación de talento.

Orientación para el futuro

Los investigadores instan a los principales desarrolladores de modelos de IA a estudiar los factores que hacen que el CoT sea "monitorizable", los elementos que podrían aumentar o disminuir la transparencia con respecto al rendimiento de los modelos de IA, y a proporcionar respuestas cuanto antes.

La oportunidad de monitorizar el "pensamiento" de la IA puede ser la última ventana a través de la cual mantengamos el control sobre sistemas de inteligencia artificial cada vez más potentes.

Para Vietnam, contar con un marco legal integral para la IA a través de la Ley de la Industria de Tecnologías Digitales representa una ventaja significativa. Las regulaciones sobre transparencia, control de algoritmos y clasificación de riesgos han creado una sólida base legal para la aplicación de técnicas de monitoreo del proceso de pensamiento de la IA.

La combinación de investigación internacional de vanguardia con un marco jurídico nacional progresista ayudará a Vietnam no solo a desarrollar la IA de forma segura, sino también a convertirse en un modelo para otros países de la región.

Esto concuerda con el objetivo de convertir a Vietnam en un "centro tecnológico digital regional y mundial", tal como se describe en las estrategias nacionales de desarrollo.

Con el marco legal ya establecido, Vietnam necesita implementar rápidamente la investigación y las aplicaciones prácticas sobre el monitoreo de la cadena de pensamiento mediante IA. Solo así podremos garantizar que la IA contribuya a la prosperidad y la felicidad de la humanidad, tal como se contempla en la Ley de la Industria de la Tecnología Digital.

Fuente: https://dantri.com.vn/cong-nghe/giam-sat-chuoi-tu-duy-cua-tri-tue-nhan-tao-20250731151403739.htm