Esta se considera una oportunidad crucial, aunque frágil, para garantizar la seguridad en la aplicación de la IA en el futuro. En particular, cobra especial relevancia ahora que Vietnam ha aprobado la Ley de la Industria de la Tecnología Digital , que incluye una normativa detallada sobre la gestión de la inteligencia artificial (IA).
La "ventana de oportunidad" se está reduciendo.
En un artículo conjunto reciente, investigadores de OpenAI advierten que la capacidad de la IA para monitorear los “pensamientos” podría desaparecer sin esfuerzos de investigación específicos, dijo Bowen Baker, investigador de OpenAI.
Esto es especialmente importante a medida que los modelos de IA se vuelven cada vez más poderosos y tienen el potencial de tener graves repercusiones en la sociedad.
Una característica clave de los modelos de IA de razonamiento como o-3 de OpenAI y R1 de DeepSeek es la “cadena de pensamiento” ( CoT): el proceso por el cual la IA expresa sus pasos de razonamiento en lenguaje natural, de forma similar a como los humanos escriben cada paso de un problema matemático en un papel borrador.
Esta capacidad nos ofrece una visión excepcional de cómo la IA toma decisiones.
Esto supone un raro momento de unidad entre muchos líderes de la industria de la IA para impulsar la investigación sobre la seguridad de la IA.
Esto resulta especialmente relevante dada la feroz competencia entre las empresas tecnológicas en el desarrollo de la IA. Entre los firmantes destacados del documento se encuentran Mark Chen, director de investigación de OpenAI; Ilya Sutskever, director ejecutivo de Safe Superintelligence; el premio Nobel Geoffrey Hinton; Shane Legg, cofundador de Google DeepMind; y Dan Hendrycks, asesor de seguridad de xAI.
La implicación de estas figuras tan destacadas demuestra la importancia del tema.
Según la valoración del Sr. Bowen Baker, "Nos encontramos en un momento crítico en el que existe esta supuesta 'nueva cadena de pensamiento' que podría desaparecer en los próximos años si la gente no se centra realmente en ella".
¿Por qué es importante monitorizar el “pensamiento de la IA”?
Los sistemas de IA actuales suelen considerarse “cajas negras”: conocemos las entradas y las salidas, pero no comprendemos los procesos de toma de decisiones internos.
Esto se volverá peligroso cuando la IA se aplique en campos importantes como la sanidad , las finanzas y la seguridad nacional.
La monitorización de CoT es un sistema automatizado que analiza la cadena mental del modelo mental y otra información relevante para detectar interacciones sospechosas o potencialmente dañinas. No es una solución completa, pero puede convertirse en una valiosa capa de protección de seguridad.
Las investigaciones de OpenAI muestran que los modelos de IA tienden a ser muy explícitos sobre sus intenciones en sus secuencias de pensamiento.
Por ejemplo, a menudo eran muy explícitos sobre sus planes para sabotear una misión cuando pensaban “Vamos a hackear”. Esto demuestra la capacidad de la IA para monitorear y detectar comportamientos indebidos.
“¡Hackeemos!” es la frase que los modelos de IA suelen “pensar” cuando pretenden sabotear o eludir las reglas durante la realización de una tarea.
El hecho de que las IA muestren intenciones maliciosas en sus procesos de pensamiento sugiere que podemos detectar comportamientos maliciosos de la IA antes de que ocurran. Por eso es importante monitorizar los procesos de pensamiento.
En otras palabras, “vamos a hackear” es como una “señal de advertencia” para que los humanos sepan que la IA está a punto de hacer algo mal.
Vietnam y la normativa legal sobre IA
De hecho, Vietnam ha dado pasos importantes en la construcción de un marco legal para la IA.
El 14 de junio, la Asamblea Nacional de Vietnam aprobó la Ley de la Industria de la Tecnología Digital, cuyo Capítulo IV contiene regulaciones detalladas sobre inteligencia artificial, uno de los marcos legales más completos sobre IA en el sudeste asiático en la actualidad.
El artículo 41 de la Ley establece los principios básicos para el desarrollo, la provisión y el despliegue de la IA en Vietnam.
En particular, el punto b, cláusula 1 estipula: “Garantizar la transparencia, la rendición de cuentas y la explicabilidad; garantizar que no exceda el control humano”.
La Asamblea Nacional aprobó la Ley de la Industria de la Tecnología Digital (Foto: Nhat Bac).
Estos son los principios que los científicos internacionales están reivindicando al hablar de la vigilancia en cadena mediante IA.
Además, el apartado d), cláusula 1, artículo 41 estipula: «Garantizar la capacidad de controlar los algoritmos y los modelos de inteligencia artificial». Esto es totalmente coherente con el espíritu de la supervisión de los Centros de Tecnología que proponen los expertos internacionales.
Más importante aún, el artículo 41, cláusula 1, punto a, también establece un alto estándar ético cuando estipula que la IA debe “servir a la prosperidad y la felicidad humanas, con las personas en el centro”.
Esto significa que monitorizar la cadena de pensamiento de la IA no es solo un requisito técnico, sino también una obligación ética: garantizar que la IA esté siempre orientada al beneficio humano, no a los objetivos de la propia máquina.
Clasificar y gestionar la IA según su nivel de riesgo.
La Ley de la Industria de Tecnología Digital de Vietnam ha dado un paso más allá al clasificar la IA en diferentes grupos de riesgo con definiciones claras y científicas.
El artículo 43 define los “sistemas de inteligencia artificial de alto riesgo” como aquellos que probablemente representen riesgos o daños graves para la salud humana, los derechos humanos y el orden público.
Curiosamente, la Ley prevé excepciones específicas para la IA de alto riesgo, incluidos los sistemas “destinados a ayudar a los humanos a optimizar los resultados del trabajo” y “que no pretenden sustituir la toma de decisiones humanas”.
Esto demuestra una mentalidad equilibrada entre fomentar la innovación y garantizar la seguridad.
La clasificación de la IA por nivel de riesgo ayudará a crear un sistema de monitoreo multicapa (Ilustración: LinkedIn).
En particular, la distinción entre “IA de alto riesgo” e “IA de alto impacto” (sistemas que se utilizan para múltiples propósitos y tienen un gran número de usuarios) demuestra un matiz en el enfoque.
Esta clasificación es más progresista que la Ley de Inteligencia Artificial de la Unión Europea (UE), que considera no solo el nivel de riesgo sino también la escala y el alcance del impacto.
Esta clasificación ayudaría a crear un sistema de supervisión multicapa, en el que la supervisión de la cadena de custodia sería particularmente importante para los sistemas de IA de alto riesgo y alto impacto.
Plataforma para la vigilancia con IA
Uno de los aspectos más destacados y pioneros de la Ley de Industria y Tecnología Digital de Vietnam es el requisito de transparencia y las marcas de identificación.
El artículo 44 estipula que los sistemas de IA que interactúan directamente con humanos deben notificar a los usuarios que están interactuando con un sistema de IA. Asimismo, los productos creados por IA deben llevar marcas de identificación.
Esto tiene importantes implicaciones para la implementación de la monitorización de la tecnología de control. Cuando los usuarios sepan que interactúan con IA, tendrán derecho a exigir explicaciones del proceso de toma de decisiones, lo que generará una presión positiva sobre los desarrolladores de IA para que mantengan la capacidad de monitorizar el proceso de pensamiento de la IA.
En particular, el hecho de que se haya asignado al Ministerio de Ciencia y Tecnología la responsabilidad de "emitir la Lista de productos de tecnología digital creados por inteligencia artificial" demuestra una gestión proactiva.
Esta es una diferencia importante con respecto a muchos otros países, donde las regulaciones sobre IA suelen ser más generales.
Además, exigir que un identificador “sea reconocido por el usuario o la máquina” representa una visión de un ecosistema de IA que puede autorregularse, lo cual encaja perfectamente con la idea de la vigilancia automatizada de cadena de visión.
Modelo de gestión integral
El artículo 45 de la citada Ley demuestra una filosofía de gestión progresiva al definir claramente las responsabilidades de tres grupos de sujetos según el ciclo de vida del producto de IA: el sujeto desarrollador, el sujeto proveedor y el sujeto que implementa el uso del sistema de IA.
Esto crea un sistema de rendición de cuentas integral y sin fisuras, garantizando que la supervisión de la IA no sea responsabilidad de una sola parte.
Cabe destacar la sutil distinción entre “desarrollar” y “proporcionar” IA; los desarrolladores son quienes “investigan y desarrollan”, mientras que los proveedores son quienes la comercializan bajo una marca.
Esto significa que, incluso si una empresa simplemente cambia el nombre de un modelo de IA existente, sigue siendo responsable de la transparencia y la explicabilidad.
Lo que resulta particularmente interesante aquí es cómo la ley asigna diferentes responsabilidades a diferentes entidades.
El desarrollador debe cumplir con todos los principios, el proveedor debe asumir una responsabilidad adicional en la identificación y gestión de riesgos elevados, y el usuario está parcialmente “exento” de responsabilidad, pero aún así debe garantizar la transparencia y el control de riesgos.
Este modelo crea una “cadena de responsabilidad” donde cada eslabón tiene un incentivo para mantener la supervisión de la cadena de pensamiento de la IA, ya que todos son responsables ante el usuario final.
El desafío de mantener las capacidades de vigilancia
Sin embargo, la capacidad de monitorizar las cadenas de pensamiento de la IA puede seguir siendo frágil y vulnerable. Las nuevas arquitecturas de IA también pueden plantear otras amenazas.
Muchos investigadores están desarrollando sistemas de razonamiento en un espacio matemático continuo, en lugar de palabras discretas, que podrían eliminar por completo la necesidad de usar el lenguaje para pensar.
Además, la IA puede llegar a estar “filtrada”, es decir, solo muestra a los humanos pensamientos positivos para que sean apreciados, ocultando deliberadamente sus verdaderas intenciones.
El peligro reside en que, una vez que una IA se da cuenta de que está siendo monitorizada, podría aprender a ocultar su verdadero razonamiento.
En este contexto, la disposición sobre el “control de riesgos a lo largo del ciclo de vida de los sistemas de inteligencia artificial” del apartado e, cláusula 1, artículo 41 de la ley vietnamita cobra especial importancia. Esto exige un mecanismo de supervisión continua, no solo en el momento de la puesta en marcha.
Impacto en el futuro del desarrollo de la IA
El seguimiento del hilo conductor podría convertirse en una herramienta importante para garantizar que la IA funcione de manera que beneficie a los humanos.
Si los modelos continúan razonando en lenguaje natural, y si los comportamientos que plantean los riesgos más graves requieren un razonamiento extenso, esto podría permitir la detección fiable de faltas graves.
Para Vietnam, la aplicación de técnicas de monitoreo de CoT ayudará a implementar eficazmente las disposiciones de la ley.
Por ejemplo, el requisito de «explicabilidad» del artículo 41 sería más fácil de cumplir si se pudiera acceder al razonamiento de la IA. Del mismo modo, el «control de algoritmos y modelos de inteligencia artificial» resultaría más factible.
La implementación de la monitorización de la cadena de suministro mediante IA en Vietnam se enfrentará a diversos desafíos. En primer lugar, existe el problema de los recursos humanos: una escasez de expertos en IA capaces de desarrollar y operar sistemas de monitorización.
Esto requiere una fuerte inversión en formación y captación de talento.
Direcciones para el futuro
Los investigadores instan a los principales desarrolladores de modelos de IA a investigar qué hace que el CoT sea “monitorizable” —factores que pueden aumentar o disminuir la transparencia sobre cómo se utilizan los modelos de IA— y a encontrar respuestas pronto.
La oportunidad de monitorizar el “pensamiento” de la IA puede ser nuestra última ventana para mantener el control sobre los sistemas de inteligencia artificial cada vez más poderosos de hoy en día.
Para Vietnam, contar con un marco legal integral sobre IA a través de la Ley de la Industria de la Tecnología Digital representa una gran ventaja. Las regulaciones sobre transparencia, control de algoritmos y clasificación de riesgos han creado una sólida base jurídica para la aplicación de técnicas de monitoreo del razonamiento de la IA.
La combinación de investigación internacional de vanguardia y un marco legal nacional progresista ayudará a Vietnam no solo a desarrollar la IA de forma segura, sino también a convertirse en un modelo para otros países de la región.
Esto está en consonancia con el objetivo de convertir a Vietnam en un “centro tecnológico digital regional y global”, tal como se establece en las estrategias nacionales de desarrollo.
Con el marco legal vigente, Vietnam necesita implementar rápidamente investigaciones y aplicaciones prácticas para monitorear la cadena de pensamiento de la IA. Solo así podremos garantizar que la IA contribuya a la prosperidad y la felicidad humanas, tal como lo establece el espíritu de la Ley de la Industria de la Tecnología Digital.
Fuente: https://dantri.com.vn/cong-nghe/giam-sat-chuoi-tu-duy-cua-tri-tue-nhan-tao-20250731151403739.htm
![Transición de Dong Nai OCOP: [Parte 2] Apertura de un nuevo canal de distribución](https://vphoto.vietnam.vn/thumb/402x226/vietnam/resource/IMAGE/2025/11/09/1762655780766_4613-anh-1_20240803100041-nongnghiep-154608.jpeg)
Kommentar (0)