Esta se considera una oportunidad frágil pero importante para garantizar la seguridad en la aplicación de la IA en el futuro. Es especialmente relevante dado que Vietnam acaba de aprobar la Ley de la Industria de Tecnología Digital, que incluye regulaciones detalladas sobre la gestión de la inteligencia artificial (IA).
La “ventana de oportunidad” se está estrechando
Bowen Baker, investigador de OpenAI, compartió que en un artículo conjunto reciente, los investigadores advirtieron que la capacidad de la IA para monitorear "pensamientos" podría desaparecer sin esfuerzos de investigación enfocados.
Esto es especialmente importante a medida que los modelos de IA se vuelven cada vez más poderosos y tienen el potencial de tener graves impactos en la sociedad.
Una característica clave de los modelos de razonamiento de IA como o-3 de OpenAI y R1 de DeepSeek es la “cadena de pensamiento” ( CoT), el proceso mediante el cual la IA expresa sus pasos de razonamiento en lenguaje natural, similar a la forma en que los humanos escriben cada paso de un problema de matemáticas en papel borrador.
Esta capacidad nos brinda una visión poco común de cómo la IA toma decisiones.
Este es un momento excepcional de unidad entre muchos líderes de la industria de la IA para avanzar en la investigación sobre la seguridad de la IA.
Esto es particularmente relevante dada la feroz competencia entre las empresas tecnológicas en el desarrollo de IA. Entre los firmantes destacados del documento se encuentran Mark Chen, director de investigación de OpenAI; Ilya Sutskever, director ejecutivo de Safe Superintelligence; el premio Nobel Geoffrey Hinton; el cofundador de Google DeepMind, Shane Legg; y el asesor de seguridad de xAI, Dan Hendrycks.
La implicación de estos grandes nombres demuestra la importancia del asunto.
Según la evaluación del Sr. Bowen Baker, "nos encontramos en un momento crítico en el que existe esta llamada nueva 'cadena de pensamiento' que podría desaparecer en los próximos años si la gente no se centra realmente en ella".
¿Por qué es importante monitorear el “pensamiento de IA”?
Los sistemas de IA actuales suelen considerarse como “cajas negras”: conocemos las entradas y las salidas, pero no entendemos los procesos de toma de decisiones internos.
Esto se volverá peligroso cuando la IA se aplique en campos importantes como la atención médica , las finanzas y la seguridad nacional.
La monitorización de CoT es un sistema automatizado que interpreta la cadena de razonamiento del modelo mental y otra información relevante para detectar interacciones sospechosas o potencialmente dañinas. No es una solución completa, pero puede convertirse en una valiosa capa de protección de seguridad.
La investigación de OpenAI muestra que los modelos de IA tienden a ser muy explícitos sobre sus intenciones en sus secuencias de pensamiento.
Por ejemplo, a menudo eran muy explícitos sobre sus planes de sabotear una misión cuando pensaban "Hackeemos". Esto demuestra la capacidad de la IA para monitorear y detectar el mal comportamiento.
“Hackeemos” es la frase que los modelos de IA suelen “pensar” cuando “ellos” pretenden sabotear o eludir las reglas durante la ejecución de una tarea.
El hecho de que las IA muestren intenciones de piratería en sus procesos de pensamiento sugiere que podemos detectar comportamientos inapropiados antes de que ocurran. Por eso es importante monitorear los procesos de pensamiento.
En otras palabras, “let's hack” es como una “señal de advertencia” para los humanos de que la IA está a punto de hacer algo mal.
Vietnam y las regulaciones legales sobre la IA
De hecho, Vietnam ha logrado avances importantes en la creación de un marco legal para la IA.
El 14 de junio, la Asamblea Nacional de Vietnam aprobó la Ley de la Industria de Tecnología Digital, en cuyo Capítulo IV contiene regulaciones detalladas sobre inteligencia artificial, uno de los marcos legales más completos sobre IA en el Sudeste Asiático en la actualidad.
El artículo 41 de la Ley establece los principios básicos para el desarrollo, el suministro y el despliegue de IA en Vietnam.
En particular, el punto b, cláusula 1 estipula: “Garantizar la transparencia, la rendición de cuentas y la explicabilidad; garantizar que no exceda el control humano”.
La Asamblea Nacional aprobó la Ley de la Industria de Tecnología Digital (Foto: Nhat Bac).
Éstos son los principios que los científicos internacionales piden cuando debaten la vigilancia de la cadena de inteligencia artificial.
Además, el punto d, cláusula 1, artículo 41 estipula: «Garantizar la capacidad de controlar algoritmos y modelos de inteligencia artificial». Esto es totalmente coherente con el espíritu de supervisión del Código de Comercio que proponen los expertos internacionales.
Más importante aún, el artículo 41, cláusula 1, punto a), también establece un estándar ético elevado cuando estipula que la IA debe “servir a la prosperidad y la felicidad humanas, con las personas en el centro”.
Esto significa que monitorear la cadena de pensamiento de la IA no es solo un requisito técnico sino también una obligación ética: garantizar que la IA siempre esté dirigida al beneficio humano y no a los propios objetivos de la máquina.
Clasificar y gestionar la IA por nivel de riesgo
La Ley de la Industria de Tecnología Digital de Vietnam ha ido un paso más allá al clasificar la IA en diferentes grupos de riesgo con definiciones claras y científicas.
El artículo 43 define los “sistemas de inteligencia artificial de alto riesgo” como sistemas que probablemente planteen riesgos o daños graves para la salud humana, los derechos humanos y el orden público.
Curiosamente, la Ley establece excepciones específicas para la IA de alto riesgo, incluidos los sistemas “destinados a ayudar a los humanos a optimizar los resultados laborales” y “no destinados a reemplazar la toma de decisiones humana”.
Esto demuestra una mentalidad equilibrada entre fomentar la innovación y garantizar la seguridad.
Clasificar la IA por nivel de riesgo ayudará a crear un sistema de monitoreo de múltiples capas (Ilustración: LinkedIn).
En particular, distinguir entre “IA de alto riesgo” e “IA de alto impacto” (sistemas utilizados para múltiples propósitos, con una gran cantidad de usuarios) demuestra una sutileza en el enfoque.
Se trata de una clasificación más progresista que la Ley de Inteligencia Artificial de la Unión Europea (UE), que considera no sólo el nivel de riesgo sino también la escala y el alcance del impacto.
Esta clasificación ayudaría a crear un sistema de supervisión de múltiples capas, donde la supervisión de la cadena de conciencia sería particularmente importante para los sistemas de IA de alto riesgo y alto impacto.
Plataforma para la vigilancia de la IA
Una de las características más destacadas y pioneras de la Ley de Industria y Tecnología Digital de Vietnam es el requisito de transparencia y marcas de identificación.
El artículo 44 estipula que los sistemas de IA que interactúan directamente con humanos deben notificar a los usuarios que están interactuando con el sistema. Asimismo, los productos creados por IA deben contar con marcas de identificación.
Esto tiene implicaciones importantes para la implementación de la supervisión de CoT. Cuando los usuarios saben que interactúan con IA, tienen derecho a exigir explicaciones sobre el proceso de toma de decisiones, lo que genera presión positiva para que los desarrolladores de IA mantengan la capacidad de supervisar el proceso de pensamiento de la IA.
En particular, el hecho de que al Ministerio de Ciencia y Tecnología se le asigne la responsabilidad de "emitir la Lista de productos de tecnología digital creados por inteligencia artificial" muestra una gestión proactiva.
Esta es una diferencia importante con respecto a muchos otros países, donde las regulaciones sobre IA suelen ser más generales.
Además, exigir un identificador “para reconocimiento humano o de máquina” representa una visión de un ecosistema de IA que puede autovigilarse, lo que encaja perfectamente con la idea de vigilancia automatizada de la cadena de pensamiento.
Modelo de gestión integral
El artículo 45 de la citada Ley demuestra una filosofía de gestión progresista al definir claramente las responsabilidades de 3 grupos de sujetos según el ciclo de vida del producto IA: sujetos que desarrollan, sujetos que proporcionan y sujetos que implementan y utilizan sistemas IA.
Esto crea un sistema de rendición de cuentas integral, garantizando que la supervisión de la IA no sea responsabilidad exclusiva de una de las partes.
Cabe destacar que existe una distinción sutil entre “desarrollar” y “proporcionar” IA: los desarrolladores son aquellos que “investigan y desarrollan”, mientras que los proveedores son aquellos que la llevan al mercado bajo una marca.
Esto significa que incluso si una empresa simplemente cambia el nombre de un modelo de IA existente, sigue siendo responsable de la transparencia y la explicabilidad.
Lo que resulta especialmente interesante aquí es cómo la ley asigna diferentes responsabilidades a cada sujeto.
El desarrollador debe cumplir con todos los principios, el proveedor debe asumir una responsabilidad adicional por la identificación y gestión de altos riesgos, y el usuario está “exento” de parte de la responsabilidad pero aún debe asegurar la transparencia y el control de riesgos.
Este modelo crea una “cadena de responsabilidad” donde cada eslabón tiene un incentivo para mantener la supervisión de la cadena de pensamiento de la IA, ya que todos son responsables ante el usuario final.
El desafío de mantener las capacidades de vigilancia
Sin embargo, la capacidad de monitorear la cadena de pensamiento de la IA puede seguir siendo frágil y vulnerable. Las nuevas arquitecturas de IA también pueden plantear otras amenazas.
Muchos investigadores están desarrollando sistemas de razonamiento en el espacio matemático continuo, en lugar de palabras discretas, que podrían eliminar por completo la necesidad de utilizar el lenguaje para pensar.
Además, la IA puede “filtrarse”, es decir, solo mostrar a los humanos pensamientos positivos para que los aprecien, mientras oculta deliberadamente sus verdaderas intenciones.
El peligro aquí es que una vez que una IA se da cuenta de que está siendo monitoreada, puede aprender a ocultar su verdadera línea de pensamiento.
En este contexto, la disposición sobre el «control de riesgos a lo largo del ciclo de vida de un sistema de inteligencia artificial» del punto e, cláusula 1, artículo 41 de la Ley vietnamita cobra especial importancia. Esto requiere un mecanismo de monitoreo continuo, no solo durante la implementación.
Impacto en el futuro del desarrollo de la IA
El monitoreo de la cadena de pensamiento podría convertirse en una herramienta importante para garantizar que la IA funcione de maneras que beneficien a los humanos.
Si los modelos continúan razonando en lenguaje natural y si los comportamientos que plantean los riesgos más graves requieren un razonamiento más amplio, esta práctica podría permitir la detección confiable de conductas indebidas graves.
Para Vietnam, la aplicación de técnicas de seguimiento del CoT ayudará a implementar eficazmente las disposiciones legales.
Por ejemplo, el requisito de "explicabilidad" del Artículo 41 sería más fácil de cumplir si los procesos de pensamiento de la IA fueran accesibles. De igual manera, el "control de algoritmos y modelos de inteligencia artificial" sería más factible.
La implementación del monitoreo de la cadena de suministro con IA en Vietnam enfrentará diversos desafíos. En primer lugar, está el problema de los recursos humanos: la escasez de expertos en IA capaces de desarrollar y operar sistemas de monitoreo.
Esto requiere una fuerte inversión en formación y atracción de talento.
Direcciones para el futuro
Los investigadores instan a los principales desarrolladores de modelos de IA a investigar qué factores hacen que el CoT sea “monitorizable” y qué factores pueden aumentar o disminuir la transparencia sobre cómo funcionan los modelos de IA y a encontrar respuestas pronto.
La oportunidad de monitorear el “pensamiento” de la IA puede ser nuestra última ventana para mantener el control sobre los cada vez más poderosos sistemas de inteligencia artificial de la actualidad.
Para Vietnam, contar con un marco legal integral sobre IA, a través de la Ley de la Industria de Tecnología Digital, es una gran ventaja. Las regulaciones sobre transparencia, control algorítmico y clasificación de riesgos han creado una sólida base legal para la aplicación de técnicas de monitoreo de la cadena de pensamiento de IA.
La combinación de investigación internacional de vanguardia y un marco jurídico nacional progresista ayudará a Vietnam no solo a desarrollar IA de forma segura, sino también a convertirse en un modelo para otros países de la región.
Esto está en consonancia con el objetivo de convertir a Vietnam en un “centro de tecnología digital regional y global”, tal como se establece en las estrategias nacionales de desarrollo.
Con la base legal existente, Vietnam necesita implementar rápidamente la investigación y las aplicaciones prácticas para monitorear la cadena de pensamiento de la IA. Solo así podremos garantizar que la IA contribuya a la prosperidad y la felicidad humanas, como lo estipula la Ley de la Industria de Tecnología Digital.
Fuente: https://dantri.com.vn/cong-nghe/giam-sat-chuoi-tu-duy-cua-tri-tue-nhan-tao-20250731151403739.htm
Kommentar (0)