Esta é considerada uma oportunidade frágil, mas importante, para garantir a segurança na aplicação da IA no futuro. É especialmente significativa considerando que o Vietnã acaba de aprovar a Lei da Indústria de Tecnologia Digital, com regulamentações detalhadas sobre a gestão da inteligência artificial (IA).
A “janela de oportunidade” está a estreitar-se
O pesquisador da OpenAI Bowen Baker compartilhou que, em um artigo conjunto recente, pesquisadores alertaram que a capacidade da IA de monitorar "pensamentos" poderia desaparecer sem esforços de pesquisa focados.
Isso é especialmente importante à medida que os modelos de IA se tornam cada vez mais poderosos e têm o potencial de causar sérios impactos na sociedade.
Uma característica fundamental dos modelos de raciocínio de IA, como o o-3 da OpenAI e o R1 da DeepSeek, é a “cadeia de pensamento” ( CoT) — o processo pelo qual a IA expressa suas etapas de raciocínio em linguagem natural, semelhante à maneira como os humanos escrevem cada etapa de um problema de matemática em um rascunho.
Essa habilidade nos dá uma visão rara de como a IA toma decisões.
Isso marca um raro momento de união entre muitos líderes da indústria de IA para avançar na pesquisa sobre segurança de IA.
Isso é particularmente relevante dada a acirrada competição entre empresas de tecnologia no desenvolvimento de IA. Os signatários notáveis do artigo incluem Mark Chen, diretor de pesquisa da OpenAI, Ilya Sutskever, CEO da Safe Superintelligence, o ganhador do Prêmio Nobel Geoffrey Hinton, o cofundador do Google DeepMind, Shane Legg, e o consultor de segurança da xAI, Dan Hendrycks.
O envolvimento desses grandes nomes mostra a importância da questão.
Ainda de acordo com a avaliação do Sr. Bowen Baker, "Estamos em um momento crítico em que há essa chamada 'nova cadeia de pensamento' que pode desaparecer nos próximos anos se as pessoas não se concentrarem realmente nela".
Por que monitorar o “pensamento da IA” é importante?
Os sistemas de IA atuais são frequentemente vistos como “caixas pretas” – conhecemos as entradas e saídas, mas não entendemos os processos de tomada de decisão internos.
Isso se tornará perigoso quando a IA for aplicada em áreas importantes como saúde , finanças e segurança nacional.
O monitoramento de CoT é um sistema automatizado que lê a cadeia de raciocínio do modelo mental e outras informações relevantes para sinalizar interações suspeitas ou potencialmente prejudiciais. Não é uma solução completa, mas pode se tornar uma camada valiosa de proteção de segurança.
Pesquisas da OpenAI mostram que modelos de IA tendem a ser muito explícitos sobre suas intenções em suas sequências de pensamento.
Por exemplo, eles costumavam ser muito explícitos sobre seus planos de sabotar uma missão quando pensavam: "Vamos hackear". Isso demonstra a capacidade da IA de monitorar e detectar mau comportamento.
“Vamos hackear” é a frase que os modelos de IA geralmente “pensam” quando “eles” pretendem sabotar ou burlar as regras durante a execução de uma tarefa.
O fato de as IAs demonstrarem intenção de "hackear" em seus processos de pensamento sugere que podemos detectar comportamentos ruins da IA antes que aconteçam. É por isso que monitorar os processos de pensamento é importante.
Em outras palavras, “vamos hackear” é como um “sinal de alerta” para os humanos de que a IA está prestes a fazer algo errado.
Vietname e regulamentações legais sobre IA
De fato, o Vietnã fez avanços importantes na construção de uma estrutura legal para a IA.
Em 14 de junho, a Assembleia Nacional Vietnamita aprovou a Lei sobre a Indústria de Tecnologia Digital, na qual o Capítulo IV contém regulamentações detalhadas sobre inteligência artificial — uma das estruturas legais mais abrangentes sobre IA no Sudeste Asiático atualmente.
O Artigo 41 da Lei estabelece os princípios básicos para o desenvolvimento, fornecimento e implantação de IA no Vietnã.
Em particular, o ponto b, cláusula 1 estipula: “Garantir transparência, responsabilização, explicabilidade; garantir que não exceda o controlo humano”.
A Assembleia Nacional aprovou a Lei da Indústria de Tecnologia Digital (Foto: Nhat Bac).
Esses são os princípios que cientistas internacionais estão defendendo ao discutir a vigilância da cadeia de IA.
Além disso, o Ponto d, Cláusula 1, Artigo 41 estipula: “Garantir a capacidade de controlar algoritmos e modelos de inteligência artificial”. Isso é totalmente consistente com o espírito de supervisão do Código de Trânsito proposto por especialistas internacionais.
Mais importante ainda, o Artigo 41, Cláusula 1, Ponto a também estabelece um alto padrão ético ao estipular que a IA deve “servir à prosperidade e felicidade humanas, com as pessoas no centro”.
Isso significa que monitorar a cadeia de pensamento da IA não é apenas um requisito técnico, mas também uma obrigação ética – garantindo que a IA seja sempre direcionada ao benefício humano e não aos objetivos da própria máquina.
Classifique e gerencie a IA por nível de risco
A Lei da Indústria de Tecnologia Digital do Vietnã deu um passo além ao classificar a IA em diferentes grupos de risco com definições claras e científicas.
O Artigo 43 define “sistemas de inteligência artificial de alto risco” como sistemas que podem representar riscos graves ou danos à saúde humana, aos direitos humanos e à ordem pública.
Curiosamente, a Lei prevê exceções específicas para IA de alto risco, incluindo sistemas “destinados a auxiliar humanos na otimização de resultados de trabalho” e “não destinados a substituir a tomada de decisão humana”.
Isso mostra uma mentalidade equilibrada entre incentivar a inovação e garantir a segurança.
Classificar a IA por nível de risco ajudará a criar um sistema de monitoramento em várias camadas (Ilustração: LinkedIn).
Em particular, a distinção entre “IA de alto risco” e “IA de alto impacto” (sistemas usados para múltiplos propósitos, com um grande número de usuários) demonstra uma sutileza na abordagem.
Esta é uma classificação mais progressiva do que a Lei de Inteligência Artificial da União Europeia (UE), que considera não apenas o nível de risco, mas também a escala e o escopo do impacto.
Essa classificação ajudaria a criar um sistema de supervisão multicamadas, onde a supervisão da cadeia de consciência seria particularmente importante para sistemas de IA de alto risco e alto impacto.
Plataforma para Vigilância de IA
Um dos destaques e características pioneiras da Lei da Indústria e Tecnologia Digital do Vietnã é a exigência de transparência e marcas de identificação.
O Artigo 44 estipula que os sistemas de IA que interagem diretamente com humanos devem notificar os usuários de que estão interagindo com o sistema de IA. Ao mesmo tempo, os produtos criados por IA devem ter marcas de identificação.
Isso tem implicações importantes para a implementação da supervisão do CoT. Quando os usuários sabem que estão interagindo com a IA, eles têm o direito de exigir explicações sobre o processo de tomada de decisão, criando uma pressão positiva para que os desenvolvedores de IA mantenham a capacidade de monitorar o processo de pensamento da IA.
Em particular, o fato de o Ministério da Ciência e Tecnologia ter sido incumbido de "emitir a Lista de produtos de tecnologia digital criados por inteligência artificial" demonstra uma gestão proativa.
Esta é uma diferença importante em relação a muitos outros países, onde as regulamentações de IA costumam ser mais gerais.
Além disso, exigir um identificador “para reconhecimento humano ou de máquina” representa uma visão de um ecossistema de IA que pode se autopoliciar — o que se encaixa perfeitamente com a ideia de vigilância automatizada da cadeia de pensamento.
Modelo de gestão abrangente
O Artigo 45 da Lei acima demonstra uma filosofia de gestão progressiva ao definir claramente as responsabilidades de 3 grupos de sujeitos de acordo com o ciclo de vida do produto de IA: Sujeitos que desenvolvem, sujeitos que fornecem e sujeitos que implantam e usam sistemas de IA.
Isso cria um sistema de responsabilização de ponta a ponta, garantindo que a supervisão da IA não seja responsabilidade apenas de uma parte.
Notavelmente, há uma distinção sutil entre “desenvolver” e “fornecer” IA; desenvolvedores são aqueles que “pesquisam e desenvolvem”, enquanto provedores são aqueles que a colocam no mercado sob uma marca.
Isso significa que, mesmo que uma empresa simplesmente reformule um modelo de IA existente, ela ainda será responsável pela transparência e explicabilidade.
O que é particularmente interessante aqui é como a lei atribui diferentes responsabilidades a cada sujeito.
O desenvolvedor deve cumprir todos os princípios, o provedor deve assumir responsabilidade adicional pela identificação e gerenciamento de alto risco, e o usuário é “isento” de parte da responsabilidade, mas ainda deve garantir transparência e controle de risco.
Este modelo cria uma “cadeia de responsabilidade” onde cada elo tem um incentivo para manter a supervisão da cadeia de pensamento da IA, já que todos são responsáveis perante o usuário final.
O desafio de manter as capacidades de vigilância
No entanto, a capacidade de monitorar a cadeia de pensamento da IA pode permanecer frágil e vulnerável. Novas arquiteturas de IA também podem representar outras ameaças.
Muitos pesquisadores estão desenvolvendo sistemas de raciocínio em espaço matemático contínuo, em vez de palavras discretas, o que poderia eliminar completamente a necessidade de usar a linguagem no pensamento.
Além disso, a IA pode se tornar “filtrada” — ou seja, ela só mostra aos humanos pensamentos positivos para serem apreciados, enquanto esconde deliberadamente suas verdadeiras intenções.
O perigo aqui é que, quando uma IA percebe que está sendo monitorada, ela pode aprender a esconder sua verdadeira linha de pensamento.
Neste contexto, a disposição sobre “controle de riscos ao longo do ciclo de vida de um sistema de inteligência artificial” no Ponto e, Cláusula 1, Artigo 41 da Lei Vietnamita torna-se particularmente importante. Isso requer um mecanismo de monitoramento contínuo, não apenas no momento da implantação.
Impacto no futuro do desenvolvimento da IA
Monitorar a cadeia de pensamento pode se tornar uma ferramenta importante para garantir que a IA opere de maneiras que beneficiem os humanos.
Se os modelos continuarem a raciocinar em linguagem natural e se os comportamentos que representam os riscos mais sérios exigirem raciocínio extenso, essa prática poderá permitir a detecção confiável de má conduta grave.
Para o Vietnã, a aplicação de técnicas de monitoramento de CoT ajudará a implementar efetivamente as disposições legais.
Por exemplo, o requisito de “explicabilidade” do Artigo 41 seria mais fácil de satisfazer se os processos de pensamento da IA fossem acessíveis. Da mesma forma, “o controle de algoritmos e modelos de inteligência artificial” se tornaria mais viável.
A implementação do monitoramento da cadeia de IA no Vietnã enfrentará uma série de desafios. Em primeiro lugar, há a questão dos recursos humanos – a escassez de especialistas em IA capazes de desenvolver e operar sistemas de monitoramento.
Isso exige um grande investimento em treinamento e atração de talentos.
Direções para o futuro
Os pesquisadores pedem que os principais desenvolvedores de modelos de IA pesquisem quais fatores tornam o CoT "monitorável" e quais fatores podem aumentar ou diminuir a transparência sobre como os modelos de IA funcionam e apresentem respostas em breve.
A oportunidade de monitorar o “pensamento” da IA pode ser nossa última janela para manter o controle sobre os sistemas de inteligência artificial cada vez mais poderosos da atualidade.
Para o Vietnã, ter um arcabouço jurídico abrangente sobre IA por meio da Lei da Indústria de Tecnologia Digital é uma grande vantagem. Regulamentações sobre transparência, controle algorítmico e classificação de risco criaram uma base jurídica sólida para a aplicação de técnicas de monitoramento da cadeia de pensamento da IA.
A combinação de pesquisa internacional de ponta e uma estrutura jurídica nacional progressiva ajudará o Vietnã não apenas a desenvolver a IA com segurança, mas também a se tornar um modelo para outros países da região.
Isso está alinhado com o objetivo de transformar o Vietnã em um “centro regional e global de tecnologia digital”, conforme estabelecido nas estratégias nacionais de desenvolvimento.
Com a base jurídica existente, o Vietnã precisa implementar rapidamente pesquisas e aplicações práticas para monitorar a cadeia de pensamento da IA. Somente assim poderemos garantir que a IA sirva à "prosperidade e felicidade humanas", conforme determina o espírito da Lei da Indústria de Tecnologia Digital.
Fonte: https://dantri.com.vn/cong-nghe/giam-sat-chuoi-tu-duy-cua-tri-tue-nhan-tao-20250731151403739.htm
![[Foto] Pessoas ansiosamente fizeram fila para receber publicações especiais do Jornal Nhan Dan](https://vphoto.vietnam.vn/thumb/1200x675/vietnam/resource/IMAGE/2025/8/30/53437c4c70834dacab351b96e943ec5c)
Comentário (0)