Esta é considerada uma oportunidade frágil, mas importante, para garantir a segurança na aplicação da IA no futuro. É particularmente significativo, visto que o Vietnã acaba de aprovar a Lei da Indústria de Tecnologia Digital, com regulamentações detalhadas sobre a gestão da inteligência artificial (IA).
A “janela de oportunidade” está a estreitar-se
Em um artigo conjunto recente, pesquisadores da OpenAI alertam que a capacidade da IA de monitorar “pensamentos” pode desaparecer sem esforços de pesquisa focados, disse Bowen Baker, pesquisador da OpenAI.
Isso é especialmente importante à medida que os modelos de IA se tornam cada vez mais poderosos e têm o potencial de causar sérios impactos na sociedade.
Uma característica fundamental dos modelos de raciocínio de IA, como o o-3 da OpenAI e o R1 da DeepSeek, é a “cadeia de pensamento” ( CoT) – o processo pelo qual a IA expressa suas etapas de raciocínio em linguagem natural, semelhante à maneira como os humanos escrevem cada etapa de um problema de matemática em um rascunho.
Essa habilidade nos dá uma visão rara de como a IA toma decisões.
Isso marca um raro momento de união entre muitos líderes da indústria de IA para avançar na pesquisa sobre segurança de IA.
Isso é particularmente relevante dada a acirrada competição entre empresas de tecnologia no desenvolvimento de IA. Os signatários notáveis do documento incluem Mark Chen, Diretor de Pesquisa da OpenAI, Ilya Sutskever, CEO da Safe Superintelligence, o ganhador do Prêmio Nobel Geoffrey Hinton, o cofundador do Google DeepMind, Shane Legg, e o consultor de segurança da xAI, Dan Hendrycks.
O envolvimento desses grandes nomes mostra a importância da questão.
Ainda de acordo com a avaliação do Sr. Bowen Baker, "Estamos em um momento crítico em que há essa chamada 'nova cadeia de pensamento' que pode desaparecer nos próximos anos se as pessoas não se concentrarem realmente nela".
Por que monitorar o “pensamento da IA” é importante?
Os sistemas de IA atuais são frequentemente considerados como “caixas pretas” – conhecemos as entradas e saídas, mas não entendemos os processos de tomada de decisão internos.
Isso se tornará perigoso quando a IA for aplicada em áreas importantes como saúde , finanças e segurança nacional.
O monitoramento de CoT é um sistema automatizado que lê a cadeia mental do modelo mental e outras informações relevantes para sinalizar interações suspeitas ou potencialmente prejudiciais. Não é uma solução completa, mas pode se tornar uma camada valiosa de proteção de segurança.
Pesquisas da OpenAI mostram que modelos de IA tendem a ser muito explícitos sobre suas intenções em suas sequências de pensamento.
Por exemplo, eles costumavam ser muito explícitos sobre seus planos de sabotar uma missão quando pensavam: "Vamos hackear". Isso demonstra a capacidade da IA de monitorar e detectar mau comportamento.
“Vamos hackear” é a frase que os modelos de IA geralmente “pensam” quando “eles” pretendem sabotar ou burlar as regras durante a execução de uma tarefa.
O fato de as IAs demonstrarem intenção de "hackear" em seus processos de pensamento sugere que podemos detectar comportamentos ruins de IA antes que aconteçam. É por isso que monitorar os processos de pensamento é importante.
Em outras palavras, “vamos hackear” é como um “sinal de alerta” para avisar aos humanos que a IA está prestes a fazer algo errado.
Vietname e regulamentações legais sobre IA
De fato, o Vietnã fez avanços importantes na construção de uma estrutura legal para a IA.
Em 14 de junho, a Assembleia Nacional Vietnamita aprovou a Lei sobre a Indústria de Tecnologia Digital, na qual o Capítulo IV contém regulamentações detalhadas sobre inteligência artificial — uma das estruturas legais mais abrangentes sobre IA no Sudeste Asiático atualmente.
O Artigo 41 da Lei estabelece os princípios básicos para o desenvolvimento, fornecimento e implantação de IA no Vietnã.
Em particular, o ponto b, cláusula 1 estipula: “Garantir transparência, responsabilização, explicabilidade; garantir que não exceda o controlo humano”.
A Assembleia Nacional aprovou a Lei da Indústria de Tecnologia Digital (Foto: Nhat Bac).
Esses são os princípios que cientistas internacionais estão defendendo ao discutir a vigilância da cadeia de IA.
Além disso, o Ponto d, Cláusula 1, Artigo 41 estipula: "Garantir a capacidade de controlar algoritmos e modelos de inteligência artificial". Isso é totalmente consistente com o espírito de supervisão do CoT proposto por especialistas internacionais.
Mais importante ainda, o Artigo 41, Cláusula 1, Ponto a também estabelece um alto padrão ético ao estipular que a IA deve “servir à prosperidade e felicidade humanas, com as pessoas no centro”.
Isso significa que monitorar a cadeia de pensamento da IA não é apenas um requisito técnico, mas também uma obrigação ética – garantindo que a IA esteja sempre orientada para o benefício humano, não para os objetivos da própria máquina.
Classifique e gerencie a IA por nível de risco
A Lei da Indústria de Tecnologia Digital do Vietnã deu um passo além ao classificar a IA em diferentes grupos de risco com definições claras e científicas.
O Artigo 43 define “Sistemas de inteligência artificial de alto risco” como sistemas que podem representar riscos ou danos graves à saúde humana, aos direitos humanos e à ordem pública.
Curiosamente, a Lei prevê exceções específicas para IA de alto risco, incluindo sistemas “destinados a auxiliar humanos na otimização de resultados de trabalho” e “não destinados a substituir a tomada de decisões humanas”.
Isso mostra uma mentalidade equilibrada entre incentivar a inovação e garantir a segurança.
Classificar a IA por nível de risco ajudará a criar um sistema de monitoramento em várias camadas (Ilustração: LinkedIn).
Em particular, a distinção entre “IA de alto risco” e “IA de alto impacto” (sistemas que são usados para múltiplos propósitos e têm um grande número de usuários) demonstra uma nuance na abordagem.
Esta é uma classificação mais progressiva do que a Lei de Inteligência Artificial da União Europeia (UE), que considera não apenas o nível de risco, mas também a escala e o escopo do impacto.
Essa classificação ajudaria a criar um sistema de supervisão multicamadas, no qual a supervisão da cadeia de visão seria particularmente importante para sistemas de IA de alto risco e alto impacto.
Plataforma para vigilância de IA
Um dos destaques e pontos pioneiros da Lei da Indústria e Tecnologia Digital do Vietnã é a exigência de transparência e marcas de identificação.
O Artigo 44 estipula que os sistemas de IA que interagem diretamente com humanos devem notificar os usuários de que estão interagindo com o sistema de IA. Ao mesmo tempo, os produtos criados por IA devem ter marcas de identificação.
Isso tem implicações importantes para a implementação do monitoramento de CoT. Quando os usuários sabem que estão interagindo com a IA, eles terão o direito de exigir explicações sobre o processo de tomada de decisão, criando uma pressão positiva para que os desenvolvedores de IA mantenham a capacidade de monitorar o processo de pensamento da IA.
Em particular, o fato de o Ministério da Ciência e Tecnologia ter sido incumbido de "emitir a Lista de produtos de tecnologia digital criados por inteligência artificial" demonstra uma gestão proativa.
Essa é uma diferença importante em relação a muitos outros países, onde as regulamentações de IA costumam ser mais gerais.
Além disso, exigir que um identificador “seja reconhecido pelo usuário ou pela máquina” representa uma visão de um ecossistema de IA que pode se policiar — o que se encaixa perfeitamente com a ideia de vigilância automatizada da cadeia de visão.
Modelo de gestão abrangente
O Artigo 45 da Lei acima demonstra uma filosofia de gestão progressiva ao definir claramente as responsabilidades de três grupos de sujeitos de acordo com o ciclo de vida do produto de IA: o sujeito do desenvolvimento, o sujeito da provisão e o sujeito da implementação do uso do sistema de IA.
Isso cria um sistema de responsabilização de ponta a ponta, garantindo que a supervisão da IA não seja responsabilidade apenas de uma parte.
Notavelmente, a distinção sutil entre “desenvolver” e “fornecer” IA; desenvolvedores são aqueles que “pesquisam e desenvolvem”, enquanto provedores são aqueles que colocam a tecnologia no mercado sob uma marca.
Isso significa que, mesmo que uma empresa simplesmente reformule um modelo de IA existente, ela ainda será responsável pela transparência e explicabilidade.
O que é particularmente interessante aqui é como a lei atribui diferentes responsabilidades a diferentes entidades.
O desenvolvedor deve cumprir todos os princípios, o provedor deve assumir responsabilidade adicional pela identificação e gerenciamento de alto risco, e o usuário é parcialmente “isento” de responsabilidade, mas ainda deve garantir transparência e controle de risco.
Este modelo cria uma “cadeia de responsabilidade” onde cada elo tem um incentivo para manter a supervisão da cadeia de pensamento da IA, já que todos são responsáveis perante o usuário final.
O desafio de manter as capacidades de vigilância
No entanto, a capacidade de monitorar cadeias de pensamento da IA pode permanecer frágil e vulnerável. Novas arquiteturas de IA também podem representar outras ameaças.
Muitos pesquisadores estão desenvolvendo sistemas de raciocínio em espaço matemático contínuo, em vez de palavras discretas, o que poderia eliminar completamente a necessidade de usar a linguagem no pensamento.
Além disso, a IA pode se tornar “filtrada” – ou seja, ela só mostra aos humanos pensamentos positivos para serem apreciados, enquanto esconde deliberadamente suas verdadeiras intenções.
O perigo aqui é que, quando uma IA percebe que está sendo monitorada, ela pode aprender a esconder sua verdadeira linha de pensamento.
Neste contexto, a disposição sobre “controle de riscos ao longo do ciclo de vida dos sistemas de inteligência artificial” no Ponto e, Cláusula 1, Artigo 41 da Lei Vietnamita torna-se particularmente importante. Isso requer um mecanismo de monitoramento contínuo, não apenas no momento da implantação.
Impacto no futuro do desenvolvimento da IA
Monitorar a cadeia de pensamento pode se tornar uma ferramenta importante para garantir que a IA opere de maneiras que beneficiem os humanos.
Se os modelos continuarem a raciocinar em linguagem natural e se os comportamentos que representam os riscos mais sérios exigirem raciocínio extenso, isso poderá permitir a detecção confiável de má conduta grave.
Para o Vietnã, a aplicação de técnicas de monitoramento de CoT ajudará a implementar efetivamente as disposições da lei.
Por exemplo, o requisito de “explicabilidade” do Artigo 41 seria mais fácil de satisfazer se a linha de raciocínio da IA fosse acessível. Da mesma forma, “o controle de algoritmos e modelos de inteligência artificial” se tornaria mais viável.
A implementação do monitoramento da cadeia de IA no Vietnã enfrentará uma série de desafios. Em primeiro lugar, há a questão dos recursos humanos – a escassez de especialistas em IA capazes de desenvolver e operar sistemas de monitoramento.
Isso exige um grande investimento em treinamento e atração de talentos.
Direções para o futuro
Os pesquisadores pedem que os principais desenvolvedores de modelos de IA pesquisem o que torna o CoT "monitorável" — fatores que podem aumentar ou diminuir a transparência sobre como os modelos de IA são usados — e apresentem respostas em breve.
A oportunidade de monitorar o “pensamento” da IA pode ser nossa última janela para manter o controle sobre os sistemas de inteligência artificial cada vez mais poderosos da atualidade.
Para o Vietnã, ter um arcabouço jurídico abrangente sobre IA por meio da Lei da Indústria de Tecnologia Digital é uma grande vantagem. Regulamentações sobre transparência, controle de algoritmos e classificação de risco criaram uma base jurídica sólida para a aplicação de técnicas de monitoramento da cadeia de pensamento da IA.
A combinação de pesquisa internacional de ponta e uma estrutura jurídica nacional progressiva ajudará o Vietnã não apenas a desenvolver IA com segurança, mas também a se tornar um modelo para outros países da região.
Isso está alinhado com o objetivo de transformar o Vietnã em um “centro regional e global de tecnologia digital”, conforme estabelecido nas estratégias nacionais de desenvolvimento.
Com a base jurídica existente, o Vietnã precisa implementar rapidamente pesquisas e aplicações práticas para monitorar a cadeia de pensamento da IA. Somente assim poderemos garantir que a IA sirva à "prosperidade e felicidade humanas", conforme determina o espírito da Lei da Indústria de Tecnologia Digital.
Fonte: https://dantri.com.vn/cong-nghe/giam-sat-chuoi-tu-duy-cua-tri-tue-nhan-tao-20250731151403739.htm
![[Foto] Pronto para a Feira de Outono de 2025](https://vphoto.vietnam.vn/thumb/1200x675/vietnam/resource/IMAGE/2025/10/14/1760456672454_ndo_br_chi-9796-jpg.webp)
Comentário (0)