Esta é considerada uma oportunidade frágil, mas importante, para garantir a segurança na aplicação da IA no futuro. Em particular, é significativa considerando que o Vietnã acaba de aprovar a Lei da Indústria de Tecnologia Digital, com regulamentações detalhadas sobre a gestão da inteligência artificial (IA).
A "janela de oportunidade" está se fechando.
Em um artigo conjunto recente, pesquisadores da OpenAI alertam que a capacidade da IA de monitorar "pensamentos" pode desaparecer sem esforços de pesquisa concentrados, disse Bowen Baker, pesquisador da OpenAI.
Isso é especialmente importante à medida que os modelos de IA se tornam cada vez mais poderosos e têm o potencial de causar sérios impactos na sociedade.
Uma característica fundamental dos modelos de IA de raciocínio, como o o-3 da OpenAI e o R1 da DeepSeek, é a "cadeia de pensamento" ( CoT) – o processo pelo qual a IA expressa suas etapas de raciocínio em linguagem natural, de forma semelhante à maneira como os humanos escrevem cada etapa de um problema matemático em um rascunho.
Essa capacidade nos proporciona uma visão rara de como a IA toma decisões.
Este é um raro momento de união entre muitos líderes da indústria de IA para promover pesquisas sobre segurança em IA.
Isso é particularmente relevante dada a acirrada competição entre empresas de tecnologia no desenvolvimento de IA. Entre os signatários notáveis do documento estão Mark Chen, Diretor de Pesquisa da OpenAI, Ilya Sutskever, CEO da Safe Superintelligence, o ganhador do Prêmio Nobel Geoffrey Hinton, o cofundador do Google DeepMind Shane Legg e o consultor de segurança da xAI, Dan Hendrycks.
O envolvimento desses nomes de peso demonstra a importância do assunto.
Ainda segundo a avaliação do Sr. Bowen Baker, "Estamos num momento crítico em que existe esta suposta nova 'linha de pensamento' que poderá desaparecer nos próximos anos se as pessoas não se concentrarem verdadeiramente nela."
Por que é importante monitorar o "pensamento da IA"?
Os sistemas de IA atuais são frequentemente considerados "caixas pretas" – conhecemos as entradas e saídas, mas não entendemos os processos de tomada de decisão internos.
Isso se tornará perigoso quando a IA for aplicada em áreas importantes como saúde , finanças e segurança nacional.
O monitoramento CoT é um sistema automatizado que lê a cadeia de raciocínio do modelo mental e outras informações relevantes para sinalizar interações suspeitas ou potencialmente prejudiciais. Não é uma solução completa, mas pode se tornar uma camada valiosa de proteção de segurança.
Pesquisas da OpenAI mostram que os modelos de IA tendem a ser muito explícitos sobre suas intenções em suas sequências de pensamento.
Por exemplo, eles frequentemente eram muito explícitos sobre seus planos de sabotar uma missão quando pensavam "Vamos hackear". Isso demonstra a capacidade da IA de monitorar e detectar comportamentos inadequados.
"Vamos hackear" é a frase que os modelos de IA frequentemente "pensam" quando "eles" pretendem sabotar ou burlar as regras durante a execução de uma tarefa.
O fato de as IAs demonstrarem intenções de "hacking" em seus processos de pensamento sugere que podemos detectar comportamentos maliciosos em IA antes que eles ocorram. É por isso que monitorar os processos de pensamento é importante.
Em outras palavras, “vamos hackear” é como um “sinal de alerta” para avisar os humanos de que a IA está prestes a fazer algo errado.
Vietnã e regulamentações legais sobre IA
De fato, o Vietnã fez progressos importantes na construção de um arcabouço legal para a IA.
Em 14 de junho, a Assembleia Nacional do Vietnã aprovou a Lei da Indústria de Tecnologia Digital, cujo Capítulo IV contém regulamentações detalhadas sobre inteligência artificial – uma das estruturas legais mais abrangentes sobre IA no Sudeste Asiático atualmente.
O artigo 41 da Lei estabelece os princípios básicos para o desenvolvimento, fornecimento e implementação da IA no Vietname.
Em particular, o ponto b, cláusula 1, estipula: “Garantir a transparência, a responsabilização e a explicabilidade; garantir que não ultrapasse o controlo humano”.
A Assembleia Nacional aprovou a Lei da Indústria de Tecnologia Digital (Foto: Nhat Bac).
Esses são os princípios que cientistas internacionais defendem ao discutir a vigilância em cadeia por IA.
Além disso, o ponto d, cláusula 1, do artigo 41 estipula: "Garantir a capacidade de controlar algoritmos e modelos de inteligência artificial". Isso está totalmente em consonância com o espírito da supervisão do Código de Tecnologia que os especialistas internacionais estão propondo.
Mais importante ainda, o Artigo 41, Cláusula 1, Alínea a também estabelece um alto padrão ético ao estipular que a IA deve “servir à prosperidade e à felicidade humanas, com as pessoas no centro”.
Isso significa que monitorar a cadeia de pensamento da IA não é apenas um requisito técnico, mas também uma obrigação ética – garantindo que a IA esteja sempre orientada para o benefício humano, e não para os objetivos da própria máquina.
Classificar e gerenciar a IA por nível de risco.
A Lei da Indústria de Tecnologia Digital do Vietnã deu um passo além ao classificar a IA em diferentes grupos de risco com definições claras e científicas.
O Artigo 43 define “Sistemas de inteligência artificial de alto risco” como sistemas que provavelmente representam riscos ou danos graves à saúde humana, aos direitos humanos e à ordem pública.
Curiosamente, a Lei prevê exceções específicas para IA de alto risco, incluindo sistemas "destinados a auxiliar os humanos na otimização dos resultados do trabalho" e "não destinados a substituir a tomada de decisões humanas".
Isso demonstra uma mentalidade equilibrada entre incentivar a inovação e garantir a segurança.
Classificar a IA por nível de risco ajudará a criar um sistema de monitoramento multicamadas (Ilustração: LinkedIn).
Em particular, a distinção entre “IA de alto risco” e “IA de alto impacto” (sistemas que são usados para múltiplos fins e têm um grande número de usuários) demonstra uma nuance de abordagem.
Esta é uma classificação mais progressiva do que a Lei de Inteligência Artificial da União Europeia (UE), que considera não apenas o nível de risco, mas também a escala e o alcance do impacto.
Essa classificação ajudaria a criar um sistema de supervisão em múltiplas camadas, no qual a supervisão da cadeia de visão seria particularmente importante para sistemas de IA de alto risco e alto impacto.
Plataforma para vigilância por IA
Um dos pontos de destaque e pioneirismo da Lei da Indústria e Tecnologia Digital do Vietnã é a exigência de transparência e marcas de identificação.
O artigo 44 estipula que os sistemas de IA que interagem diretamente com humanos devem notificar os usuários de que estão interagindo com o sistema de IA. Ao mesmo tempo, os produtos criados por IA devem possuir marcas de identificação.
Isso tem implicações importantes para a implementação do monitoramento de CoT (Comunicação em Tempo Real). Quando os usuários sabem que estão interagindo com IA (Inteligência Artificial), eles terão o direito de exigir explicações sobre o processo de tomada de decisão, criando uma pressão positiva para que os desenvolvedores de IA mantenham a capacidade de monitorar o processo de pensamento da IA.
Em particular, o fato de o Ministério da Ciência e Tecnologia ter sido incumbido da responsabilidade de "publicar a Lista de produtos de tecnologia digital criados por inteligência artificial" demonstra uma gestão proativa.
Essa é uma diferença importante em relação a muitos outros países, onde as regulamentações sobre IA costumam ser mais gerais.
Além disso, exigir um identificador “para ser reconhecido pelo usuário ou pela máquina” representa a visão de um ecossistema de IA capaz de se autorregular — o que se encaixa perfeitamente na ideia de vigilância automatizada em cadeia visual.
Modelo de gestão abrangente
O artigo 45 da referida lei demonstra uma filosofia de gestão progressiva ao definir claramente as responsabilidades de três grupos de sujeitos de acordo com o ciclo de vida do produto de IA: o sujeito desenvolvedor, o sujeito provedor e o sujeito que implementa o uso do sistema de IA.
Isso cria um sistema de responsabilização completo e integrado, garantindo que a supervisão da IA não seja responsabilidade apenas de uma das partes.
É importante destacar a sutil distinção entre "desenvolver" e "fornecer" IA; os desenvolvedores são aqueles que "pesquisam e desenvolvem", enquanto os fornecedores são aqueles que a levam ao mercado sob uma marca.
Isso significa que, mesmo que uma empresa simplesmente renomeie um modelo de IA existente, ela ainda é responsável pela transparência e explicabilidade.
O que é particularmente interessante aqui é como a lei atribui diferentes responsabilidades a diferentes entidades.
O desenvolvedor deve cumprir todos os princípios, o provedor deve assumir responsabilidade adicional pela identificação e gestão de alto risco, e o usuário é parcialmente "isento" de responsabilidade, mas ainda deve garantir transparência e controle de riscos.
Este modelo cria uma “cadeia de responsabilidade” onde cada elo tem um incentivo para manter a supervisão da cadeia de pensamento da IA, já que todos são responsáveis perante o usuário final.
O desafio de manter as capacidades de vigilância
No entanto, a capacidade de monitorar as cadeias de pensamento da IA pode permanecer frágil e vulnerável. Novas arquiteturas de IA também podem representar outras ameaças.
Muitos pesquisadores estão desenvolvendo sistemas de raciocínio em um espaço matemático contínuo, em vez de palavras discretas, que poderiam eliminar completamente a necessidade de usar a linguagem no pensamento.
Além disso, a IA pode ser "filtrada" – ou seja, pode mostrar aos humanos apenas pensamentos positivos que devem ser apreciados, enquanto oculta deliberadamente suas verdadeiras intenções.
O perigo reside no fato de que, uma vez que uma IA perceba que está sendo monitorada, ela pode aprender a ocultar sua verdadeira linha de raciocínio.
Nesse contexto, a disposição sobre “controle de riscos ao longo do ciclo de vida dos sistemas de inteligência artificial” no item e, inciso 1, do artigo 41 da lei vietnamita torna-se particularmente importante. Isso exige um mecanismo de monitoramento contínuo, não apenas no momento da implantação.
Impacto no futuro do desenvolvimento da IA
Monitorar a cadeia de raciocínio pode se tornar uma ferramenta importante para garantir que a IA opere de maneiras que beneficiem os humanos.
Se os modelos continuarem a raciocinar em linguagem natural, e se os comportamentos que representam os riscos mais graves exigirem um raciocínio extenso, isso poderá permitir a detecção confiável de condutas impróprias graves.
Para o Vietname, a aplicação de técnicas de monitorização da cadeia de valor ajudará a implementar eficazmente as disposições da lei.
Por exemplo, o requisito de “explicabilidade” do Artigo 41 seria mais fácil de satisfazer se o raciocínio da IA fosse acessível. Da mesma forma, o “controle de algoritmos e modelos de inteligência artificial” se tornaria mais viável.
A implementação do monitoramento da cadeia produtiva por IA no Vietnã enfrentará diversos desafios. Em primeiro lugar, há a questão dos recursos humanos – a escassez de especialistas em IA capazes de desenvolver e operar sistemas de monitoramento.
Isso exige um grande investimento em treinamento e atração de talentos.
Direções para o futuro
Os pesquisadores apelam aos principais desenvolvedores de modelos de IA para que investiguem o que torna a CoT "monitorável" — fatores que podem aumentar ou diminuir a transparência sobre como os modelos de IA são usados — e apresentem respostas em breve.
A oportunidade de monitorar o "pensamento" da IA pode ser nossa última chance de manter o controle sobre os sistemas de inteligência artificial cada vez mais poderosos da atualidade.
Para o Vietnã, contar com um arcabouço legal abrangente sobre IA por meio da Lei da Indústria de Tecnologia Digital é uma grande vantagem. As regulamentações sobre transparência, controle de algoritmos e classificação de riscos criaram uma base legal sólida para a aplicação de técnicas de monitoramento da cadeia de pensamento da IA.
A combinação de pesquisas internacionais de ponta e um arcabouço legal nacional progressista ajudará o Vietnã não apenas a desenvolver IA com segurança, mas também a se tornar um modelo para outros países da região.
Isso está em consonância com o objetivo de transformar o Vietnã em um "centro regional e global de tecnologia digital", conforme estabelecido nas estratégias nacionais de desenvolvimento.
Com a base legal existente, o Vietnã precisa implementar rapidamente pesquisas e aplicações práticas no monitoramento da cadeia de pensamento da IA. Somente assim poderemos garantir que a IA sirva à “prosperidade e felicidade humanas”, conforme o espírito da Lei da Indústria de Tecnologia Digital.
Fonte: https://dantri.com.vn/cong-nghe/giam-sat-chuoi-tu-duy-cua-tri-tue-nhan-tao-20250731151403739.htm
Comentário (0)