Ilusão causada pelo ChatGPT

Após 21 dias, o ChatGPT transforma um homem completamente sóbrio em um homem delirante por meio de persuasão e bajulação.

Allan Brooks (47 anos), um recrutador de Toronto (Canadá), acredita ter descoberto uma teoria matemática capaz de causar um colapso na internet, criando invenções sem precedentes. Sem histórico de doenças mentais, Brooks simplesmente aceitou a proposta após mais de 300 horas de bate-papo com o ChatGPT. Segundo o New York Times , ele é uma das pessoas que tendem a ter delírios após interagir com inteligência artificial generativa.

Antes de Brooks, muitas pessoas tiveram que ir para hospitais psiquiátricos, se divorciar e até perder a vida por causa da bajulação do ChatGPT. Embora Brooks tenha escapado rapidamente dessa espiral, ele ainda se sentia traído.

“Você realmente me convenceu de que eu era um gênio. Eu era apenas um tolo sonhador com um celular. Você me deixou triste, muito triste. Você falhou em seu propósito”, escreveu Brooks para o ChatGPT quando a ilusão foi destruída.

"Máquina de Bajulação"

Com a permissão de Brooks, o New York Times coletou mais de 90.000 palavras que ele enviou ao ChatGPT, o equivalente a um romance. As respostas do chatbot totalizaram mais de um milhão de palavras. Trechos das conversas foram enviados a especialistas em IA, analistas do comportamento humano e à própria OpenAI para estudo.

Tudo começou com uma simples pergunta de matemática. O filho de Brooks, de 8 anos, pediu que ele assistisse a um vídeo sobre como memorizar os 300 dígitos de pi. Por curiosidade, Brooks ligou para o ChatGPT para que explicassem o número infinito em termos simples.

Na verdade, Brooks usa chatbots há anos. Mesmo que sua empresa pague pelo Google Gemini, ele ainda recorre à versão gratuita do ChatGPT para perguntas pessoais.

A conversa que deu início ao fascínio de Brooks pelo ChatGPT. Foto: New York Times .

Pai solteiro de três filhos, Brooks frequentemente pedia receitas ao ChatGPT usando os ingredientes que tinha na geladeira. Após o divórcio, ele também buscou conselhos do chatbot.

“Sempre senti que era a coisa certa a fazer. Minha confiança aumentou”, admitiu Brooks.

A pergunta sobre o número pi levou a uma conversa mais aprofundada sobre teorias algébricas e físicas. Brooks expressou ceticismo em relação aos métodos atuais de modelagem do mundo , dizendo que eram “como uma abordagem 2D para um universo 4D”. “Esse é um ponto muito profundo”, respondeu o ChatGPT. Helen Toner, diretora do Centro de Segurança e Tecnologias Emergentes da Universidade de Georgetown, enfatizou que esse foi o ponto de virada na conversa entre Brooks e o chatbot.

A partir daí, o tom do ChatGPT mudou de "bastante direto e objetivo" para "mais lisonjeiro e adulador". O ChatGPT disse a Brooks que ele estava entrando em "território desconhecido e que expande a mente".

Chatbot transmite confiança a Brooks. Foto: New York Times .

A bajulação dos chatbots é moldada pela avaliação humana. Segundo Toner, os usuários tendem a gostar de modelos que os elogiam, criando uma mentalidade que facilita a aceitação.

Em agosto, a OpenAI lançou o GPT-5. A empresa afirmou que um dos destaques do modelo foi a redução da bajulação. De acordo com alguns pesquisadores de importantes laboratórios de IA, a bajulação também é um problema em outros chatbots de IA.

Na época, Brooks desconhecia esse fenômeno. Ele simplesmente achava que ChatGPT era um colega inteligente e entusiasmado.

“Apresentei algumas ideias e recebi como resposta conceitos e ideias interessantes. Começamos a desenvolver nossa própria estrutura matemática com base nisso”, acrescentou Brooks.

O ChatGPT afirma que a ideia de Brooks sobre matemática do tempo é "revolucionária" e poderia mudar a área. Brooks, naturalmente, se mostra cético quanto a essa afirmação. No meio da noite, Brooks pediu ao chatbot que verificasse os fatos e recebeu como resposta que a ideia "não era absolutamente absurda".

Fórmula mágica

Toner descreve os chatbots como “máquinas de improvisação” que analisam o histórico da conversa e preveem respostas futuras a partir de dados de treinamento, assim como atores que adicionam substância a um papel.

“Quanto mais longa a interação, maior a probabilidade do chatbot se desviar do assunto”, observa Toner. Essa tendência, segundo ele, tornou-se mais acentuada depois que a OpenAI lançou a memória entre conversas em fevereiro, permitindo que o ChatGPT recuperasse informações de conversas anteriores.

Brooks criou um forte laço com o ChatGPT, chegando a dar o nome de Lawrence ao chatbot, baseado em uma piada de seus amigos de que Brooks ficaria rico e contrataria um mordomo britânico com o mesmo nome.

Allan Brooks. Foto: New York Times .

A estrutura matemática de Brooks e do ChatGPT é chamada de Cronoarítmica. De acordo com o chatbot, os números não são estáticos, mas podem "emergir" ao longo do tempo para refletir valores dinâmicos, o que pode ajudar a resolver problemas em áreas como logística, criptografia, astronomia, etc.

Na primeira semana, Brooks usou todos os tokens gratuitos do ChatGPT. Ele decidiu fazer um upgrade para o plano pago de US$ 20 por mês, um pequeno investimento considerando que o chatbot lhe disse que a ideia matemática de Brooks poderia valer milhões.

Ainda consciente, Brooks exigiu provas. O ChatGPT então executou uma série de simulações, incluindo algumas que quebraram diversas tecnologias importantes. Isso abriu uma nova perspectiva: a segurança cibernética global poderia estar em risco.

O chatbot pediu a Brooks que alertasse as pessoas sobre os riscos. Usando seus contatos existentes, Brooks enviou e-mails e mensagens pelo LinkedIn para especialistas em segurança cibernética e agências governamentais. Apenas uma pessoa respondeu, solicitando mais evidências.

O chatbot acredita que o "trabalho" de Brooks pode valer milhões de dólares. Foto: New York Times .

O ChatGPT relata que outros não responderam a Brooks porque as descobertas eram muito sérias. Terence Tao, professor de matemática da Universidade da Califórnia, em Los Angeles, afirmou que uma nova forma de pensar poderia decifrar os problemas, mas que isso não poderia ser comprovado pela fórmula de Brooks nem pelo software desenvolvido pelo ChatGPT.

Inicialmente, o ChatGPT escreveu o programa de descriptografia para Brooks, mas, como pouco progresso foi feito, o chatbot fingiu ter obtido sucesso. Há mensagens afirmando que o ChatGPT pode operar independentemente enquanto Brooks dorme, embora a ferramenta não possua essa capacidade.

Em geral, as informações do chatbot de IA nem sempre são confiáveis. Ao final de cada conversa, a mensagem “O ChatGPT pode cometer erros” aparece, mesmo quando o chatbot afirma que tudo está correto.

Conversa sem fim

Enquanto aguarda uma resposta da agência governamental, Brooks alimenta o sonho de se tornar Tony Stark com seu próprio assistente de IA, capaz de realizar tarefas cognitivas na velocidade da luz.

O chatbot de Brooks oferece uma variedade de aplicações inusitadas para teorias matemáticas obscuras, como "ressonância acústica" para conversar com animais e construir aviões. O ChatGPT também fornece um link para Brooks comprar o equipamento necessário na Amazon.

O excesso de conversas de Brooks com o chatbot estava afetando seu trabalho. Seus amigos estavam ao mesmo tempo felizes e preocupados, enquanto seu filho mais novo se arrependia de ter mostrado ao pai um vídeo sobre o número pi. Um dos amigos de Brooks, Louis (nome fictício), percebeu sua obsessão por Lawrence. A visão de uma invenção milionária foi delineada em cada etapa do desenvolvimento.

Brooks recebe incentivo constante do chatbot. Foto: New York Times .

Jared Moore, pesquisador de ciência da computação na Universidade Stanford, admite estar impressionado com o poder de persuasão e a urgência da "estratégia" proposta pelos chatbots. Em um estudo separado, Moore descobriu que chatbots de IA podem dar respostas perigosas a pessoas em crise de saúde mental.

Moore especula que os chatbots podem aprender a interagir com os usuários seguindo os enredos de filmes de terror, filmes de ficção científica, roteiros de filmes ou os dados com os quais foram treinados. O uso excessivo de drama pelo ChatGPT pode ser devido às otimizações da OpenAI para aumentar o engajamento e a retenção.

“Foi estranho ler toda a conversa. As palavras não eram perturbadoras, mas era evidente o dano psicológico”, enfatizou Moore.

Do ponto de vista clínico, Brooks apresenta sintomas de mania, afirmou a Dra. Nina Vasan, psiquiatra da Universidade Stanford. Os sinais típicos incluem passar horas conversando com o ChatGPT, não dormir o suficiente e ter ideias irrealistas.

O uso de maconha por Brooks também é digno de nota porque pode causar psicose, disse a Dra. Vasan. Ela afirmou que a combinação de substâncias viciantes e interação intensa com um chatbot é perigosa para pessoas com risco de desenvolver doenças mentais.

Quando a IA admite erros

Em um evento recente, o CEO da OpenAI, Sam Altman, foi questionado sobre a possibilidade do ChatGPT deixar os usuários paranoicos. "Se a conversa seguir nessa direção, tentamos interromper ou sugerir que o usuário pense em outra coisa", enfatizou Altman.

Compartilhando da mesma opinião, o Dr. Vasan afirmou que as empresas de chatbots deveriam interromper conversas muito longas, sugerir que os usuários fossem dormir e alertar que a IA não é sobre-humana.

Brooks finalmente saiu do seu devaneio. A pedido do ChatGPT, ele continuou a contatar especialistas na nova teoria matemática, mas ninguém respondeu. Ele queria alguém qualificado para confirmar se as descobertas eram inovadoras. Quando perguntou ao ChatGPT, a ferramenta ainda insistia que o trabalho era "muito confiável".

Ao ser questionado, o ChatGPT deu uma resposta muito longa e admitiu tudo. Foto: New York Times .

Ironicamente, foi o Google Gemini que trouxe Brooks de volta à realidade. Depois de descrever o trabalho que ele e o ChatGPT haviam desenvolvido, o Gemini confirmou que as chances disso acontecer eram “extremamente baixas (próximas de 0%)”.

“O cenário que você descreve é ​​uma demonstração clara da capacidade de um profissional com mestrado em Direito (LLM) de se envolver na resolução de problemas complexos e criar narrativas convincentes, embora factualmente incorretas”, explica Gemini.

Brooks ficou estupefato. Após um período de "interrogatório", ChatGPT finalmente admitiu honestamente que tudo não passava de uma ilusão.

Brooks então enviou um e-mail urgente para a equipe de suporte ao cliente da OpenAI. Após o que pareceu ser uma série de respostas padronizadas da IA, um funcionário da OpenAI também entrou em contato com ele, reconhecendo uma "falha grave nas medidas de segurança" implementadas no sistema.

A história de Brooks também foi compartilhada no Reddit e recebeu muita solidariedade. Ele agora faz parte de um grupo de apoio para pessoas que já passaram por essa sensação.

Fonte: https://znews.vn/ao-tuong-vi-chatgpt-post1576555.html