O especialista em IA deixou a OpenAI, empresa que ele cofundou, no início deste ano para abrir seu próprio laboratório de IA chamado Safe Superintelligence Inc.

“O pré-treinamento como o conhecemos deixará de existir”, disse Sutskever em uma conferência sobre processamento de informações neurais.

O termo "pré-treinamento" se refere ao estágio inicial no desenvolvimento do modelo de IA, quando um grande modelo de linguagem aprende padrões de grandes quantidades de dados não rotulados, geralmente textos da internet, livros e outras fontes.

Esgotamento dos recursos de dados

Sutskever disse que, embora acredite que os dados atuais ainda possam acelerar o desenvolvimento da IA, o setor está ficando sem novos recursos para treinar modelos.

Isso, ele diz, acabará levando a uma mudança na maneira como os modelos de IA são treinados hoje.

8da2491217a6b424c37773100bec59ff.jpeg
Os modelos de IA descobrirão como se autotreinar com base em quantidades limitadas de dados. Foto: Yahoo Tech

Essa também é a situação que aconteceu e está acontecendo com os recursos fósseis, quando os campos de petróleo são um recurso limitado ou, como a Internet, contém apenas uma quantidade finita de conteúdo criado pelo homem.

“Atingimos o pico de dados e eles não existirão mais no futuro”, disse Sutskever. “Temos que trabalhar com os dados disponíveis, com uma fonte atualizada da internet.”

Sutskever prevê que os modelos da próxima geração serão "verdadeiramente semelhantes a agentes". "Agente" é um termo popular no campo da IA, geralmente entendido como um sistema de IA autônomo que executa tarefas, toma decisões e interage com software de forma independente.

Além de serem "semelhantes a agentes", ele afirmou que os futuros sistemas de IA serão capazes de raciocinar. Ao contrário da IA ​​atual, que reconhece padrões principalmente com base no que o modelo aprendeu anteriormente, os futuros sistemas de IA serão capazes de resolver problemas passo a passo, de uma forma mais próxima do pensamento. "Quanto mais raciocínio, menos previsível o sistema se torna", disse Sutskever.

A IA pode criar sua própria maneira de se treinar

O especialista também comparou o desenvolvimento de sistemas de IA à biologia evolutiva, citando pesquisas que mostram a relação entre o tamanho do cérebro e do corpo em animais.

Por exemplo, enquanto a maioria dos mamíferos segue um certo padrão proporcional, os humanos têm proporções cerebrais e corporais marcadamente diferentes.

E em algum momento, à medida que a evolução encontrar novas taxas para o crescimento cerebral de nossos ancestrais, a IA também poderá encontrar novas maneiras de escalar além da forma atual de treinar modelos.

(De acordo com TheVerge, Yahoo Tech)

Ao revelar os salários "altíssimos" da xAI e da OpenAI , Elon Musk acusou a OpenAI de pagar demais aos funcionários e chamou isso de anticompetitivo. No entanto, a startup do bilionário, a xAI, também paga muito mais do que a média.