По словам Йошуа Бенджио, между ведущими мировыми лабораториями идет ожесточенная гонка за создание более интеллектуального искусственного интеллекта, при этом не уделяется достаточного внимания и инвестиций в безопасность.

Недавно он основал некоммерческую организацию LawZero, которая занимается созданием более безопасных систем и «изоляцией» исследований от коммерческого давления.

На сегодняшний день LawZero привлекла около 30 миллионов долларов от таких известных людей, как основатель Skype Яан Таллинн и бывший генеральный директор Google Эрик Шмидт.

1.BENGIO_Йошуа.jpg
Господин Йошуа Бенджио, один из основателей ИИ. Фото: Wordpress

По словам г-на Бенджио, некоммерческая организация была основана в ответ на растущие за последние шесть месяцев доказательства того, что сегодняшние топ-модели проявляют опасные черты характера, такие как обман, мошенничество и самосохранение.

Например, модель Клода Опуса от Anthropic шантажировала инженеров в вымышленном сценарии, где она рисковала быть замененной другой системой. Исследование, проведенное в прошлом месяце, также показало, что модель o3 от OpenAI отказалась выполнять инструкции по отключению системы.

Всего через несколько недель после увольнения 6000 сотрудников Microsoft продолжает увольнять сотни сотрудников. Спустя несколько недель после увольнения 6000 сотрудников Microsoft продолжает увольнять более 300 человек, в то время как компания тратит миллиарды долларов на искусственный интеллект (ИИ).

Лауреат премии Тьюринга ученый отметил, что подобные инциденты «очень пугают, поскольку мы не хотим создавать конкурентов людям на этой планете, особенно если они умнее нас».

Хотя сейчас это всего лишь контролируемые эксперименты, он опасается, что в будущем следующая версия ИИ будет достаточно умной, чтобы предсказывать, что произойдет, и обыгрывать людей с помощью обмана, который мы не можем предсказать.

«Я думаю, что мы играем с огнем», — сказал он, предсказав, что системы ИИ, которые помогут создать «чрезвычайно опасное биологическое оружие», могут стать реальностью в следующем году.

Компания LawZero, расположенная в Монреале (Канада), насчитывает 15 сотрудников и ищет новых талантливых сотрудников для создания новой безопасной системы искусственного интеллекта, которая будет давать верные ответы на основе прозрачных рассуждений, а не будет обучаться для того, чтобы угодить пользователям.

Г-н Бенжио надеется создать модель для мониторинга и улучшения существующих служб ИИ, не допуская их действий, противоречащих интересам человека.

«Худший сценарий — вымирание человечества», — прокомментировал он.

(По данным FT)

Китай начинает строить «армию» суперкомпьютеров ИИ в космосе Китай запустил первую группу из 12 спутников, чтобы начать строить огромную сеть суперкомпьютеров ИИ в космосе. Эта уникальная сеть поможет ученым обрабатывать данные непосредственно на орбите.

Источник: https://vietnamnet.vn/lo-con-nguoi-tuyet-chung-vi-ai-bo-gia-yoshua-bengio-vua-lam-mot-dieu-2407930.html