Спеціальна зустріч, на якій математики прагнуть перемогти штучний інтелект

Одного вихідного в середині травня відбулася секретна зустріч світу математики. 30 провідних математиків світу таємно вирушили до Берклі, Каліфорнія, США, щоб взяти участь у зустрічі з чат-ботом, здатним до «міркування». Чат-боту було доручено розв'язувати задачі, написані самими математиками, щоб перевірити його здібності до розв'язання задач.

Після двох днів безперервного обстрілу питань професорського рівня математики з подивом усвідомили, що цей чат-бот може вирішити деякі з найскладніших задач, коли-небудь вирішених в історії.

«Я бачив, як колеги прямо сказали, що ця велика мовна модель наближається до рівня математичного генія», – сказав Кен Оно, професор Університету Вірджинії, голова та член суду зустрічі, в інтерв’ю Scientific American.

Чат-бот, який привернув нашу увагу, працює на o4-mini , великій мовній моделі (LLM), розробленій для складних міркувань. Він є продуктом OpenAI та навчений виконувати складні міркування. Еквівалентна модель від Google, Gemini 2.5 Flash, має аналогічні можливості.

Як і попередні LLM ChatGPT, o4-mini навчається передбачати наступне слово в текстовому рядку. Однак o4-mini — це легша, гнучкіша версія, навчена на глибоких даних та ретельно налаштована людьми, що дозволяє їй заглиблюватися в математичні проблеми, до яких попередні моделі не могли дійти.

Щоб перевірити можливості o4-mini, OpenAI попросила Epoch AI, некомерційну організацію, що спеціалізується на тестуванні моделей LLM, створити 300 раніше неопублікованих математичних питань. Хоча традиційні LLM можуть вирішувати багато складних проблем, коли їм ставили абсолютно нові питання, більшість із них отримували менше 2% правильних відповідей, що свідчить про те, що вони насправді не здатні міркувати.

У новому оціночному проєкті Epoch AI залучила молодого математика доктора Елліота Глейзера своїм керівником. Новий проєкт під назвою FrontierMath буде розгорнуто з вересня 2024 року.

Проєкт збирає нові питання чотирьох рівнів складності: від бакалаврату, магістратури до поглибленого дослідження. До квітня 2025 року Глейзер виявив, що o4-mini може вирішити близько 20% задач. Тож він перейшов аж до 4-го рівня — доручивши йому розв’язувати задачі, з якими мали б труднощі навіть досвідчені математики.

Учасників змусили підписати угоду про конфіденційність і вони могли спілкуватися лише через зашифрований додаток Signal, оскільки використання електронної пошти могло дозволити LLM сканувати та «винюхувати» контент, тим самим фальсифікуючи дані оцінювання.

Кожна задача, яку o4-mini не зможе вирішити, принесе тому, хто її запитує, приз у розмірі 7500 доларів США.

Початкова команда повільно, але стабільно прогресувала у розробці питань. Але Глейзер вирішив пришвидшити процес, провівши особисту зустріч 17–18 травня. 30 математиків-учасників були розділені на групи по шість осіб, які змагалися один з одним — не у розв’язанні задач, а у створенні задач, які штучний інтелект не міг би вирішити.

До вечора 17 травня Кен Оно почав дратуватися через чат-бот, який демонстрував рівень математичної майстерності, що набагато перевищував очікуваний, що ускладнювало команді його «спіймати». «Я придумав проблему, яку експерти в цій галузі розпізнали б як відкриту проблему в теорії чисел — проблему, гідну докторської дисертації», — сказав він.

У результаті, коли він звернувся до o4-mini, він був приголомшений, побачивши, як чат-бот проаналізував, обміркував і знайшов правильне рішення всього за 10 хвилин. Зокрема, за перші дві хвилини він вивчив і опанував усі відповідні документи. Потім запропонував спробувати простішу версію проблеми, щоб навчитися підходити до неї.

Через п’ять хвилин чат-бот дав правильну відповідь, говорячи впевненим, навіть зарозумілим тоном. «Він почав зухвало казати, — каже Оно, — і додав: «Не потрібно цитувати, бо я розгадала секретний номер!»

Зазнавши поразки від штучного інтелекту, рано вранці 18 травня Оно негайно надіслав команді попередження через Signal. «Я був абсолютно не готовий мати справу з такою моделлю», – сказав він. «Я ніколи не бачив такого мислення в комп’ютерній моделі. Це було мислення, як думав би справжній вчений . І це було страшно».

Хоча математикам нарешті вдалося знайти 10 питань, які поставили o4-mini в глухий кут, вони все одно не змогли приховати свого шоку від швидкості розвитку штучного інтелекту всього за один рік.

Оно порівнює досвід роботи з o4-mini зі співпрацею з дуже талановитим колегою. А Ян Хуей Хе, математик Лондонського інституту математичних наук і піонер у застосуванні штучного інтелекту в математиці, коментує: «Це те, що може зробити дуже, дуже талановитий аспірант — і навіть більше».

І слід зазначити, що ШІ робить це набагато швидше, ніж люди. У той час як людям на це потрібні тижні або місяці, o4-mini займає лише кілька хвилин.

Ажіотаж навколо o4-mini не позбавлений певних побоювань. І Оно, і Хе попереджають, що можливості o4-mini можуть зробити людей надмірно самовпевненими. «У нас є докази за допомогою індукції, докази від спростування, а тепер докази за допомогою… переконливих доказів», — каже Хе. «Якщо ви скажете щось з достатньою впевненістю, люди будуть залякані. Я думаю, що o4-mini опанував цей вид доказів: він говорить все з великою впевненістю».

Після завершення зустрічі математики почали розмірковувати про майбутнє математики. Вони обговорювали можливість «п’ятого рівня» — питань, які не можуть розв’язати навіть найкращі математики світу. Якщо штучний інтелект досягне цього порогу, роль математиків кардинально зміниться: можливо, вони стануть тими, хто задає питання, взаємодіючи зі штучним інтелектом та керуючи його міркуваннями для відкриття нових математичних істин — подібно до того, як професор працює з аспірантом.

«Я вже давно кажу своїм колегам, що було б величезною помилкою думати, що повноцінного штучного інтелекту ніколи не буде, що це просто комп’ютер», – сказала Оно. «Я не хочу панікувати, але в деяких аспектах ці великі мовні моделі вже починають перевершувати більшість найкращих аспірантів світу».

(В'єтнам+)

Джерело: https://www.vietnamplus.vn/cuoc-gap-go-dac-biet-noi-cac-nha-toan-hoc-tim-cach-danh-bai-tri-tue-nhan-tao-post1043183.vnp