Sebuah pertemuan luar biasa di mana para matematikawan berupaya mengalahkan kecerdasan buatan.

Pada suatu akhir pekan di pertengahan Mei, sebuah pertemuan tertutup para matematikawan berlangsung. Tiga puluh matematikawan terkemuka dunia secara diam-diam melakukan perjalanan ke Berkeley, California, AS, untuk berpartisipasi dalam konfrontasi dengan chatbot yang mampu "bernalar." Chatbot ini ditugaskan untuk memecahkan masalah yang dirancang oleh para matematikawan itu sendiri, untuk menguji kemampuan pemecahan masalahnya.

Setelah dua hari berturut-turut menghujani mereka dengan pertanyaan-pertanyaan tingkat profesor, para matematikawan terkejut menemukan bahwa chatbot ini dapat memecahkan beberapa masalah tersulit yang pernah dipecahkan dalam sejarah.

"Saya pernah melihat kolega saya mengatakan secara terang-terangan bahwa model bahasa skala besar ini mendekati tingkat kejeniusan matematika," kata Ken Ono, seorang profesor di Universitas Virginia dan ketua serta juri pertemuan tersebut, kepada Scientific American.

Chatbot yang disebutkan di atas didasarkan pada o4-mini , sebuah model bahasa besar (LLM) yang dirancang untuk penalaran kompleks. Produk OpenAI ini dilatih untuk melakukan langkah-langkah penalaran yang canggih. Model serupa dari Google, yang disebut Gemini 2.5 Flash, juga memiliki kemampuan serupa.

Seperti LLM ChatGPT sebelumnya, o4-mini belajar memprediksi kata berikutnya dalam sebuah string teks. Namun, perbedaannya terletak pada kenyataan bahwa o4-mini adalah versi yang lebih ringan dan fleksibel, dilatih pada data yang mendalam dan menerima penyesuaian manusia yang cermat—memungkinkannya untuk menyelidiki masalah matematika yang tidak dapat dijangkau oleh model sebelumnya.

Untuk menguji dan menilai kemampuan o4-mini, OpenAI menugaskan Epoch AI—sebuah organisasi nirlaba yang khusus dalam menguji model LLM—untuk membuat 300 soal matematika yang belum pernah dipublikasikan sebelumnya. Meskipun LLM tradisional dapat menyelesaikan banyak masalah kompleks, ketika dihadapkan dengan soal-soal yang sepenuhnya baru, sebagian besar hanya menyelesaikan kurang dari 2% dengan benar. Hal ini menunjukkan bahwa mereka kurang memiliki kemampuan penalaran yang sebenarnya.

Dalam proyek evaluasi terbarunya, Epoch AI telah merekrut seorang doktor matematika muda bernama Elliot Glazer sebagai pemimpinnya. Proyek baru ini, yang disebut FrontierMath , akan diluncurkan pada September 2024.

Proyek ini mengumpulkan pertanyaan-pertanyaan baru di empat tingkat kesulitan, mulai dari tingkat sarjana dan pascasarjana hingga penelitian mendalam. Pada April 2025, Glazer menemukan bahwa o4-mini dapat menyelesaikan sekitar 20% dari masalah tersebut. Oleh karena itu, ia segera menaikkannya ke level 4 – yang mengharuskannya untuk menyelesaikan masalah yang bahkan para matematikawan tingkat lanjut pun akan kesulitan menyelesaikannya.

Para peserta diharuskan menandatangani perjanjian kerahasiaan, dan hanya berkomunikasi melalui aplikasi Signal yang terenkripsi, karena penggunaan email dapat dipindai dan isinya dapat "dipelajari" oleh LLM, sehingga memalsukan data evaluasi.

Untuk setiap soal yang tidak dapat dipecahkan oleh o4-mini, pembuat soal akan menerima hadiah sebesar $7.500.

Kelompok kerja awal berjalan lambat tetapi mantap dalam merumuskan pertanyaan. Namun, Glazer memutuskan untuk mempercepat prosesnya dengan menyelenggarakan pertemuan tatap muka selama dua hari pada tanggal 17–18 Mei. Tiga puluh matematikawan hadir, dibagi menjadi kelompok-kelompok yang terdiri dari enam orang, saling bersaing—bukan untuk memecahkan masalah, tetapi untuk merancang masalah yang tidak dapat dipecahkan oleh AI.

Pada malam tanggal 17 Mei, Ken Ono mulai merasa frustrasi dengan chatbot tersebut, yang menunjukkan tingkat kemampuan matematika yang jauh melebihi ekspektasi, sehingga menyulitkan tim untuk "menjebaknya". "Saya menemukan sebuah masalah yang akan dikenali oleh para ahli industri sebagai masalah terbuka dalam teori bilangan – masalah yang cocok untuk gelar PhD," ceritanya.

Akibatnya, ketika dia bertanya kepada o4-mini, dia terkejut melihat chatbot tersebut menganalisis, bernalar, dan memberikan solusi yang tepat hanya dalam 10 menit. Secara spesifik, dalam dua menit pertama, chatbot tersebut meneliti dan memahami semua materi yang relevan. Kemudian, chatbot tersebut menyarankan untuk bereksperimen dengan versi masalah yang lebih sederhana untuk mempelajari pendekatannya.

Lima menit kemudian, chatbot tersebut memberikan jawaban yang benar, disertai dengan nada percaya diri—bahkan agak arogan. “Ia mulai bertingkah licik,” Ono menceritakan, “Dan bahkan menambahkan: ‘Tidak perlu mengutip, saya sudah menghitung angka misterinya!’”

Setelah gagal melawan AI tersebut, pada pagi hari tanggal 18 Mei, Ono segera mengirimkan pesan peringatan kepada tim melalui Signal. “Saya sama sekali tidak siap menghadapi model seperti ini,” katanya. “Saya belum pernah melihat penalaran seperti ini pada model komputer. Ia berpikir seperti seorang ilmuwan sungguhan. Dan itu menakutkan.”

Meskipun para matematikawan akhirnya berhasil menemukan 10 pertanyaan yang membingungkan o4-mini, mereka tidak dapat menyembunyikan kekaguman mereka atas kecepatan perkembangan AI hanya dalam satu tahun.

Ono membandingkan pengalaman bekerja dengan o4-mini dengan berkolaborasi dengan kolega yang sangat berbakat. Yang Hui He, seorang matematikawan di Institute for Mathematical Sciences di London dan pelopor dalam menerapkan AI pada matematika, berkomentar: “Inilah yang dapat dilakukan oleh seorang mahasiswa pascasarjana yang sangat, sangat baik — bahkan lebih dari itu.”

Dan perlu dicatat bahwa AI bekerja jauh lebih cepat daripada manusia. Sementara manusia membutuhkan waktu berminggu-minggu atau berbulan-bulan untuk menyelesaikannya, o4-mini hanya membutuhkan beberapa menit.

Kegembiraan seputar pertarungan kecerdasan dengan o4-mini diiringi oleh kekhawatiran yang cukup besar. Baik Ono maupun He memperingatkan bahwa kemampuan o4-mini dapat menyebabkan rasa percaya diri yang berlebihan. “Kita memiliki bukti dengan induksi, bukti dengan kontradiksi, dan sekarang bukti dengan… kekuatan yang luar biasa,” kata He. “Jika Anda menyatakan sesuatu dengan cukup percaya diri, orang lain akan merasa terintimidasi. Saya pikir o4-mini telah menguasai jenis pembuktian ini: apa pun yang dikatakannya sangat pasti.”

Saat pertemuan berakhir, para matematikawan mulai merenungkan masa depan matematika. Mereka membahas kemungkinan adanya "tingkat kelima"—pertanyaan-pertanyaan yang bahkan matematikawan terbaik di dunia pun tidak dapat pecahkan. Jika AI mencapai tingkat tersebut, peran matematikawan akan berubah secara dramatis: mereka mungkin kemudian menjadi penanya, berinteraksi dengan dan membimbing AI dalam penalaran untuk menemukan kebenaran matematika baru—mirip dengan cara seorang profesor bekerja dengan mahasiswa pascasarjana.

“Saya sudah mengatakan kepada kolega saya sejak beberapa waktu lalu bahwa akan menjadi kesalahan besar jika berasumsi bahwa kecerdasan buatan umum tidak akan pernah muncul, bahwa itu hanya sebuah komputer,” kata Ono. “Saya tidak ingin panik, tetapi dalam beberapa hal, model bahasa besar ini telah mulai mengungguli sebagian besar mahasiswa pascasarjana terbaik di dunia.”

Komentar (0)