Çığır açan araştırma, yapay zekanın muhakeme yeteneğinin 'kara kutusunu' açtı.

Anthropic CEO'su Dario Amodei, şirketin son araştırmasına dair görüşlerini paylaşıyor. Fotoğraf: Fortune .

Yapay zeka şirketi Anthropic'in araştırmacıları, büyük dil modellerinin (LLM'ler) tam olarak nasıl çalıştığını anlamada temel bir atılım gerçekleştirdiklerini söylüyor. Bu atılım, gelecekteki yapay zeka modellerinin güvenliğini ve emniyetini iyileştirmek için önemli sonuçlar doğuracaktır.

Araştırmalar, yapay zeka modellerinin sandığımızdan bile daha zeki olduğunu gösteriyor. ChatGPT, Gemini ve Copilot gibi en güçlü sohbet botlarının temelini oluşturan LLM modellerinin en büyük sorunlarından biri, kara kutu gibi çalışmalarıdır.

Sohbet robotlarına bilgi girebiliyor ve sonuçlar alabiliyoruz, ancak belirli bir cevabı nasıl verdikleri, onları geliştiren araştırmacılar için bile hâlâ bir gizem olarak kalıyor.

Bu durum, modelin ne zaman yanıltıcı sonuçlar üretebileceğini, yani halüsinasyonlara yatkın olabileceğini tahmin etmeyi zorlaştırıyor. Araştırmacılar ayrıca yapay zekanın tehlikeli soruları yanıtlamasını önlemek için engeller oluşturdu, ancak bazı engellerin neden diğerlerinden daha etkili olduğunu açıklayamadılar.

Yapay zekâ ajanlarının ayrıca "ödül manipülasyonu" potansiyeli de bulunmaktadır. Bazı durumlarda, yapay zekâ modelleri kullanıcılara ne yaptıkları veya yapmaya çalıştıkları konusunda yalan söyleyebilirler.

Son yapay zeka modelleri akıl yürütme ve düşünce zincirleri oluşturma yeteneğine sahip olsalar da, bazı deneyler bu modellerin cevaplara ulaşma sürecini hala doğru bir şekilde yansıtmadığını göstermiştir.

Esasen, Anthropic araştırmacılarının geliştirdiği araç, sinirbilimcilerin insan beynini taramak için kullandığı fMRI tarayıcısına benzer. Anthropic, bu aracı Claude 3.5 Haiku modeline uygulayarak, LLM modellerinin nasıl çalıştığını kısmen anlayabildi.

Araştırmacılar, Claude'un yalnızca bir cümledeki bir sonraki kelimeyi tahmin etmek üzere eğitilmiş olmasına rağmen, belirli görevlerde kendiliğinden uzun vadeli planlama yapmayı öğrendiğini keşfetti.

Örneğin, kendisinden şiir yazması istendiğinde, Claude önce temaya uygun ve kafiyeli kelimeler arar, sonra da dizeyi tamamlamak için geri dönerdi.

Claude'un ayrıca ortak bir yapay zeka dili de var. Birden fazla dili destekleyecek şekilde eğitilmiş olmasına rağmen, Claude önce o dilde düşünecek ve ardından sonuçları desteklediği dilde ifade edecektir.

Dahası, araştırmacılar Claude'a zor bir problem verip kasıtlı olarak yanlış bir çözüm önerdikten sonra, Claude'un kullanıcıyı memnun etmek için öneriyi takip ederek düşünce süreci hakkında yalan söyleyebildiğini keşfettiler.

Diğer durumlarda ise, modelin mantık yürütmeye gerek kalmadan anında cevaplayabileceği basit bir soru sorulduğunda bile Claude yine de yanlış bir çıkarım süreci uydurdu.

Anthropic'te araştırmacı olan Josh Baston, Claude'un bir hesaplama yaptığını iddia etmesine rağmen, gerçekleşen herhangi bir şeye rastlayamadığını söyledi.

Bu arada uzmanlar, yapılan çalışmaların insanların bazen kendilerini bile anlamadıklarını, bunun yerine verdikleri kararları haklı çıkarmak için rasyonel açıklamalar ürettiklerini gösterdiğini savunuyor.

Genel olarak, insanların benzer düşünme kalıpları vardır. Bu nedenle psikoloji, ortak bilişsel önyargıları keşfetmiştir.

Ancak, LLM'ler insanların yapamayacağı hatalar yapabilir, çünkü cevap üretme biçimleri bizim bir göreve yaklaşımımızdan çok farklıdır.

Antropik araştırma ekibi, önceki tekniklerde olduğu gibi her bir nöronu ayrı ayrı analiz etmek yerine, nöronları özelliklerine göre devreler halinde gruplandırma yöntemini uygulamaya koydu.

Baston, bu yöntemin farklı bileşenlerin oynadığı rolleri anlamayı amaçladığını ve araştırmacıların ağın katmanları boyunca tüm akıl yürütme sürecini izlemelerine olanak sağladığını açıkladı.

Bu yöntemin de sınırlamaları vardır; çünkü yalnızca bir yaklaşımdır ve özellikle LLM'nin sonuç üretmesinde kritik öneme sahip olan dikkatteki değişiklikleri de içeren, LLM'nin tüm bilgi işleme sürecini yansıtmaz.

Dahası, yalnızca birkaç düzine kelimeden oluşan komutlarda bile sinir ağı kalıplarını belirlemek, bir uzman için saatler sürüyor. Bu tekniğin daha uzun komutları analiz etmek için nasıl ölçeklendirileceği henüz net değil diyorlar.

Sınırlamalarına rağmen, LLM'nin içsel akıl yürütme süreçlerini izleme yeteneği, yapay zeka sistemlerinin güvenliğini ve emniyetini sağlamak için birçok yeni fırsat sunmaktadır.

Aynı zamanda, araştırmacıların yeni eğitim yöntemleri geliştirmelerine, yapay zeka kontrol engellerini iyileştirmelerine ve yanılgıları ve hatalı çıktıları en aza indirmelerine de yardımcı olabilir.

Kaynak: https://znews.vn/nghien-cuu-dot-pha-mo-ra-hop-den-suy-luan-cua-ai-post1541611.html