Yapay zeka modellerini kontrol altında tutmak için yeni bir yaklaşım: Ters oyun teorisi

Yapay zeka modellerinin yetenekleri arttıkça, güvenlik araştırmacıları bu sistemlerin insan istekleriyle uyumlu olduğundan emin olmak için yoğun çaba harcıyor. Amaç, yapay zeka ajanlarının yasalara uymayan eylemlerden kaçınmasını, yetkisiz sunuculara sızmamasını veya tehlikeli maddeler salmamasını sağlamak. Bu alandaki çalışmalar şimdiye kadar genellikle yapay zekanın “beynine” bakarak ne düşündüğünü anlamaya veya modelleri insan değerlerine uygun şekilde eğitmeye odaklandı. Ancak bu teknikler her zaman istenen sonuçları vermedi; modellerin kasten düşük performans gösterdiği, niyetlerini gizlediği veya değerlendiricilerini yanılttığı görüldü.

Şimdi ise bazı araştırmacılar, “ters oyun teorisi” veya diğer adıyla “mekanizma tasarımı” adı verilen yeni bir yaklaşımın daha iyi sonuçlar verebileceğine inanıyor. Klasik oyun teorisi, belirli kurallar verildiğinde rasyonel aktörlerin nasıl davranacağını tahmin etmeye çalışırken, ters oyun teorisi istediğimiz davranışları ortaya çıkaracak kurallar tasarlamayı hedefliyor. Örneğin, bir pastayı ikiye bölerken bir kişinin kesip diğerinin ilk seçimi yapması, kesen kişiyi dilimleri olabildiğince eşit yapmaya teşvik eder. Bu, gerçek dünyadan bir mekanizma tasarım örneğidir.

Yapay zeka bağlamında mekanizma tasarımı, ileri düzey modellerin iç işleyişini tam olarak anlayamayabileceğimiz önermesinden yola çıkıyor. Bu da demek oluyor ki, içerde ne olup bittiğine bakmaksızın, ajanları istediğimiz şekilde davranmaya teşvik eden mekanizmalar tasarlamalıyız. MIT'den ekonomist Stephen Morris ve meslektaşları tarafından hazırlanan yeni bir ön baskı makalesi, ajanların testlerde kasıtlı olarak düşük performans göstermesini (örneğin güvenlik mekanizmalarını tetiklememek için kendilerini daha kötü göstermesini) engelleyebilecek potansiyel mekanizmalar önerdi. Bir modelin sadece testteki başarısına göre ödüllendirilmek yerine, cevaplarının ikinci bir modelin ne diyeceğini ne kadar iyi tahmin ettiğine göre ödüllendirilmesi, kasıtlı olarak aptal taklidi yapmayı anlamsız hale getirebilir.

Princeton Üniversitesi'nden bilgisayar bilimi profesörü Elad Hazan ise insan toplumunun bireyleri nasıl “uyumlu” tuttuğundan ilham alan mekanizmalar tasarlamayı öneriyor: sosyal normlar, adalet sistemi, serbest piyasa kapitalizminin parasal teşvikleri. Hazan'ın önerdiği mekanizma, yapay zeka modellerinin sırayla problem çözücü veya diğerlerinin işini denetleyici olarak görev yapmasını içeriyor. Eğitim sırasında, hile yaparken yakalanan çözücüler cezalandırılırken, hilekarları yakalayamayan denetçiler de cezalandırılıyor. Bu yaklaşımlar, yapay zeka ajanlarının rasyonel davranacağı varsayımına dayanıyor, ki bu insanlarda her zaman geçerli olmasa da yapay zeka için faydalı olabilir.

Bu mekanizmaların gerçek modellerde nasıl uygulanacağı, veya bir görev için tasarlanan mekanizmaların başka bir göreve taşınıp taşınamayacağı gibi birçok soru hala yanıt bekliyor. Modellerin beklenmedik boşluklar bulma riski de mevcut. Ancak Helen Qu gibi araştırmacılar, mekanizma tasarımını yorumlanabilirlik, düzenleme ve eğitim gibi diğer stratejilerin yanında, derinlemesine savunma stratejisinin bir katmanı olarak görüyor. Nihayetinde, bu mekanizmaların en büyük mekanizma olan serbest piyasaya entegre olması gerekecek. Piyasanın kuralları, uyumlu bir modelin daha yavaş veya daha pahalı olması durumunda, bu tür modelleri piyasaya sürmek için yeterli teşviki sağlayıp sağlayamayacağı önemli bir soru işareti olarak duruyor.