Trillium Labs riskli yapay zeka araştırmalarını açık kaynak yapıyor

Yapay zeka dünyasında modellerin kontrolden çıkmasını engellemek için kapalı laboratuvarlarda tutulması gerektiği yaygın bir düşünce. Ancak sektörün deneyimli isimlerinden Nathan Lambert ve Tom Zick bu yaklaşıma katılmıyor. İkili, yapay zeka araştırmalarını daha şeffaf bir zemine oturtmak amacıyla Trillium Labs adında kar amacı gütmeyen bir kuruluş kurdu.

Trillium Labs, özyinelemeli kendi kendini geliştirme (RSI) ve yapay zeka ajanları gibi potansiyel olarak sorunlu alanlar da dahil olmak üzere çeşitli yapay zeka araştırma konularına odaklanacak. Bu şeffaf yaklaşım, deneylerin ayrıntılarını yayınlayarak dışarıdan bilim insanlarının bu çalışmaları incelemesine ve tekrarlamasına olanak tanıyacak. Lambert, mevcut kapalı geliştirme modelinin, fikirlerin incelenmesi ve yeni yaklaşımların geliştirilmesi konusunda topluluğun yeteneğini kısıtladığını düşünüyor. Ona göre, modellerin nasıl inşa edildiğini ve ayarlandığını dış uzmanların görmesi, riskleri azaltmada kritik bir rol oynayabilir.

Lambert, “Geçtiğimiz bin yıllar boyunca insanlık, zararları azaltmak ve daha iyi gelecekler inşa etmek için bilimsel yöntemi araç kutumuzda tuttu. Sınır yapay zeka geliştirmesinin mevcut kapalı gidişatı bizi bir adım geriye götürüyor” diyor. Mevcut en güçlü yapay zeka modelleri, örneğin OpenAI ve Anthropic'in geliştirdikleri, genellikle uygulama veya API aracılığıyla erişilebilir durumda. Bu durum, modelin nasıl inşa edildiği ve davrandığı konusundaki şeffaflıktan ödün verilmesi anlamına gelebiliyor. Ancak Çinli Xiaomi gibi bazı şirketler, modellerinin eğitim detaylarını canlı olarak yayınlayarak ve Stanford'daki araştırmacılar Marin adlı yapay zeka modelini açık bir şekilde önceden eğiterek farklı bir yol izliyor.

Sektör, güçlü yapay zeka modellerinin yeni yazılım güvenlik açıklarını otomatik olarak keşfedebilmesi ve sistemlere sızabilmesi gibi nedenlerle hangi stratejinin en iyi olduğu konusunda bir tartışma içinde. Lambert ve Zick, Trillium Labs ile bu tartışmaya bilimsel yöntem ve dikkatli ölçümlerle yeni bir boyut getirmeyi hedefliyor. İlk etapta büyük modellerin eğitim sonrası ince ayar süreçlerine odaklanacak olan laboratuvar, aynı zamanda RSI gibi alanlarda da çalışmalar yapacak. Trillium Labs, Schmidt Sciences ve Halcyon Futures gibi kuruluşlardan açıklanmayan miktarda fon sağladı. Kurucular, toplamda 40 ila 100 milyon dolar arasında bir yatırım hedefliyor ve önümüzdeki 18 ay içinde 30 milyon doları eğitime harcamayı planlıyor.