Yeni Nesil LLM Modelleri Transformer Teknolojisini Geride Bırakıyor
Büyük dil modellerinin temelini oluşturan transformer teknolojisi, yeni nesil LLM'ler için yetersiz kalmaya başlıyor ve startup'lar bu alanda yenilikçi çözümler sunuyor.
Yapay zeka dünyasının son dokuz yılına damga vuran transformer mimarisi, büyük dil modellerinin (LLM) kalbinde yer alıyor. 2017'de Google araştırmacılarının tanıttığı bu nöral ağ türü, özellikle metin gibi uzun veri dizilerini işlemede gösterdiği başarıyla tüm yapay zeka sektörünü şekillendirdi. Ancak gelinen noktada, transformer'ların temelindeki bazı sınırlamalar, LLM'lerin daha karmaşık görevleri yerine getirme potansiyelini kısıtlamaya başladı.
Transformer'ların temel gücü olan 'yoğun dikkat' mekanizması, metindeki her kelimeyi diğerleriyle karşılaştırarak anlamı sayılarla kodlar. Bu yöntem son derece isabetli olsa da, metin uzunluğu arttıkça gereken hesaplama miktarı katlanarak artıyor. Örneğin, 10.000 kelimelik bir belge, 50 milyon çarpma işlemi gerektirebiliyor. Bu durum, LLM'lerin muazzam enerji tüketimi ve yüksek maliyetlerinin ana nedeni. OpenAI'nin başkanı Greg Brockman'a göre şirket, bu yıl sadece hesaplama için 50 milyar dolar harcayacak. Uluslararası Enerji Ajansı da veri merkezlerinin elektrik tüketiminin 2030'a kadar iki katına çıkacağını öngörüyor.
Bu kısıtlamalar, Subquadratic, Manifest AI, Liquid AI ve Inception gibi bir dizi startup'ı harekete geçirdi. Subquadratic, yoğun dikkat mekanizmasını 'seyrek dikkat' ile değiştirerek hesaplama yükünü radikal bir şekilde azaltmayı hedefliyor. Manifest AI ise dikkat mekanizmasının yerine 'güçlü bellek' adını verdiği bir sistem geliştirerek sadece en alakalı bilgiyi saklıyor ve LLM'in takip etmesi gereken veri miktarını kontrol altında tutuyor. Liquid AI, Mercedes gibi otomobil üreticileri için küçük çiplerde çalışabilen, solucan beyninden esinlenilmiş sıvı nöral ağları transformer'larla birleştiriyor. Inception ise görüntü oluşturma modellerinden tanıdığımız difüzyon tekniğini kullanarak LLM'lerin metinleri tek seferde, daha hızlı ve verimli bir şekilde üretmesini sağlıyor.
Palo Alto merkezli Pathway ise LLM'leri dilin kısıtlamalarından kurtarmayı amaçlıyor. Şirket, transformer'ın dikkat mekanizmasını 'durum uzayı' adı verilen matematiksel bir yapıyla değiştirerek modellerin metin dışı akıl yürütme biçimlerini taklit etmesini sağlıyor. Sudoku gibi dil tabanlı olmayan problemler üzerinde gösterdikleri başarı, transformer'ların her problem için en iyi çözüm olmadığını kanıtlıyor. Pathway'in kurucu ortağı Zuzanna Stamirowska, transformer'ların bir mühendislik kolaylığı olduğunu ve yapay zekanın gerçek potansiyeline ulaşmak için yeni atılımlara ihtiyaç olduğunu belirtiyor.
Bu yenilikçi yaklaşımlar, LLM'leri daha hızlı, daha verimli ve potansiyel olarak daha akıllı hale getirme vaadi taşıyor. Yapay zekanın geleceği, bu startup'ların geliştirdiği alternatif teknolojilerle şekillenirken, transformer'ların tahtı sallanmaya başlıyor.
