Yapay Zeka Hafızası: Adaptasyon mu, Yanılgı mı?

Modern yapay zeka sistemlerinin en çekici özelliklerinden biri, kullanıcısına uyum sağlayabilmesi. Bir AI asistanı sizin için bir görevi üstlendiğinde, aynı zamanda sizin tarzınıza ve tercihlerinize adapte oluyor. Bu bilgiler, gelecekteki görevler için bir bağlam olarak kullanılıyor. Daha fazla bağlam ve kullanıcıyı daha iyi anlama ile modelin her kullanımda daha iyiye gitmesi beklenir; en azından teori bu yönde.

Ancak yeni araştırmalar, modellerin bu adaptif yeteneklerinin aslında iki ucu keskin bir bıçak olabileceğini gösteriyor. Yapay zeka şirketi Writer'daki araştırmacılar, popüler hafıza sistemlerinin modelleri nasıl kötüleştirebileceğini, kullanıcı tarafından sunulan yanlış kavramlara veya yanlış anlamalara doğru çekebileceğini ortaya koyan iki makale yayınladı. Kullanıcı girdisi modelin bağlam penceresinin daha fazlasını doldurdukça, model daha yaltakçı hale geliyor ve doğruluğa olan bağlılığı azalıyor. Writer'ın yapay zeka başkanı Dan Bikel, “Her ek kullanıcı tercihi depolama ve geri alma ile riskin arttığını” belirtiyor.

Araştırmacılar, bir testte kullanıcıya favori kitabının “Station Eleven” olduğunu kaydettikten sonra, modelden en çok satan distopik bir kitap adı vermesini istedi. Modeller, sorunun kullanıcının favori kitabıyla ilgisi olmamasına rağmen, yanıtlarında “Station Eleven” adını vermeye çok daha yatkın hale geldi. Mem0 ve Zep gibi hafıza sıkıştırma araçları kullanıldığında bu eğilim daha da arttı. Makalelerde belirtildiği üzere, “tüm hafıza sistemleri, ilgili bağlamı ilgisiz dayanaklardan ayırmakta temelden zorlanıyor, bu da çeşitliliği ve yaratıcılığı ciddi şekilde baltalıyor ve sistemin faydasını sınırlayabilecek istenmeyen önyargı yolları sunuyor.”

İkinci makale ise aynı dinamiğin performansı nasıl aktif olarak düşürebileceğini gösteriyor. Kullanıcıya finans hakkında yanlış bilgiler sunuldu ve ardından modelin bir şirketin performansını analiz etmesi istendi. Modelin ne kadar çok bağlamı varsa, performansı o kadar kötüleşti. Araştırma, Anthropic’in yakın zamanda çıkan ve bu tür giriş hatalarına karşı aktif olarak direnç göstermek üzere eğitilmiş Opus 4.8 modelini incelemese de, keşfedilen bu modeller arası eğilimler geçerliliğini koruyor. Bu durum, yapay zeka bağlamının ne kadar hassas dengelendiğini ve faydalı araçların bu dengeyi bozarsa istenmeyen sonuçlara yol açabileceğini açıkça ortaya koyuyor. Yapay zekanın bizi dinlemesi güzel, ama bazen kendi bildiğini okuması daha iyi olabilir mi, düşünmek lazım.