Discord'dan Şaşırtan Yapay Zeka Hatası: 8.000 Kullanıcı Haksız Yere Yasaklandı

Son iki ay içinde Discord'da yaşanan ilginç bir olay, yapay zeka destekli moderasyonun bazen ne kadar sorunlu olabileceğini gözler önüne serdi. Şirket, yapay zeka sistemindeki bir hata yüzünden 8.000'den fazla kullanıcının haksız yere yasaklandığını kabul etti. Basit tablolar, satranç tahtaları, oyun dokuları ve hatta beyaz/gri şeffaf arka planlar gibi tamamen masum görseller, sistem tarafından zararlı içerik olarak algılanmış.

Sorun Mayıs ayından beri devam ediyordu; son hafta sonunda ise 200 kullanıcı daha bu hatanın kurbanı oldu. Discord ekibi nihayet sorunu tespit edip düzeltti ve etkilenen tüm hesapların geri yüklendiğini açıkladı. Bu durum, platformların yasa dışı veya kötüye kullanım içeren materyalleri büyük ölçekte tespit etmek için yapay zekaya giderek daha fazla güvenmesiyle ortaya çıkan zorluklardan sadece biri.

Discord'un X (eski adıyla Twitter) üzerinden yaptığı detaylı açıklamaya göre, otomatik güvenlik sistemi yüklenen içeriği bilinen zararlı materyal veri tabanlarıyla eşleştirerek çalışıyor. Şirket, teknolojinin yasa dışı içeriği yakalamak için tasarlandığını, ancak bazen yanlış pozitifler üretebileceğini kabul etti. Normalde insan bir moderatörün içeriği incelemesi gerekirken, bu hata sistemin etkilenen hesapları anında yasaklamasına neden olmuş. Şirket, “Bunun bir daha yaşanmaması için daha iyi koruyucu önlemler üzerinde çalışıyoruz” dedi.

X ve Reddit gibi platformlarda kullanıcılar, yalnızca kare ızgara desenleri içeren görseller yükledikleri için kalıcı olarak askıya alındıklarını iddia ettiler. Bazı kullanıcılar, Discord'un yapay zeka moderasyon araçlarının ızgara benzeri desenlere karşı giderek daha hassas hale geldiğini düşünüyor. Bunun nedeni, bu desenlerin daha önce NSFW ve çocuk istismarı içeriklerini otomatik algılama sistemlerinden gizlemek için kullanılmış olması olabilir. Mağdur kullanıcılar sosyal medyada hayal kırıklıklarını dile getirirken, bazıları yalnızca otomatik algılamaya dayalı kalıcı hesap yasaklamalarının, özellikle iş, oyun toplulukları veya uzun mesafeli sosyal bağlantılar için Discord'u kullananlar için ciddi sonuçlar doğurabileceğini savundu.

Otomatik sistemler nedeniyle moderasyon sorunları yaşayan tek şirket Discord değil. Geçen yıl Instagram ve Facebook Grupları kullanıcıları, yaygın ve açıklanamayan hesap askıya almalarının yaşandığını bildirmişti. Birçok kişi bunun yapay zeka moderasyon sistemlerinden kaynaklandığına inanırken, Meta yapay zeka hatalarının sorumlu olup olmadığını kamuoyuna hiçbir zaman doğrulamadı. Şimdi Meta'nın Gözetim Kurulu, şeffaflığın artırılması için baskı yapıyor. Benzer şekilde, geçen yıl Tumblr da kullanıcıların hesaplarının net bir açıklama yapılmadan toplu olarak askıya alındığı şikayetleriyle karşılaştı. Bu tür olaylar, yapay zeka destekli moderasyonun henüz insan denetiminin yerini tam olarak alamadığını ve gelecekte daha güvenilir sistemler için hem teknolojik gelişime hem de etik ilkelere ihtiyaç duyulduğunu gösteriyor.