Yapay zeka denilince çoğumuzun aklına günümüzde sıkça kullandığımız Gemini, ChatGPT yahut Claude geliyor. Pekala ya alışılmışın dışına çıkan bir yapay zekanın da var olduğunu söylesek? Üstelik kendisi 1930 yılından sonrasını bilmiyor! Yani modelin bildiği dünya, epeyce eski. Ortaya çıkan sonuçlar ise düşündüğünüzden çok daha farklı.
Gelin, neyin nesiymiş bakalım!
Sadece geçmişten beslenen model nasıl geliştirildi?
Talkie projesi, Alec Radford, Nick Levine ve David Duvenaud tarafından geliştirildi. Model, 260 milyar token’dan oluşan bilgi setiyle eğitildi. Kaynaklar ortasında kitaplar, gazeteler, patentler ve tüzel metinler yer alıyor. Tüm içeriklerin ortak noktası ise 1931 öncesine ilişkin olmaları.
Proje kapsamında sadece temel model değil, talimatları anlayan versiyon da geliştirildi. ‘talkie-1930-13b-it’ ismi verilen versiyon, eski referans kitaplardan çıkarılan soru-cevap çiftleriyle eğitildi. Akabinde çevrim içi DPO sistemiyle pekiştirme öğrenmesi uygulandı. Hatta model değerlendirmesinde öteki bir lisan modeli hakem olarak kullanıldı.
Modern bilgi yok lakin lisan hüneri şaşırtıyor.
Modelin en dikkat çeken yanı, çağdaş dünyaya dair bilgiye sahip olmaması. İkinci Dünya Savaşı, aktüel teknoloji ya da internet kültürü hakkında hiçbir bilgi içermiyor. Buna karşın temel lisan hünerleri epeyce güçlü. Sayısal süreçler ve mantık yürütme üzere alanlarda başarılı sonuçlar verdiği belirtiliyor.
Daha da enteresan olan kısım ise programlama anlayışı. Python üzere çağdaş bir lisan eğitim verisinde yer almamasına karşın, model verilen örneklerden yola çıkarak kod mantığını çözebiliyor. Forumlarda yapılan tartışmalarda, şifreleme sistemlerini çözme ya da yeni kuralları öğrenme üzere marifetler de öne çıkıyor.
Tabii her şey kusursuz değil. OCR ile elde edilen metinler nedeniyle eğitim sürecinde randıman kaybı yaşandığı tabir ediliyor. Ayrıyeten birtakım testlerde periyot dışı bilgilere rastlanması, data sızıntısı ihtimalini gündeme getirdi.
Talkie-1930, yapay zeka araştırmaları açısından farklı kapı aralıyor.
Özellikle bilgi setinin vakitle sonlandırılması, modelin neyi hakikaten öğrendiğini anlamak için değerli bir fırsat sunuyor. Uzmanlar, genel zeka ile ezber ortasındaki farkı daha net tahlil edebileceklerini düşünüyor.
Aynı vakitte kültürel ve dilsel değişimlerin modele nasıl yansıdığı da incelenebiliyor. Viktorya periyodu lisanı, eski tabirler ve farklı yazım biçimleri üzere ayrıntılar üzerinde testler yapılabiliyor. Proje kapsamında ayrıyeten çağdaş datalarla eğitilmiş karşılaştırma modeli de sunuldu. Böylelikle iki farklı devir ortasında direkt kıyaslama yapılabiliyor.
