Yapay zekâ takviyeli sohbet botları, sıhhatle ilgili sorulara süratli cevaplar sunarak her geçen gün daha fazla kişi tarafından kullanılıyor. Lakin son araştırmalar, bu cevapların kıymetli bir kısmının yanlışlı ya da aldatıcı olabileceğini ortaya koyarak güvenilirlik tartışmalarını yine alevlendirdi.
Yapay zekâ araçları hayatın her alanına süratle entegre olurken, sıhhat üzere kritik bir mevzuda ne kadar muteber oldukları önemli biçimde tartışılıyor.
Yeni yayımlanan bir araştırma, tanınan sohbet botlarının verdiği tıbbi cevapların kıymetli bir kısmının kusurlu ya da aldatıcı olabileceğini ortaya koydu. Bulgular, bu araçların rehber olarak kullanılabileceğini lakin “nihai bilgi kaynağı” olarak görülmemesi gerektiğini net biçimde gösteriyor.
BMJ Open dergisinde yayımlanan çalışmada, araştırmacılar beş farklı yapay zekâ sohbet botuna toplam 50 tıbbi soru yöneltti. Sorular; kanserden aşılara, kök hücre tedavilerinden beslenmeye ve atletik performansa kadar geniş bir yelpazeyi kapsadı. Sonuçlar ise pek iç açıcı değil: Cevapların yüzde 20’si “yüksek derecede sorunlu”, yüzde 50’si “sorunlu”, kalan yüzde 30’u ise “kısmen sorunlu” olarak değerlendirildi. Yani pratikte neredeyse her karşılıkta bir sorun var.
Araştırmanın dikkat çeken bulgularından biri de kaynak gösterme konusundaki zayıflık.
Yapay zekâ modellerinin verdiği referansların kıymetli bir kısmında kusurlu müellif isimleri, çalışmayan ilişkiler ya da büsbütün uydurulmuş makaleler yer aldı. Bu durum, bilhassa sıhhat üzere doğrulamanın kritik olduğu bir alanda önemli bir inanç sorunu yaratıyor.
Platformlar ortasında performans farkı da dikkat cazip. En yüksek kusur oranı yüzde 58 ile Grok’ta görülürken, onu yüzde 52 ile ChatGPT ve yüzde 50 ile Meta AI takip etti. Bilhassa beslenme ve spor performansı üzere internette çelişkili bilgi bolluğu olan alanlarda yanılgı oranlarının daha da arttığı gözlemlendi. Yani tam da insanların en çok “pratik öneri” aradığı hususlar, en riskli alanlar.
Bir öteki kritik ayrıntı ise soru tipi. Araştırmaya nazaran yapay zekâlar “doğru mu/yanlış mı” üzere net çerçeveli sorularda daha başarılı. Lakin kullanıcıların günlük hayatta sorduğu açık uçlu sorularda yanılgı oranı önemli formda yükseliyor. Açık uçlu sorulara verilen cevapların yaklaşık üçte biri yüksek derecede sıkıntılı bulunmuş durumda. Elhasıl ne kadar genel sorarsanız, o kadar muğlak ve riskli yanıt alıyorsunuz.
Uzmanlar bu durumu yapay zekânın çalışma mantığıyla açıklıyor.
Bu sistemler gerçek manada “bilgiye sahip” değil, sırf devasa data setleri üzerinden olasılıksal varsayımlar yapıyor. Eğitim bilgilerinde akademik makalelerin yanı sıra forumlar ve toplumsal medya içerikleri de bulunduğu için, kusurlu ya da çelişkili bilgiler de modele karışabiliyor.
Nature Medicine dergisinde yayımlanan başka bir çalışma ise işin kullanıcı tarafını daha da çarpıcı hale getiriyor. Yapay zekâ modelleri teoride tıbbi sorulara yüzde 95’e kadar hakikat cevap verebilirken, gerçek kullanıcılar bu araçları kullandığında yanlışsız bilgiye ulaşma oranı yüzde 35’e kadar düşüyor. Yani sorun yalnızca modelde değil, kullanıcıların soruyu nasıl sorduğu ve yanıtı nasıl yorumladığında da yatıyor.
