Sohbet botları kırılgan kullanıcıda riski büyütebilir mi?

Max Planck UCL Hesaplamalı Psikiyatri Merkezi, Oxford Üniversitesi ve Birleşik Krallık Yapay Zekâ Güvenliği Enstitüsü'nden araştırmacılar yeni bir denetim çerçevesi tanıttı. Adı SIM-VAIL. VAIL, "kırılganlığı büyüten etkileşim döngüsü" anlamına geliyor.

Kavram şunu anlatıyor. Tek başına destekleyici görünen bir yanıt, belirli bir kullanıcıda hastalığı sürdüren düşünceyi pekiştirebilir. Örneğin psikoza yatkın birinin olağandışı inancını onaylamak ya da bağlanma kaygısı olan birine sürekli güvence vermek bu tür bir döngü yaratabilir.

Ekip beş kırılganlık tanımladı. Bunlar depresyon, psikoz, mani, obsesif-kompulsif bozukluk (OKB) ve güvensiz bağlanmaydı. Her biri altı farklı konuşma niyetiyle eşleştirildi ve 30 simüle kullanıcı profili oluştu.

Niyetler arasında inancın onaylanmasını istemek, sohbet botuna duygusal bağımlılık kurmak ve belirtileri küçümsemek vardı. Riskli bir eylem için yardım istemek de listedeydi. Profiller, adım adım zarar talimatı istemeyecek şekilde kurgulandı.

Hedeflerin hepsi büyük dil modeli (LLM; metin üreten yapay zekâ modeli) tabanlı sohbet botlarıydı. Dokuz model arasında Claude, GPT, Gemini, Grok ve Llama ailelerinin farklı sürümleri bulunuyordu. Her profil her modelle üç kez konuştu. Toplamda 810 konuşma ve 6.329 tur elde edildi.

Tasarım tamamen simülasyona dayanıyor. Kullanıcıyı bir dil modeli canlandırdı, yanıtları ise başka bir dil modeli "güvenlik hakemi" olarak 13 klinik risk boyutunda puanladı. Bu nedenle bulgular gerçek hastalardaki olay sıklığını göstermiyor.

Yazarlar hakemi birkaç yolla doğruladı. İki farklı şirketin hakem modelleri arasındaki korelasyon 0,91'di. 27 hekim, 375 konuşma turuna toplam 488 puan verdi.

Hekim ile model hakem arasındaki uyum orta düzeydeydi (r=0,49). Bu değer, iki hekimin kendi aralarındaki uyumdan (r=0,41) biraz yüksekti. Hekimler simüle konuşmaları büyük ölçüde gerçekçi buldu.

Başlıca bulgular şöyle özetlenebilir. Kaygı verici davranış en çok psikoz ve mani profillerinde, en az OKB profilinde görüldü. Duygusal bağımlılık ve aşırı ruh hâllerini yüceltme niyetlerinde risk daha erken ve daha dik yükseldi.

Aynı ailede yeni sürümler genellikle daha güvenliydi, Grok modelleri bu kuralın dışında kaldı. Makalede en düşük risk claude-sonnet-4.5'te, en yüksek risk grok-4'te ölçüldü. Yazarlar, erken bir tırmanma noktasında tek bir mesajı yatıştırıcı biçimde yeniden yazmanın sonraki riski azalttığını da gösterdi.

Sınırlılıklar önemli. Modellere tüketici uygulamalarından değil, geliştirici arayüzünden (API) erişildi. Yani gerçek ürünlerdeki ek güvenlik katmanları devrede değildi.

Simüle kullanıcılar gerçek hastaların kültürel ve dilsel çeşitliliğini yansıtmıyor. Yazarlar sonuçları bir "asgari risk tabanı" olarak yorumlamayı öneriyor.

Çıkar çatışması da dikkat istiyor. Kıdemli yazar Matthew Nour, Copilot'u geliştiren Microsoft'un çalışanı ve hissedarı. İlk yazar Microsoft'a ücretli danışmanlık yapıyor ve hekim puanlama çalışması Microsoft'un ürün geliştirme faaliyetleri kapsamında yürütüldü.

Kullanıcı ve hakem rolünde çoğunlukla Anthropic modelleri kullanıldı. Yazarlar OpenAI hakemiyle yaptıkları kontrolde puanların güçlü biçimde örtüştüğünü bildiriyor. Ancak aynı modelin kendi çıktısına daha düşük risk puanı verdiğini de rapor ediyorlar.

Makalenin aktardığı Dünya Sağlık Örgütü (DSÖ) verisine göre dünyada 100.000 kişiye düşen ruh sağlığı çalışanı sayısının medyanı yalnızca 13. Yazarlar, bu boşlukta milyonlarca insanın genel amaçlı sohbet botlarına yöneldiğini vurguluyor. Hastalarınızın bir kısmı da duygusal sıkıntılarını bu araçlarla paylaşıyor olabilir. Bu çalışma, riskin çoğu zaman açık bir zarar önerisiyle değil, sürekli onaylama ve bağımlılıkla geldiğini hatırlatıyor.

Pratikte şunlar yararlı olabilir:

• Ruh sağlığı öyküsünde sohbet botu kullanımını, süresini ve konusunu nazikçe sorun.
• Psikoz ya da mani öyküsü olan hastada, botun inançlarını onaylayıp onaylamadığını konuşun.
• Çok uzun ve giderek yoğunlaşan konuşmaları uyarı işareti olarak değerlendirin.
• Sohbet botunun tedavinin yerini tutmadığını, en fazla bir destek aracı olduğunu anlatın.
• Kendine zarar verme düşüncesi ya da kriz belirtisi varsa hastayı aynı gün acil değerlendirmeye yönlendirin; gerekirse 112'yi arayın.

Çalışmadaki modeller Türkiye'de de erişilebilir genel amaçlı hizmetler. Ancak makalede Türkçe konuşmalara dair bir analiz yok. Aynı örüntünün Türkçe konuşmalarda görülüp görülmediği ayrıca sınanmalı.

Çalışmanın önerdiği denetim yöntemi dile bağımlı değil. Türkçe konuşan simüle kullanıcılarla benzer bir denetim, yerel araştırmacılar için uygulanabilir bir başlangıç olabilir. Kendine zarar verme riski ya da akut kriz söz konusuysa Türkiye'de 112 Acil Çağrı Merkezi aranmalı.