Astım metnini yapay zekâ yazdı, okurların %7,3'ü fark etti

Şanghay Çocuk Tıp Merkezi ve Şanghay Jiao Tong Üniversitesi'nden Xu ve arkadaşları, Çince eğitim materyali üzerinde çalıştı. Uzman metinleri, Çin'in çocuk astımı eylem planına ait 100 soru-cevaplık onaylı bir kaynaktan alındı. Aynı sorular ChatGPT arayüzü üzerinden, bir büyük dil modeli (LLM; metin üreten yapay zekâ modeli) olan GPT-4o'ya bir kez soruldu. Ayrıca yanıtların dili sadeleştirilmiş ikinci bir yapay zekâ sürümü üretildi.

Üretilen içerikleri, deneyimli bir çocuk göğüs hastalıkları uzmanı önceden taradı. Bu tarama sonunda 13 sorunlu madde çıkarıldı, 87 madde kullanıldı. Katılımcılar 1:1:1 oranında üç gruba randomize edildi. Her biri kendi grubundan rastgele seçilen 5 metni, 19 soruluk ve 5 basamaklı bir ölçekle puanladı.

Kayıt Aralık 2024 ile Ağustos 2025 arasında yapıldı. Değerlendirmeyi tamamlayan 243 sağlık çalışanı ve 276 aile yakını analize girdi. Sağlık çalışanlarının %40,7'si çocuk hekimi, %36,2'si aile hekimi ve %23'ü çocuk hemşiresiydi. Sağlık çalışanları iki üçüncü basamak hastane, bir ikinci basamak hastane ve beş toplum sağlığı merkezinden alındı.

Toplam puanlar yapay zekâ metninde sayısal olarak biraz daha yüksekti. Ancak fark, çoklu karşılaştırma düzeltmesinden sonra anlamlı değildi:

• Sağlık çalışanları: yapay zekâ 76,17, uzman metni 72,97 (düzeltilmiş P=0,53)

• Aileler: yapay zekâ 68,77, uzman metni 64,18 (düzeltilmiş P=0,15)

• Sadeleştirilmiş sürüm: sırasıyla 72,98 ve 65,47; uzman metninden farkı yok

Sadeleştirme kelime sayısını ve zor kelimeleri azalttı, ama kabulü artırmadı. Yazarlar bunu kısmen tavan etkisine bağlıyor. Aile örneklemi çoğunlukla eğitimli, kentli ve görece varlıklıydı.

Kaynak tahmininde asimetri dikkat çekti. Uzman metnini okuyanların %80,6'sı (141/175) metni doğru biçimde insan yazımı saydı. Yapay zekâ gruplarında ise yalnızca %7,3'ü (25/344) metnin dil modeline ait olduğunu tahmin etti. Yazarlar bu asimetrinin kısmen yanıt eğiliminden kaynaklanabileceğini de not ediyor.

Tasarımın güçlü yanları var: randomizasyon, çift körleme ve iki farklı okur grubu. Tam metne göre örneklem hesabı yapılmış ve dikkat kontrolü uygulanmış. Yazarlar herhangi bir çıkar çatışması bildirmiyor. Fon, Şanghay Belediyesi Sağlık Komisyonu ve Çin Ulusal Doğa Bilimleri Vakfı gibi kamu ve üniversite kaynaklarından geliyor.

Sınırlılıklar ise önemli. Birincisi, ölçülen şey okurun algısı ve benimseme niyeti; tıbbi doğruluk ve güvenlik ayrıca ölçülmedi. İkincisi, çalışma Çin Klinik Araştırma Kayıt Sistemi'ne (ChiCTR) katılımcı alımı bittikten sonra, geriye dönük kaydedildi. Yazarlar yine de hiçbir sonlanımın sonuçlara göre değiştirilmediğini belirtiyor.

Diğer sınırlılıkları yazarlar kendileri sıralıyor. Ön elemeyi tek bir uzman yaptı. Kaynak kitap kamuya açık olduğundan modelin onu eğitim sırasında görmüş olma ihtimali dışlanamıyor. Metinler Ağustos 2024'te tek bir GPT-4o sürümü, tek dil ve tek istem (prompt) stratejisiyle üretildi.

Bu sonuç, yapay zekâ metninin güvenli olduğunu değil, ikna edici göründüğünü gösteriyor. Okur metnin kaynağını çoğu zaman sezemiyor ve varsayılan olarak insan yazdığını düşünüyor. Yani güveni belirleyen, metnin doğruluğu değil akıcılığı olabilir. Unutmayın, üretilen maddelerin bir kısmı zaten uzman elemesinde ayıklandı.

Hasta eğitimi için dil modeli kullanacaksanız şu adımlar yardımcı olur:

• Her metni yayımlamadan önce güncel kılavuzla satır satır kontrol edin.

• İnhaler tekniği, doz ve acil durum eylem planı gibi kritik bölümlere öncelik verin.

• Metnin yapay zekâ desteğiyle hazırlandığını ve kimin onayladığını açıkça yazın.

• Kullanılan model sürümünü ve istemi kayıt altında tutun.

• Düşük sağlık okuryazarlığı olan ailelerde anlaşılırlığı ayrıca test edin.

Çalışma Çince metinlerle yapıldı; sonuçların Türkçe materyale taşınabileceği test edilmedi. Türkçe hasta eğitim metinleri için benzer bir karşılaştırmalı çalışma da görmedik.

Klinikte astım broşürü ya da eylem planı metni hazırlarken yapay zekâ kullanılacaksa, metni onaylayan hekimin adı ve güncelleme tarihi yazılmalı. Bu tür genel metinleri üretmek için hasta bilgisi girmeye gerek yok. Bu da Kişisel Verilerin Korunması Kanunu (KVKK) kapsamındaki sağlık verisini işleme riskini baştan ortadan kaldırır.