Nijerya'da sağlık çalışanına ChatGPT desteği ne kazandırdı?

Yazarların çoğu Lagos'taki mDoc Healthcare kuruluşuna bağlı. Diğer yazarlar Lagos Üniversitesi, bağımsız bir araştırmacı ve Nairobi'deki British Institute in Eastern Africa adlarıyla listeleniyor.

Katılımcılar, genel ya da birinci basamak bakımda çalışan 36 lisanslı "ön saf sağlık çalışanı" idi. Bu ifade, hastayla ilk teması kuran hekim, hemşire ve toplum sağlığı çalışanlarını kapsıyor. Her katılımcı hastalardan gelen 15 soruyu iki kez yanıtladı.

Birinde yalnız kendi bilgisine ve kaynaklarına dayandı, diğerinde ChatGPT-3.5'ten yardım aldı. ChatGPT, büyük dil modeli (LLM; metin üreten yapay zekâ modeli) tabanlı bir sohbet botu.

Sorular anne ve yenidoğan sağlığı, aile planlaması ve cinsel yolla bulaşan enfeksiyonlar üzerineydi. Böylece toplam 1080 yanıt oluştu. Dört klinisyenden oluşan panel yanıtları 5 puanlık Likert ölçeğiyle (1 ile 5 arasında derecelendirme) değerlendirdi. Ölçütler doğruluk, empati, bağlama uygunluk, eksiksizlik, güvenlik ve genel tercihti.

Özete göre GPT destekli yanıtlar klinisyen ölçütlerinin hepsinde anlamlı biçimde üstündü (P<0,001). Kazanç, toplumda temel hizmet veren sağlık yayım çalışanlarında (CHEW) daha belirgindi. Hekim olmayan sekiz değerlendirici de yanıtların bir bölümünü özen, güven ve anlaşılırlık açısından puanladı. Onlar da GPT destekli yanıtları, özellikle güven başlığında, tercih etti.

Tam metne erişemedik; dergi sitesi otomatik erişimi engelledi. Bu nedenle yöntemi yalnızca PubMed'deki özete dayanarak aktarıyoruz. Özet birkaç kritik ayrıntıyı vermiyor. Yanıtların hangi sırayla yazıldığı, değerlendiricilerin yanıt türüne kör olup olmadığı ve puan farklarının büyüklüğü özette yer almıyor.

Bu boşluklar önemli. Aynı soruyu ikinci kez yanıtlayan kişi, ilk denemeden öğrendiğini kullanabilir. Değerlendirici, yapay zekâ metnini üslubundan tanıyorsa puanlama etkilenebilir. Daha uzun ve kibar bir metnin empati ve eksiksizlik puanını kendiliğinden yükseltmesi de olası bir açıklamadır.

Ölçülen sonuçlar vekil göstergelerdir. Güvenlik puanının ortalamada artması, tek tek tehlikeli önerilerin olmadığını göstermez. Özet, yanlış ya da zararlı bir öneri görülüp görülmediğini ayrıca raporlamıyor. Çalışma tek bir şehirde, dar bir konu setinde ve yazılı bir görev üzerinden yapıldı.

Kullanılan model ChatGPT-3.5, yani eski kuşak bir sürüm. Sonuçlar daha yeni modellere doğrudan aktarılamaz; fark her iki yönde de olabilir. PubMed kaydında çıkar çatışması beyanı yer almıyor. Yazarların çoğunun hizmet sunan bir kuruluşta çalıştığını okurken akılda tutmak gerekir.

Bulgu, dil modellerinin yanıtı daha eksiksiz ve daha sıcak hâle getirebileceğini düşündürüyor. En büyük kazancın toplum sağlığı yayım çalışanlarında görülmesi, destek aracının en çok nerede işe yarayabileceğine dair bir ipucu. Yine de bu sonuç, aracı denetimsiz kullanmak için bir gerekçe değil. Dünya Sağlık Örgütü (DSÖ) de büyük çok kipli modeller için ayrı bir etik ve yönetişim rehberi yayımladı.

Hasta mesajlarına yanıt yazarken bir dil modelinden yararlanıyorsanız şu noktalar önemli:

• Model çıktısını taslak olarak görün; son metnin doğruluğundan siz sorumlusunuz.
• Gebelikte ilaç, doz ve kontrasepsiyon gibi yüksek riskli bilgileri güncel rehberle ayrıca doğrulayın.
• Yanıtın yerel koşullara, ilaç erişimine ve sevk olanaklarına uyup uymadığını kontrol edin.
• Kimliği belirlenebilir hasta bilgisini kurumca onaylanmamış sohbet botlarına girmeyin.

Modeli eksik noktaları yakalamak için bir kontrol listesi gibi kullanmak, doğrudan yanıt üreticisi olarak kullanmaktan daha güvenli bir başlangıçtır.

Bu çalışma Türkiye'de yapılmadı ve Türkçe yanıtlar test edilmedi. Sorular Nijerya'daki anne-çocuk sağlığı ve aile planlaması gündemine göre seçildi. Bulguları birinci basamağa uyarlamak için Türkçe, yerel rehberlere dayalı bir değerlendirme gerekir.

Çalışmanın Türkiye'deki birinci basamak için asıl sorusu, hasta mesajlarının nasıl yanıtlanacağı. Hasta mesajını olduğu gibi genel amaçlı bir sohbet botuna yapıştırmak hukuki risk taşır. Kişisel Verilerin Korunması Kanunu (KVKK) sağlık verisini özel nitelikli sayar. Soruyu kimlik bilgisi olmadan, genel bir klinik soru olarak yazmak bu riski azaltır.