DoktorClub Görüşü
Dil modelleri var olmayan makaleler ve hatalı künyeler üretebilir. Çalışmalar ne buldu, hekim bir kaynağı 5 adımda nasıl doğrular? Pratik bir rutin.
Bu rehber yardımcı oldu mu?
DoktorClub’da Keşfet
Yapay Zeka Haber
Yapay zekâ kaynak uydurursa: Hekim için 5 adımlı doğrulama rutini
Kapak görseli yapay zekâ ile üretilmiş temsili bir editoryal görseldir; gerçek hasta veya tanısal görüntü değildir. 30 Saniyede Özet Sohbet tabanlı yapay zekâ araçları, gerçekmiş gibi görünen ama hiç yayımlanmamış…
Kapak görseli yapay zekâ ile üretilmiş temsili bir editoryal görseldir; gerçek hasta veya tanısal görüntü değildir.
30 Saniyede Özet
Sohbet tabanlı yapay zekâ araçları, gerçekmiş gibi görünen ama hiç yayımlanmamış makaleler önerebilir. 2023'te yayımlanan çalışmalarda ChatGPT'nin ürettiği kaynakların önemli bir kısmı uydurmaydı ya da hatalı künye içeriyordu. Yeni modeller ve web aramalı araçlar farklı sonuç verebilir, ancak kaynağın iddiayı desteklememesi sorunu 2025'te yayımlanan bir çalışmada da görüldü. Bu yazı, her kaynağı birkaç dakikada doğrulamanızı sağlayacak beş adımlı bir rutin öneriyor.
Uydurma kaynak neden oluşur?
Dil modeli, bir sonraki sözcüğü olasılığa göre tahmin ederek metin üretir. Web araması ya da veritabanı bağlantısı yoksa kaynak listesini de aynı yolla yazar. Sonuç, tanıdık yazar adları, gerçek dergi isimleri ve inandırıcı yıllardan oluşan ama var olmayan bir künye olabilir.
ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), bu tür kendinden emin ama yanlış içeriği konfabulasyon olarak adlandırıyor. Gündelik dilde buna halüsinasyon deniyor. Uydurma kaynak, bu genel sorunun hekim için en kolay yakalanan biçimidir.
Çalışmalar ne buldu?
Walters ve Wilder 2023'te Scientific Reports'ta ChatGPT'ye 42 konuda toplam 84 kısa literatür derlemesi yazdırdı. Derlemelerdeki 636 kaynak tek tek kontrol edildi. GPT-3.5'in kaynaklarının %55'i, GPT-4'ünkilerin ise %18'i uydurmaydı. Gerçek kaynakların bir kısmında da önemli künye hataları vardı: GPT-3.5'te %43, GPT-4'te %24.
Bhattacharyya ve arkadaşları aynı yıl Cureus'ta ChatGPT-3.5'e 30 kısa tıbbi makale yazdırdı. Üretilen 115 kaynağın %47'si uydurma, %46'sı gerçek ama hatalıydı. Yalnızca %7'si hem gerçek hem doğruydu. En sık hata yanlış PubMed kimlik numarasıydı (PMID); bunu cilt, sayfa ve yıl hataları izledi.
Kaynak gerçek olsa bile içerik uyumu ayrı bir sorundur. Wu ve arkadaşları 2025'te Nature Communications'ta tıbbi yanıtlardaki ifadelerin kaynaklarla ne kadar desteklendiğini ölçtü. Web aramalı GPT-4o'da bile ifadelerin yaklaşık %30'u gösterilen kaynaklarla desteklenmiyordu. Üç çalışmanın ortak dersi şu: Düzgün görünen bir künye, tek başına kanıt değildir.
Bu oranlar bugün de geçerli mi?
Bu çalışmaların test ettiği model sürümleri artık eski. Walters ve Wilder'in verisi bile iki sürüm arasında büyük fark olduğunu gösteriyor. Web aramalı ve kaynak bağlantılı araçlar uydurma künyeyi azaltabilir. Ancak Wu ve arkadaşlarının bulgusu, iddia ile kaynak arasındaki uyumsuzluğun sürebileceğini gösteriyor.
Bu yüzden belirli bir hata oranını sabit bir gerçek gibi ezberlemeyin. Kullandığınız aracın sürümü ve ayarı değiştikçe oran da değişebilir. Değişmeyen tek kural şu: Hasta bakımını etkileyecek her kaynağı kendiniz doğrulayın.
Bir senaryo: Slayttaki randomize çalışma
Şöyle bir durum düşünün. Asistanınız bir olgu sunumu için yapay zekâdan son yılların kanıtını istemiş. Slaytta tanınmış bir dergiden, bilinen bir yazarın adıyla bir randomize çalışma var.
PubMed'de başlığı aradığınızda sonuç çıkmıyor. DOI ise bambaşka bir konudaki makaleye gidiyor. Bu tablo, yukarıdaki çalışmalarda tarif edilen künye hatalarıyla uyumlu. Sorun asistanın niyeti değil, atlanan doğrulama adımıdır; bunu birlikte bir öğrenme fırsatına çevirin.
Hangi işaretler şüphe uyandırmalı?
Bazı ipuçları, doğrulamaya nereden başlayacağınızı gösterir. Bunlar tek başına kanıt değildir, ama dikkatinizi keskinleştirir.
- Başlık, sorunuzu neredeyse birebir yanıtlıyor gibi görünüyor.
- DOI ya da PMID var, ama bağlantı çalışmıyor veya başka bir makaleye gidiyor.
- Yazar gerçek bir isim, fakat konuyla ilgili başka yayını bulunmuyor.
- Cilt, sayı ve sayfa bilgisi eksik ya da tutarsız.
- Aynı soruyu yeniden sorduğunuzda kaynak listesi değişiyor.
Bu işaretlerden biri varsa aşağıdaki rutini atlamayın. Hiçbiri yoksa bile rutini yine uygulayın; iyi görünen bir künye de hatalı olabilir.
Beş adımlı doğrulama rutini
- 1. Künyeyi bağımsız arayın: DOI'yi doi.org üzerinden, başlığı PubMed'de ya da dergi sitesinde arayın. Bulamazsanız kaynağı kullanmayın.
- 2. Makaleyi açın: Başlık, yazarlar, dergi ve yıl birebir eşleşiyor mu, bakın. DOI başka bir makaleye gidiyorsa künye karışmıştır.
- 3. İddiayı özet ve bulgularla eşleştirin: Aktarılan sayı ya da sonuç, özette veya bulgular bölümünde gerçekten yazıyor mu, kontrol edin.
- 4. Tarihi ve sürümü kontrol edin: Rehberse güncel sürüm mü, makaleyse sonradan düzeltme ya da geri çekme almış mı, bakın.
- 5. Hasta kimliğini asla yazmayın: Soruyu anonim ve genel tutun. Ad, kimlik numarası ya da dosya numarası gibi bilgileri araca girmeyin.
Bu rutin kaynak başına birkaç dakika sürer. Tedavi kararını etkileyecek bir bilgi için bu, makul bir yatırımdır. Rutin, yapay zekâ olmadan bulduğunuz kaynaklar için de iyi bir alışkanlıktır.
Türkiye'deki hekim için ne anlama geliyor?
6698 sayılı Kişisel Verilerin Korunması Kanunu (KVKK), sağlık verisini özel nitelikli kişisel veri sayıyor ve işlenmesini kanunda sayılan koşullara bağlıyor. Genel amaçlı bir sohbet aracına hasta bilgisi yazmak, verinin kurum dışına aktarılması anlamına gelebilir. Kurumunuzun onaylı bir aracı ve veri politikası varsa onu izleyin. Yoksa soruyu hastadan bağımsız, genel bir klinik soru olarak sorun.
Sık sorulan sorular
Web aramalı araçlar uydurma kaynak üretmez mi?
Daha az üretebilirler, ama iddia ile kaynak arasındaki uyum sorunu sürebilir. Nature Communications'taki değerlendirmede web aramalı modelde bile ifadelerin yaklaşık üçte biri kaynakla desteklenmiyordu. Bu nedenle kaynağı açıp okumak yine gerekir.
Yapay zekâdan kaynak istemek hiç mi işe yaramaz?
İşe yarayabilir; aranacak anahtar kavramları ve olası yazarları hızla gösterir. Ancak listeyi bir başlangıç noktası olarak görün ve kaynakçaya doğrudan kopyalamayın.
Bir yayında uydurma kaynak fark edersem ne yapmalıyım?
Önce künyeyi birkaç bağımsız veritabanında yeniden arayın. Kaynak gerçekten yoksa durumu yazarlara ya da dergi editörüne bildirebilirsiniz.
Kaynaklar
- Walters WH, Wilder EI (2023) — Fabrication and errors in the bibliographic citations generated by ChatGPT (Scientific Reports): https://doi.org/10.1038/s41598-023-41032-5
- Bhattacharyya M ve ark. (2023) — High Rates of Fabricated and Inaccurate References in ChatGPT-Generated Medical Content (Cureus): https://doi.org/10.7759/cureus.39238
- Wu K ve ark. (2025) — An automated framework for assessing how well LLMs cite relevant medical references (Nature Communications): https://doi.org/10.1038/s41467-025-58551-6
- NIST (2024) — Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1): https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
- Resmî Gazete (2016) — 6698 sayılı Kişisel Verilerin Korunması Kanunu: https://www.mevzuat.gov.tr/mevzuatmetin/1.5.6698.pdf
Bu içerik bilgilendirme amaçlıdır ve bireysel tıbbi tavsiye yerine geçmez.
İlgili Yazılar
Bu konuyla ilgili Doktorclub'da ele aldığımız diğer hekim onaylı rehberler: