DoktorClub Görüşü
Mamografi deneyinde yanlış yapay zekâ önerisi okuyucuların doğruluğunu belirgin düşürdü. Otomasyon yanlılığı nedir, hangi önlemler riski azaltır?
Bu rehber yardımcı oldu mu?
DoktorClub’da Keşfet
Yapay Zeka Haber
Yanlış yapay zekâ önerisi hekimi yanıltır mı? Otomasyon yanlılığı
Kapak görseli yapay zekâ ile üretilmiş temsili bir editoryal görseldir; gerçek hasta veya tanısal görüntü değildir. 30 Saniyede Özet Yapay zekâ doğru öneri verdiğinde yardımcı olabilir, ama yanlış önerinin de hekimi…
Kapak görseli yapay zekâ ile üretilmiş temsili bir editoryal görseldir; gerçek hasta veya tanısal görüntü değildir.
30 Saniyede Özet
Yapay zekâ doğru öneri verdiğinde yardımcı olabilir, ama yanlış önerinin de hekimi peşinden sürükleyebildiği gösterildi. Buna otomasyon yanlılığı (otomatik sisteme gereğinden fazla güvenip kendi yargısını geri plana atma) denir. Deneysel bir mamografi çalışmasında, yanlış öneri gördüklerinde deneyimsiz okuyucuların doğruluğu yaklaşık %80'den %20'ye düştü. Bir sistematik derleme; eğitimi, kullanıcının hesap verebilirliğini ve önerinin ekranda sunuluş biçimini önlem olarak öne çıkarıyor.
Otomasyon yanlılığı nedir?
Bir karar destek sistemi öneri verdiğinde, kullanıcı iki tür hata yapabilir. Sistem yanlış bir şey önerdiğinde bunu kabul edebilir. Sistem bir şeyi atladığında kendisi de atlayabilir.
Goddard, Roudsari ve Wyatt 2012'de bu konuda sistematik bir derleme yayımladı. Taranan binlerce makaleden 74 çalışma dahil edildi. Derleme, otomasyon yanlılığını otomasyona aşırı güvenme eğilimi olarak tanımladı. Bu eğilim, sistem çıktısının yeterince denetlenmemesiyle, yani rehavetle yakından ilişkiliydi.
Derleme, yanlılığı artıran ya da azaltan etkenleri de sıraladı. Kullanıcı tarafında bilişsel tarz, göreve özgü deneyim ile sisteme duyulan güven öne çıktı. Ortam tarafında iş yükü, görevin karmaşıklığı ve zaman baskısı yer aldı. Yani sorun yalnızca bireysel dikkat eksikliği değildir, çalışma koşullarıyla da ilgilidir.
Mamografi deneyi ne gösterdi?
Dratsch ve arkadaşları 2023'te Radiology dergisinde prospektif deneysel bir çalışma yayımladı. 27 radyolog 50 mamografiyi, yapay zekâ olduğu söylenen bir sistemin önerileriyle birlikte değerlendirdi. Aslında sistem, araştırmacıların önceden hazırladığı önerileri gösteren bir programdı.
Mamografilerin 38'inde öneri doğruydu, 12'sinde ise bilerek yanlış bir BI-RADS kategorisi önerildi. Yanlış önerilerin yarısı daha yüksek, yarısı daha düşük bir kategori içeriyordu. Okuyucular deneyim düzeyine göre üç gruba ayrıldı.
Öneri doğruyken üç grubun doğruluğu benzerdi ve %79,7 ile %82,3 arasındaydı. Öneri yanlış olduğunda tablo değişti:
- Deneyimsiz okuyucular: %79,7'den %19,8'e
- Orta deneyimli okuyucular: %81,3'ten %24,8'e
- Çok deneyimli okuyucular: %82,3'ten %45,5'e
Yanlış öneri daha yüksek bir BI-RADS kategorisi olduğunda, deneyimsiz okuyucular öneriye daha çok uydu. Bu grupta aşırı tanıya doğru kayma, diğer iki gruptan anlamlı biçimde fazlaydı. Klinikte bu, gereksiz ek inceleme ve biyopsi riskine karşılık gelebilir.
Deneyim etkiyi azalttı ama ortadan kaldırmadı. Yazarlar, deneyimden bağımsız olarak tüm radyologların otomasyon yanlılığına açık olduğu sonucuna vardı.
Bu sonucu nasıl okumalıyız?
Bu bir laboratuvar deneyidir, gerçek klinik iş akışı değildir. Yanlış öneri oranı (%24) araştırmacılarca belirlendi ve gerçek bir ürün kullanılmadı. Bu yüzden kesin rakamlar klinik pratiğe doğrudan taşınamaz.
Yine de bulgu diğer kanıtlarla uyumlu. Yu ve arkadaşlarının 140 radyologla yaptığı çalışmada, hatalı yapay zekâ tahminleri radyolog performansını olumsuz etkiledi. Aynı çalışmada deneyim yılı, yapay zekâdan kimin fayda göreceğini öngörmedi.
Lyell ve Coiera'nın sistematik derlemesi de önemli bir ayrıntı ekliyor. Otomasyon yanlılığı, özellikle doğrulaması zor tanısal görevlerde ortaya çıkıyordu. Yanlılık yalnızca çoklu görev altında değil, tek bir göreve odaklanıldığında da görüldü. Görüntü yorumlama tam da bu tür bir görevdir.
Klinik bir senaryo: Yoğun bir mesai gününde
Şöyle varsayımsal bir durum düşünün. Poliklinikte yoğun bir gün geçiriyorsunuz ve EKG yorumlayan bir yazılım "normal sinüs ritmi" diyor. Hastanın yakınması hafif ve bekleyen hasta sayısı fazla.
EKG'ye kendiniz dikkatle bakmadan yazılımın sonucunu onaylıyorsunuz. Oysa ince bir iskemik değişiklik vardı ve yazılım bunu kaçırmıştı. Goddard ve arkadaşlarının derlemesi, iş yükü ve zaman baskısının otomasyon yanlılığını artıran etkenler arasında olduğunu gösteriyor.
Bu senaryodaki asıl sorun, yazılımın hatası kadar bağımsız kontrolün atlanmasıdır. Aynı yazılım doğru çalıştığı yüzlerce vakada güven kazanmış olabilir. Güven arttıkça denetim azalır ve nadir hata fark edilmeden geçer.
Hangi önlemler riski azaltır?
Goddard ve arkadaşları eğitim, kullanıcının hesap verebilirliğini vurgulama ve sistem tasarımını önlem olarak öne çıkardı. Tasarım tarafında önerinin ekrandaki yeri ve güven düzeyinin gösterilmesi gibi unsurlar tartışıldı. Aşağıdaki kontrol listesi bu ilkeleri günlük pratiğe çeviriyor:
- Önce kendi okumanızı yapın ve kaydedin, sonra yapay zekâ önerisine bakın.
- Sistemin belirsizlik veya güven skoru gösterip göstermediğini sorun.
- Öneriye katılmadığınız vakaları kısa bir notla kaydedin.
- Bu itiraz kayıtlarını ekipçe düzenli aralıklarla gözden geçirin.
- Yeni başlayan asistanlar için yapay zekâsız okuma pratiğini sürdürün.
- Aşırı yoğun saatlerde öneriye daha temkinli yaklaşın.
Türkiye'deki hekim için ne anlama geliyor?
Türkiye'de tıbbi cihaz yazılımları Türkiye İlaç ve Tıbbi Cihaz Kurumu (TİTCK) mevzuatına tabidir. TİTCK yönetmelikleri, Avrupa Birliği'nin 2017/745 sayılı Tıbbi Cihaz Tüzüğü ile uyumlu hazırlandı.
Avrupa Birliği'nin 2024/1689 sayılı Yapay Zekâ Tüzüğü, bu konuya ayrıca değiniyor. İnsan gözetimi maddesi (Madde 14), yüksek riskli sistemin, gözetimle görevli kişilerin otomasyon yanlılığının farkında kalmasına olanak verecek biçimde sunulmasını istiyor. Bu kişiler gerektiğinde çıktıyı göz ardı edebilmeli, geçersiz kılabilmeli veya tersine çevirebilmelidir. Bu tüzük Türkiye'de doğrudan uygulanmasa da, AB pazarına yönelik ürünlerin tasarımını etkileyebilir.
Sık sorulan sorular
Deneyimli hekimler otomasyon yanlılığından korunur mu?
Tam olarak korunmaz. Dratsch çalışmasında çok deneyimli okuyucular da yanlış öneride belirgin doğruluk kaybı yaşadı. Deneyim etkiyi azaltabilir ama tek başına yeterli bir güvence değildir.
Yapay zekâ önerisini hiç görmemek daha mı güvenli?
Her zaman değil; doğru öneriler performansı destekleyebilir. Önemli olan, öneriyi kendi bağımsız değerlendirmenizden sonra görmektir. Böylece öneri kararınızı değiştirmek yerine sınar.
Bir yapay zekâ ürünü alırken ne sormalıyım?
Sistemin belirsizlik gösterip göstermediğini ve hatalı önerilerin nasıl izlendiğini sorun. Kullanıcıların itirazlarını kaydeden bir mekanizma olup olmadığını öğrenin. Ürünün okuyucu çalışmalarında yanlış öneri senaryolarıyla sınanıp sınanmadığını da sorgulayın.
Kaynaklar
- Dratsch T ve ark. (2023) — Automation bias in mammography: the impact of artificial intelligence BI-RADS suggestions on reader performance, Radiology: https://doi.org/10.1148/radiol.222176
- Goddard K, Roudsari A, Wyatt JC (2012) — Automation bias: a systematic review of frequency, effect mediators, and mitigators, JAMIA: https://doi.org/10.1136/amiajnl-2011-000089
- Lyell D, Coiera E (2017) — Automation bias and verification complexity: a systematic review, JAMIA: https://doi.org/10.1093/jamia/ocw105
- Yu F ve ark. (2024) — Heterogeneity and predictors of the effects of AI assistance on radiologists, Nature Medicine: https://doi.org/10.1038/s41591-024-02850-w
- Avrupa Birliği (2024) — Regulation (EU) 2024/1689 (Artificial Intelligence Act): https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng
- Türkiye İlaç ve Tıbbi Cihaz Kurumu (2021) — Tıbbi Cihaz Mevzuatı: https://www.titck.gov.tr/faaliyetalanlari/tibbicihaz/tibbi-cihaz-mevzuati
Bu içerik bilgilendirme amaçlıdır ve bireysel tıbbi tavsiye yerine geçmez.
İlgili Yazılar
Bu konuyla ilgili Doktorclub'da ele aldığımız diğer hekim onaylı rehberler: