DoktorClub Görüşü
Zatürre grafisinde hastane izi, dermoskopide cerrahi kalem işareti: Modeller hastalık yerine ipucu öğrenebilir. Üç çalışma ve hekimin soracağı sorular.
Kaynak
Bu rehber yardımcı oldu mu?
DoktorClub’da Keşfet
Yapay Zeka Haber
Kısayol öğrenme: Yapay zekâ hastalığı değil ipucunu öğrenirse ne olur?
Kapak görseli yapay zekâ ile üretilmiş temsili bir editoryal görseldir; gerçek hasta veya tanısal görüntü değildir. 30 Saniyede Özet Bir görüntü modeli, hastalığı değil de hastalıkla birlikte görünen bir ipucunu…
Kapak görseli yapay zekâ ile üretilmiş temsili bir editoryal görseldir; gerçek hasta veya tanısal görüntü değildir.
30 Saniyede Özet
Bir görüntü modeli, hastalığı değil de hastalıkla birlikte görünen bir ipucunu öğrenerek yüksek başarı gösterebilir. Buna kısayol öğrenme denir ve sorun çoğu zaman model başka bir ortama taşındığında ortaya çıkar. Zatürre grafilerinde hastane izi, dermoskopide cerrahi kalem işareti ve COVID-19 grafilerinde veri kaynağı izleri bunun belgelenmiş örnekleridir. Dış doğrulama ve ısı haritaları yardımcıdır ama tek başına güvence vermez.
Kısayol öğrenme nedir?
Geirhos ve arkadaşları 2020'de kısayolları şöyle tanımlar: standart test setlerinde iyi çalışan ama daha zorlu koşullara, örneğin gerçek hayata taşınamayan karar kuralları. Model, etiketle birlikte sık görünen her örüntüyü kullanabilir. Bu örüntü hastalığın kendisi olmak zorunda değildir.
Klinisyenin diliyle bu bir karıştırıcı (hem girdiyle hem sonuçla ilişkili, ama nedensel olmayan etken) sorunudur. Farkı şu ki model hangi karıştırıcıyı kullandığını söylemez. Siz de onu çoğu zaman ancak model başarısız olunca fark edersiniz.
Zatürre modeli hastaneyi tanıyınca ne oldu?
Zech ve arkadaşları 2018'de PLOS Medicine'de üç hastane sisteminden 158.323 akciğer grafisini kullandı. Kesitsel bu çalışmada zatürre sıklığı Mount Sinai'de %34,2, NIH'de %1,2 ve Indiana'da %1,0 idi. Bu amaçla eğitilen bir ağ, NIH ve Mount Sinai grafilerinin %99,9'undan fazlasını doğru hastane sistemine atadı. Indiana grafilerinde bu oran %95,6 idi.
Bu durumda model hastanenin kendisini zatürre riski yerine kullanabilir. Yazarlar, birleşik test setinde yalnızca hastane bilgisine dayalı bir sınıflandırmanın bile 0,861 AUC verdiğini gösterdi. Mount Sinai ve NIH verisiyle eğitilen modelin AUC'si iç testte 0,931, Indiana'da ise 0,815 idi. Beş karşılaştırmanın üçünde dış performans iç performanstan düşüktü.
Kalem işareti melanom olasılığını nasıl artırdı?
Winkler ve arkadaşları 2019'da JAMA Dermatology'de piyasada bulunan, Avrupa'da CE işaretli bir dermoskopi modelini test etti. Kesitsel çalışmada 130 melanositik lezyon (107 benign nevüs, 23 melanom) kullanıldı. Aynı lezyonlar önce işaretsiz, sonra gentian violet ile cerrahi kalemle işaretlenmiş olarak görüntülendi.
İşaretli görüntülerde benign nevüslere verilen melanom olasılığı belirgin arttı. Özgüllük %84,1'den %45,8'e düştü. Görüntüler işaretleri dışarıda bırakacak şekilde kırpıldığında performans yeniden yükseldi. Yazarlar, yapay zekâ analizi yapılacak dermoskopik görüntülerde cerrahi işaretlerden kaçınılmasını önerdi.
COVID-19 grafilerinde model neyi öğrendi?
DeGrave ve arkadaşları 2021'de Nature Machine Intelligence'da COVID-19 saptayan grafi modellerini inceledi. Pek çok veri setinde pozitif ve negatif görüntüler farklı kaynaklardan toplanmıştı. Modeller başka hastanelerden gelen grafilerde belirgin performans kaybı gösterdi.
Açıklanabilirlik yöntemleri, modellerin taraf işaretleri ve görüntü üzerindeki yazılar gibi ipuçlarına dayandığını ortaya koydu. Hastanın çekim pozisyonu gibi farklar da kullanılıyordu. Pozitif ve negatif vakaların aynı kaynaktan ve aynı dönemden toplanması kısayolları azalttı, ama tamamen ortadan kaldırmadı.
Dış doğrulama ve ısı haritaları neden yetmez?
DeGrave ve arkadaşları, dış doğrulamanın tek başına yeterli olmadığını vurgular. Aynı kısayol dış veri setinde de varsa, model yanlış nedenle doğru cevap vermeye devam eder. Performans düşmediği için sorun görünmez kalır.
Isı haritaları (saliency map, modelin görüntünün hangi bölgesine ağırlık verdiğini renklendiren gösterim) ilk bakışta çözüm gibi görünür. Ghassemi ve arkadaşları 2021'de The Lancet Digital Health'te bu yöntemlerin sınırlarını tartıştı. Harita modelin nereye baktığını gösterir, ama o bölgede neyi kullandığını göstermez. Okuyan kişi de modelin, kendisinin önemli bulacağı özelliği kullandığını varsayma eğilimindedir.
Yazarlar, eğitilmemiş ağların bile güven verici görünen haritalar üretebildiğine dikkat çeker. Önerileri, bireysel kararda haritalara güvenmek yerine sistemleri farklı popülasyonlarda titizlikle doğrulamaktır.
Senaryo: Dermatoloji polikliniğinde bir uygulama
Şöyle bir durum düşünün. Polikliniğinizde lezyon fotoğrafı değerlendiren bir yazılım kullanılmaya başlanıyor. Eksizyon planlanan hastaların lezyonları çekimden önce kalemle işaretleniyor. Yazılım bu hastalarda sık sık yüksek risk veriyor ve ekip bunu doğru saptama sanıyor.
Winkler çalışması, bu tablonun bir kısmının kalem işaretinden kaynaklanabileceğini düşündürür. Çözüm basittir: yazılımın kullanım koşullarını öğrenin ve görüntü alma sürecini buna göre düzenleyin.
Hekimin sorması gereken sorular
- Eğitim verisinde pozitif ve negatif vakalar aynı merkezden ve aynı dönemden mi geldi?
- Model farklı cihaz, protokol ve hastanelerden gelen verilerde test edildi mi?
- Görüntüdeki yazı, işaret, cetvel ya da pozisyon gibi ipuçları kontrol edildi mi?
- Performans alt gruplarda ve farklı çekim koşullarında ayrı ayrı raporlandı mı?
- Firma, kullanım koşullarını ve sistemin başarısız olduğu durumları yazılı olarak tanımlıyor mu?
Türkiye'deki hekim için ne anlama geliyor?
Yurt dışı verisiyle eğitilen bir model, Türkiye'deki cihazlara, çekim protokollerine ve hasta profiline göre farklı davranabilir. Türkiye'de tıbbi cihaz alanındaki düzenleyici kurum Türkiye İlaç ve Tıbbi Cihaz Kurumu'dur (TİTCK). Kurumun 2021 tarihli Tıbbi Cihaz Yönetmeliği AB'nin 2017/745 sayılı tüzüğüyle uyumludur. Yine de bir ürünün piyasada olması, kısayol öğrenmeden arındığını göstermez.
Sık sorulan sorular
Kısayol öğrenme yalnızca görüntü modellerinde mi olur?
Bu yazıdaki örneklerin hepsi görüntü modellerinden geliyor. Ancak tanım, etiketle birlikte görünen her ilgisiz örüntüyü kapsar. Veri türünden bağımsız olarak, modelin neyi öğrendiğini sorgulamak gerekir.
Isı haritası doğru bölgeyi gösteriyorsa model güvenilir midir?
Tek başına hayır. Harita modelin nereye baktığını gösterir ama o bölgede neyi kullandığını açıklamaz. Farklı merkezlerde yapılan titiz doğrulama daha güçlü bir güvencedir.
Dış doğrulama başarılıysa kısayol olasılığı ortadan kalkar mı?
Hayır. Aynı ipucu dış veri setinde de varsa model yine iyi görünebilir. Bu yüzden verinin nasıl toplandığını ve hangi ipuçlarının kontrol edildiğini de sorun.
Kaynaklar
- Geirhos R ve ark. (2020) — Shortcut learning in deep neural networks (Nature Machine Intelligence): https://doi.org/10.1038/s42256-020-00257-z
- Zech JR ve ark. (2018) — Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: a cross-sectional study (PLOS Medicine): https://doi.org/10.1371/journal.pmed.1002683
- Winkler JK ve ark. (2019) — Association between surgical skin markings in dermoscopic images and diagnostic performance of a deep learning convolutional neural network for melanoma recognition (JAMA Dermatology): https://doi.org/10.1001/jamadermatol.2019.1735
- DeGrave AJ ve ark. (2021) — AI for radiographic COVID-19 detection selects shortcuts over signal (Nature Machine Intelligence): https://doi.org/10.1038/s42256-021-00338-7
- Ghassemi M, Oakden-Rayner L, Beam AL (2021) — The false hope of current approaches to explainable artificial intelligence in health care (The Lancet Digital Health): https://doi.org/10.1016/S2589-7500(21)00208-9
- Türkiye İlaç ve Tıbbi Cihaz Kurumu (2021) — Tıbbi cihaz mevzuatı: https://www.titck.gov.tr/faaliyetalanlari/tibbicihaz/tibbi-cihaz-mevzuati
Bu içerik bilgilendirme amaçlıdır ve bireysel tıbbi tavsiye yerine geçmez.
İlgili Yazılar
Bu konuyla ilgili Doktorclub'da ele aldığımız diğer hekim onaylı rehberler: