Kapak görseli yapay zekâ ile üretilmiş temsili bir editoryal görseldir; gerçek hasta veya tanısal görüntü değildir.
30 Saniyede Özet
2019'da Science dergisinde yayımlanan bir çalışma, ABD'de yaygın kullanılan bir bakım yönetimi algoritmasının Siyahi hastaların ihtiyacını düşük tahmin ettiğini gösterdi. Sorunun kaynağı bir ırk değişkeni değildi; algoritma hastalığı değil, gelecekteki sağlık harcamasını tahmin ediyordu. Erişimi kısıtlı gruplara daha az harcandığı için maliyet, ihtiyacın yanlı bir vekili oldu. Aynı tuzak fatura kodları, randevuya gelmeme veya önceki hastane kullanımı gibi etiketlerde de kurulabilir.
Etiket nedir ve neden bu kadar önemlidir?
Her tahmin modeli bir hedefi öğrenir. Bu hedefe etiket (modelin tahmin etmeyi öğrendiği sonuç değişkeni) denir. Çoğu zaman asıl ilgilendiğimiz şeyi doğrudan ölçemeyiz ve yerine ölçmesi kolay bir vekil (proxy) koyarız.
Chicago Booth ekibinin 2021 tarihli Algoritmik Yanlılık Rehberi bu sorunu "etiket seçimi yanlılığı" olarak tanımlar. Algoritma, seçilen vekili çok iyi tahmin edebilir. Ama vekil ile ideal hedef arasındaki fark gruplara göre değişiyorsa, doğru çalışan model yanlı sonuç üretir. Rehbere göre adil bir skorun ölçütü basittir: aynı skoru alan iki kişinin temel ihtiyacı da aynı olmalıdır.
Obermeyer çalışmasında ne bulundu?
Obermeyer ve arkadaşları, karmaşık sağlık ihtiyacı olan hastaları ek bakım programına seçen ticari bir algoritmayı inceledi. Sektör tahminlerine göre bu tür algoritmalar ABD'de her yıl yaklaşık 200 milyon kişiye uygulanıyordu. Veri setinde 6.079 Siyahi ve 43.539 Beyaz olmak üzere 49.618 hasta vardı. Algoritma ırkı girdi olarak kullanmıyordu.
Programın işleyişi nettir. Skoru 97'nci yüzdeliğin üzerindeki hastalar programa otomatik olarak aday gösteriliyordu. 55'inci yüzdeliğin üzerindekiler ise birinci basamak hekimine yönlendiriliyordu.
Aynı risk skorunda Siyahi hastalar belirgin biçimde daha hastaydı. 97'nci yüzdelikte Siyahi hastaların kronik hastalık sayısı %26,3 daha fazlaydı: 4,8'e karşı 3,8. Aynı sayıda kronik hastalığa sahip Siyahi hastalar için yılda 1.801 dolar daha az harcanıyordu.
Yazarlar bir simülasyon da yaptı. Eşik üstündeki daha sağlıklı Beyaz hastaları eşik altındaki daha hasta Siyahi hastalarla değiştirdiler. Bu düzeltmeyle otomatik seçilenler arasındaki Siyahi hasta oranı %17,7'den %46,5'e çıkıyordu.
Etiket değiştirilince ne oldu?
Ekip aynı veriyle üç farklı etiket için model eğitti: toplam maliyet, önlenebilir maliyet ve aktif kronik hastalık sayısı. En yüksek risk grubundaki Siyahi hasta oranı maliyet etiketinde %14,1 idi. Bu oran önlenebilir maliyet etiketinde %21,0'a, aktif kronik hastalık etiketinde %26,7'ye çıktı.
Algoritmanın üreticisi analizleri 3.695.943 hastalık kendi ulusal veri setinde bağımsız olarak tekrarladı. Üreticiyle denenen, sağlık ve maliyet tahminini birleştiren bir indeks yanlılığı %84 azalttı. Bu oran, aynı skordaki Siyahi hastalarda fazladan görülen kronik hastalık sayısındaki düşüşü gösteriyor. Ders açık: modeli değil, önce hedefi sorgulamak gerekir.
Başka hangi vekil etiketler aynı tuzağa düşebilir?
Mullainathan ve Obermeyer 2017'de sağlık verisinin özel bir sorununa dikkat çekti. Sağlıkta ne sonuç ne de girdiler kusursuz ölçülür. Bu yüzden algoritmalar insan kararındaki hataları yeniden üretebilir, hatta büyütebilir.
Algoritmik Yanlılık Rehberi sağlıktan başka örnekler de veriyor:
- Fatura veya tanı kodları hastalığın başlangıcını değil kayda geçişini gösterir; kodlama hekime ve sigortaya göre değişir.
- Randevuya gelmeme tahmini geçmiş randevu kaydına dayanırsa, eşit dağılmayan erişim engellerini öğrenir.
- Acil triyajda beklenen kaynak kullanımı, gerçek klinik ciddiyetin yerine geçerse yanıltır.
Önceki hastane kullanımı da benzer bir vekildir. Hastaneye az gelen kişi sağlıklı olabilir, ama ulaşamamış da olabilir.
Klinik senaryo: evde bakım programına kim seçilecek?
Şöyle bir durum düşünün. Hastaneniz, evde bakım programına alınacak hastaları seçmek için bir risk modeli kullanmak istiyor. Model, geçen yılki başvuru ve yatış sayısını "yüksek risk" etiketi olarak kullanıyor.
Uzak bir köyde yaşayan, ulaşım sorunu yüzünden kontrollerine gelemeyen kalp yetersizliği hastasını düşünün. Kayıtta az başvurusu var ve model onu düşük riskli görüyor. Oysa asıl ihtiyacı en yüksek olan hasta o olabilir. Model başvuru sayısını çok iyi tahmin etse bile bu hata doğruluk raporunda görünmez.
Algoritmayı değerlendirirken kontrol listesi
- Modelin tam olarak hangi değişkeni tahmin ettiğini üreticiden yazılı olarak isteyin.
- Bu etiketin gerçekten önemsediğiniz klinik ihtiyaçla aynı şey olup olmadığını ekipçe tartışın.
- Aynı risk skorundaki farklı grupların gerçek hastalık yükünü karşılaştırın.
- Erişimi farklı olabilecek grupları, örneğin kırsal ve kentsel hastaları, ayrı ayrı inceleyin.
- Yanlılık varsa ideal hedefe daha yakın bir etiketle yeniden eğitim isteyin.
- Kullandığınız algoritmaların envanterini tutun ve düzenli denetim planlayın.
Son iki madde, rehberin dört adımlı yaklaşımından geliyor: envanter, tarama, yeniden eğitim ve önleme.
Türkiye'deki hekim için ne anlama geliyor?
Bu yazı Türkiye'ye ait bir ölçüm sunmuyor ve böyle bir veri uydurmuyor. Ancak mekanizma ülkeye özgü değil: erişim gruplar arasında farklıysa, maliyet veya kullanım temelli etiket bu farkı taşır. Kişisel Verilerin Korunması Kanunu (KVKK) sağlık verisini özel nitelikli sayar. Kanunun 11'inci maddesi, yalnızca otomatik analizle aleyhe çıkan bir sonuca itiraz hakkı da tanır.
Sık sorulan sorular
Irk değişkenini modelden çıkarmak yanlılığı önlemez mi?
Önlemez. Obermeyer çalışmasındaki algoritma ırkı girdi olarak kullanmıyordu. Yanlılık, harcama gibi grup farkını taşıyan bir etiket üzerinden modele girdi.
Fatura kodları neden sorunlu bir etiket olabilir?
Kodlar hastalığın kendisini değil, sağlık sistemiyle temasın kaydını yansıtır. Algoritmik Yanlılık Rehberi, kodlama sıklığının hekime ve sigortaya göre değiştiğini belirtiyor. Az başvuran grup, kodlarda daha sağlıklı görünebilir.
Bu yanlılık düzeltilebilir mi?
Evet, üreticiyle yapılan denemede sağlık ve maliyeti birleştiren indeks yanlılığı %84 azalttı. Rehber, yeterli iyileşme olmazsa algoritmanın kullanımının askıya alınmasını da seçenek olarak sayıyor. İlk adım, hedefin açıkça tanımlanmasıdır.
Kaynaklar
- Obermeyer Z, Powers B, Vogeli C, Mullainathan S (2019) — Dissecting racial bias in an algorithm used to manage the health of populations, Science: https://doi.org/10.1126/science.aax2342
- Obermeyer Z ve ark. (2019) — aynı makalenin açık erişim tam metni, eScholarship: https://escholarship.org/uc/item/6h92v832
- Obermeyer Z, Nissan R, Stern M ve ark. (2021) — Algorithmic Bias Playbook, Chicago Booth Center for Applied AI: https://www.chicagobooth.edu/-/media/project/chicago-booth/centers/caai/docs/algorithmic-bias-playbook-june-2021
- Mullainathan S, Obermeyer Z (2017) — Does Machine Learning Automate Moral Hazard and Error?, American Economic Review: https://doi.org/10.1257/aer.p20171084
- T.C. Mevzuat Bilgi Sistemi (2016) — 6698 sayılı Kişisel Verilerin Korunması Kanunu: https://www.mevzuat.gov.tr/mevzuatmetin/1.5.6698.pdf
Bu içerik bilgilendirme amaçlıdır ve bireysel tıbbi tavsiye yerine geçmez.
İlgili Yazılar
Bu konuyla ilgili Doktorclub'da ele aldığımız diğer hekim onaylı rehberler:
Sağlık harcamasını ihtiyaç yerine koyan bir algoritma, Siyahi hastaların ihtiyacını düşük tahmin etti. Obermeyer çalışmasından hekimler için dersler.