Bir bankanın kredi değerlendirme ekibi, son iki yıldır kullandığı makine öğrenimi modelinin onay oranlarını artırdığını ve işlem süresini kısalttığını raporluyor. Tablolar olumlu görünüyor; ancak iç denetim birimi farklı bir şey fark ediyor: belirli posta kodlarından başvuran müşterilerin red oranı, gelir ve teminat verileri benzer olmasına karşın sistematik biçimde daha yüksek. Model kimseyi açıkça ayrıştırmıyor, ama sonuçlar ayrıştırıcı. Bu tablo, algoritmik önyargının nasıl işlediğini anlamak için iyi bir başlangıç noktası.
Makine öğrenimi modelleri, geçmiş verilerden örüntü çıkararak karar üretir. Eğitim verisindeki tarihsel önyargı — onlarca yıl boyunca belirli gruplara daha az kredi verilmesi, belirli profillerin işe alınmaması, belirli müşterilerin daha yüksek fiyatla karşılanması — model tarafından bir ‘gerçeklik’ olarak öğrenilir. Model yanlı değildir; veri yanlıdır. Ancak sonuç aynıdır: sistem, geçmişteki eşitsizliği geleceğe taşır ve üstelik bunu istatistiksel bir otorite görünümüyle yapar. Karar artık bir insanın değil, bir algoritmanın — bu da sorgulamayı zorlaştırır.
İşe alım süreçleri bu riskin en görünür olduğu alandır. Özgeçmiş tarama yazılımları, başarılı çalışanların profillerinden öğrenir. Eğer geçmişteki başarılı çalışanlar belirli üniversitelerden, belirli şehirlerden veya belirli demografik özelliklerden geliyorsa, model bu özellikleri kalite göstergesi olarak kodlar. Yeni bir adayın niteliği değil, bu örtük profile ne kadar yakın olduğu belirleyici hale gelir. Şirket farkında olmadan geçmişteki seçim hatalarını otomatize eder. Kredi skorlamasında da benzer mekanizma işler: tarihsel veri, hangi grupların geri ödeme yaptığını değil, hangi grupların kredi kullanabildiğini yansıtır — bu ikisi farklı şeylerdir.
Yöneticiler için asıl zorluk, modelin performans metriklerinin bu sorunu gizlemesidir. Doğruluk oranı yüksek, yanlış pozitif oranı düşük, ROI tatmin edici görünebilir. Ancak bu metrikler modelin tüm alt gruplar için eşit doğrulukla çalışıp çalışmadığını ölçmez. Bir model genel nüfusta yüzde seksen doğrulukla çalışırken belirli bir alt grupta yüzde altmışa düşebilir; standart performans raporları bu farkı göstermez. Denetim mekanizması kurulmadığında yönetici, sorunun varlığından bile haberdar olmaz.
Pratik bir denetim yaklaşımı üç katmandan oluşur. İlk katman veri denetimidir: eğitim verisinin hangi dönemden geldiği, hangi grupları temsil ettiği ve tarihsel seçim süreçlerinin izi incelenir. İkinci katman model denetimidir: tahminler demografik değişkenler bazında ayrıştırılarak alt grup performansları karşılaştırılır; bu işlem teknik ekip ile iş birimi analistlerinin birlikte yürüttüğü bir süreçtir. Üçüncü katman karar denetimidir: model çıktısının insan kararına nasıl bağlandığı, hangi eşik değerlerinin kullanıldığı ve itiraz mekanizmalarının işleyip işlemediği sorgulanır. Bu üç katman birlikte kurulmadan yalnızca modelin doğruluk skoruna bakmak, bir aracın çalışıp çalışmadığını sormak ama nereye gittiğini sormamak gibidir.
Türkiye’deki şirketler bu konuya henüz yeterli kurumsal dikkat göstermiyor. Makine öğrenimi projeleri çoğunlukla teknik ekiplerin inisiyatifinde ilerliyor; iş birimleri modelin nasıl çalıştığını sormak yerine çıktıları kullanıyor. Hukuk ve uyum ekiplerinin sürece dahil olması ise daha da nadir. Oysa işe alım, kredi değerlendirmesi veya fiyatlandırma gibi hassas alanlarda ayrımcı sonuç ürettiği tespit edilen bir model, şirketi hem itibar hem yasal risk açısından zor bir konuma sokabilir. Riskin görünür hale gelmesi için mutlaka bir kriz yaşanması gerekmiyor; denetim mekanizmasını önceden kurmak, tepkisel değil önleyici bir yönetim anlayışının gereği.
Karar vericiler için somut başlangıç noktası şudur: mevcut makine öğrenimi projelerini listeleyin ve her biri için şu soruyu sorun — bu modelin çıktısı, farklı müşteri veya çalışan grupları arasında sistematik bir fark yaratıyor mu? Cevabı bilmiyorsanız, veri ekibinden alt grup analizini talep edin. Modeli durdurmak zorunda değilsiniz; ancak neyi optimize ettiğinizi ve kimin aleyhine sonuç ürettiğini anlamak, hem etik bir zorunluluk hem de operasyonel bir risk yönetimi adımıdır. Algoritmik önyargı, kötü niyetin değil farkındasızlığın ürünüdür — ve bu farkındasızlık yönetilebilir bir değişkene dönüştürülebilir.