Pilot Başarısı Ölçeklemenin Önündeki En Büyük Tuzak Olabilir

Üretken AI pilotu işe yaradı. Demo etkileyiciydi, kullanıcı geri bildirimleri olumluydu, yönetim kurulu onay verdi. Şimdi ne olacak? Çoğu şirketin bu soruya verdiği yanıt — ‘daha fazla kullanıcıya açarız’ — aslında bir strateji değil, bir umuttur. Pilot başarısının ölçekleme başarısını garanti etmediği, aksine bazen onu engellediği gerçeği 2026 yılında artık yeterince belgelenmiş bir örüntü. Temel neden şu: pilot koşullarında ölçülen şeyler ile operasyonel ortamda önem taşıyan şeyler sistematik olarak farklıdır. Demo doğruluğu ile üretim hata oranı, test kullanıcısı memnuniyeti ile gerçek iş yükü altında insan müdahale sıklığı birbiriyle örtüşmez. Bu farkı görmezden gelen şirketler, pilot sonrası ölçekleme sürecinde kendilerini boşlukta buluyor.Konya’da orta ölçekli bir makine imalatçısını ele alalım — 295 çalışan, yılda yaklaşık 580 milyon TL ciro, ağırlıklı olarak Almanya ve Çek Cumhuriyeti’ne ihracat. Temsili bir senaryo olarak aktarıyorum: bu üretici, 2025 başında teknik çizim yorumlama ve revizyon taleplerini otomatikleştirmek için bir RAG tabanlı ajan kurdu. Sekiz haftalık pilot süresinde sistem, test setindeki çizimlerin büyük çoğunluğunu doğru yorumladı ve proje yöneticileri memnundu. Gerçek üretim ortamına geçince resim değişti. Müşterilerden gelen çizimler bazen eksik metadata içeriyor, bazen eski format standartlarıyla hazırlanmış oluyor, bazen de teknik şartname Almanca yazılmış belgelere çapraz referans veriyor. Ajanın pilot setinde görmediği bu gerçek dünya karmaşıklığı, ilk üç ayda insan müdahale oranını beklenenin çok üzerinde tuttu. Sistem çalışıyordu; ama operasyonel değer üretme eşiğine ulaşmak için ek 14 ay sürdü. Sorun teknolojiyle değil, pilot tasarımının üretim koşullarını yeterince temsil etmemesiyle ilgiliydi.Buradaki tez şu: üretken AI projelerinde başarılı ölçeklemenin belirleyici faktörü teknoloji kalitesi değil, insan-makine sorumluluk sınırının ne kadar net çizildiğidir. Bu sınır belirsiz kaldığı sürece sistem hem verimsiz hem de yönetilemez kalır. Peki bu sınır nasıl çizilir? İki soru yeterli başlangıç noktası sağlar: ‘Bu süreçte ajanın yanlış karar vermesinin maliyeti nedir?’ ve ‘Bu kararın sonuçları geri alınabilir mi?’ Maliyeti yüksek, geri alınamaz kararlar insanda kalmalı. Maliyeti düşük, tersine çevrilebilir kararlar ajana devredilebilir. Bu çerçeve soyut görünebilir ama pratikte çok somut sonuçlar üretiyor: sipariş onayı evet ya da hayır kararı değil, sipariş taslağı hazırlama ajanda; müşteri geri bildirimi sınıflandırma ajanda, müşteri hesabını kapatma kararı insanda. İzmir’de bir lojistik operatöründe gözlemlediğim benzer bir yapılandırmada, bu ayrımı netleştirdikten sonra insan müdahale sıklığı 19 günde yarı yarıya düştü — çünkü ekip artık neyi devretmesi neyi kendinde tutması gerektiğini biliyordu.AI ajan denetimi meselesi 2026 yılında teorik olmaktan çıktı. EU AI Act’ın yüksek riskli sistem kategorileri, Türk şirketleri için somut uyum yükümlülükleri doğuruyor — özellikle AB pazarına ihracat yapan veya AB merkezli tedarik zincirlerine dahil olan firmalar için. Bir ajanın ne zaman insana yönlendirmesi gerektiğini tanımlayan ‘handoff kuralları’ artık iyi niyet belgesi değil, denetim kaydı. Bunun operasyonel karşılığı şu üç bileşen: her ajan eyleminin zaman damgalı log kaydı, belirsizlik eşiğinin üzerindeki durumlar için otomatik eskalasyon protokolü ve haftalık hata örüntüsü incelemesi. Bu üçü yoksa sistem çalışıyor olsa bile denetlenemiyor demektir. Denetlenemeyen sistem ise büyük ihtimalle yanlış yerde çalışıyordur — doğruluğunu değil, görünürlüğünü test etmiş olursunuz.Verimlilik kazanımlarını nasıl ölçeceğiniz sorusu, çoğu şirkette ya ihmal ediliyor ya da yanlış cevaplandırılıyor. Yaygın hata: başlangıç noktası olarak ‘işlenen görev sayısı’ alınıyor. Bu metrik ajana yapılan yatırımın haklılığını göstermez; yalnızca sistemin meşgul olduğunu gösterir. Anlamlı ölçüm için üç boyutun birlikte izlenmesi gerekiyor: birincisi çevrim süresi — bir iş sürecinin başından sonuna kadar geçen süre, hem ajanlı hem ajansız ortamda; ikincisi hata maliyeti — sistemin ürettiği hatayı düzeltmek için harcanan insan saati ve kaynağı; üçüncüsü kapasite etkisi — ajanın devraldığı iş yükü sayesinde serbest kalan insan kapasitesinin başka değer yaratan işlere yönlendirilip yönlendirilmediği. Ankara’da bir sigorta aracılık firmasında RAG tabanlı poliçe sorgulama asistanının devreye alınmasından 11 ay sonra yapılan ölçümde, çevrim süresi %52 kısalmıştı. Ama asıl anlamlı bulgu şuydu: müşteri hizmetleri ekibinin serbest kalan kapasitesinin ancak %46’sı karmaşık müşteri taleplerine yönlendirilmişti; geri kalanı idari görevlere dağılmıştı. Sistem verimli çalışıyordu ama organizasyon bu verimliliği değer zincirinin doğru noktasına aktaramıyordu.Ölçekleme kararında en çok görmezden gelinen kırılma noktası veri kalitesidir. LLM veya RAG sistemi ne kadar iyi tasarlanmış olursa olsun, kuruluşun kendi verisi kirli, eksik veya tutarsızsa sistem üretimde beklenen değeri üretmez. Türkiye’deki KOBİ ortamında bu sorun yapısal: ERP sistemleri 5-6 farklı dönemde farklı ekipler tarafından yapılandırılmış, ürün tanımlamaları standartlaştırılmamış, müşteri kayıtlarında çakışmalar var. Ajan bu veriyle çalışmak zorunda. Pilotta küçük, temiz bir veri seti seçilmişse gerçek ortamdaki performans kaçınılmaz biçimde düşer. Ölçekleme öncesi veri olgunluğu değerlendirmesi bu nedenle teknik bir tercih değil, operasyonel zorunluluktur. Bir pratik kural olarak şunu öneriyorum: eğer bir süreçteki verinin %67’sinden fazlası insan gözüyle son kez 18 aydan daha önce kontrol edildiyse, o süreç ajan dağıtımına hazır değildir.Konya’daki makine üreticisine geri dönelim. 14 aylık gecikmenin ardından sistem bugün çalışıyor ve teknik revizyon taleplerinin büyük bölümünü ayırt edici bir insan müdahalesi olmadan işliyor. Ama bu noktaya gelmek için üretim koşullarını temsil eden yeni bir veri seti oluşturmaları, Almanca belge desteği için ek bir dil katmanı kurmaları ve insan müdahale eşiklerini üç kez yeniden kalibre etmeleri gerekti. Pilotta 8 haftada öğrenilen her şeyin üretimde yeniden öğrenilmesi gerekti. Bunu öngören şirketler ölçeklemeyi bir proje olarak değil, bir öğrenme süreci olarak planlıyor ve bütçeliyor. Hâlâ ‘pilotu tamamladık, şimdi deploy ederiz’ diyen şirketler ise birkaç ay sonra neden pilot kadar iyi çalışmadığını soruyor. Cevap başından belliydi: pilot ayrı bir ortamdı. Üretim başka bir dünya.


AI First yaklaşımı ancak kullanıcı davranışı, yönetim sahipliği ve veri kalitesi birlikte ele alındığında kalıcı değer üretir. Teknoloji tek başına dönüşüm yaratmaz; yalnızca dönüşüm ihtiyacını daha görünür kılar. Başarı, sistemin çalışmasından çok kurumun sistemle çalışmayı öğrenmesidir.


Gökhan Mercanoğlu
Yapay Zekâ ve Makine Öğrenmesi