Birlikte mükemmel…

Thomas C. Redman & Roger W. Hoerl

İnsanlar çoğu zaman yapay zeka (YZ) ve otomatik öğrenme algoritmalarının neden işe yaradığından emin olamıyor. Daha da önemlisi, insanlar ne zaman işe yaramayacağını da her zaman tahmin edemiyor. Google'da YZ araştırmacısı olan Ali Rahimi, 2017'deki bir konferansta YZ'de yapılanların çoğunu "simya" olarak tanımladığında ayakta alkışlandı—bu, geliştiricilerin hangi algoritmaların işe yarayacağını ve hangisinin yaramayacağını tahmin etmek veya bir YZ mimarisini diğerine tercih etmek için sağlam temellere sahip olmadığı anlamına geliyor. Kısa ve öz bir şekilde ifade etmek gerekirse YZ, çıkarım yapmak için gereken temelden yoksun—tahminlerin ve kararların dayandırılacağı sağlam bir temelden.

Bu, YZ kararlarının açıklanmasını zorlaştırıyor (ya da imkansız hale getiriyor) ve YZ modellerine ve teknolojilerine olan güvene, yani YZ'nin potansiyeline ulaşması için gereken güvene zarar veriyor. Rahimi'nin de belirttiği gibi bu, YZ ve otomatik öğrenmenin çözülmemiş bir sorunu— birçok YZ modelinin uygulamada başarısız olmasına yol açtığı için teknoloji ve iş liderlerinin geceleri uykusunu kaçıran bir sorun.

Neyse ki YZ ekiplerine ve projelerine yardım beklenmedik bir kaynaktan geliyor: Klasik istatistikten. Bu makale, iş dünyası liderlerinin sorunu çözmek için istatistiksel yöntemlerden ve istatistik uzmanlarından nasıl yararlanabileceğini araştıracak.

SINAMA VERİLERİ: CAZİP AMA KUSURLU BİR YAKLAŞIM

Bazı YZ ekipleri, eğitimli bir YZ modelini çıkarım yapmanın temeli olarak görüyor; özellikle de bu model, orijinal verilerden oluşan bir sınama setinde iyi tahminler ürettiğinde. Böyle bir argüman cazip görünebilir ama biraz zorlama olduğu da açık: Sınama verileri, eğitim verileriyle aynı anda ve aynı koşullar altında toplanan verilerin bir örneklemesinden başka bir şey değil. Bu nedenle, eğitilmiş bir YZ modeli, tek başına, farklı koşullar altında gözlemlenen gelecekteki verilere ilişkin öngörüler için güvenilir bir temel sağlamaz.

Daha da kötüsü, YZ modelleri üzerinde çalışan birçok ekip, çözülmesi gereken iş sorununu net bir şekilde tanımlamakta başarısız oluyor. Bu, ekip üyelerinin iş dünyası liderlerine eğitim verilerinin doğru veri olup olmadığını anlatmakta zorlanması anlamına geliyor. Bu üç sorundan herhangi biri (kötü temel, yanlış sorun veya yanlış veri) kullanımda felaketle sonuçlanabilir ve YZ ekiplerindeki istatistik uzmanları bunların önlenmesine yardımcı olabilir.

Birçok bilişim teknolojisi (BT) lideri ve veri bilimci, istatistiğin büyük veri ve YZ çağında artık ihtiyaç duyulmayan eski bir teknoloji olduğunu düşünüyor. Hatta bazı iş dünyası liderleri, istatistiği okulda en sevmedikleri ders olarak hatırlıyor ve istatistikten uzak durmaya çalışıyor. İşe almalar genellikle otomatik öğrenme, bulut bilişim, metin analizi ve derin öğrenme ile ilişkili becerilere odaklanıyor—bunlar hem seksi hem de güçlü olduğu düşünülen beceriler.

İstatistiğin eski bir teknoloji olduğu tespitinde bir miktar doğruluk payı olsa da organizasyonların hala buna ihtiyacı var. Kökleri doğa bilimleri ve matematiğe dayanan istatistik disiplini, istatistikçilere modelleri eldeki verinin ötesine geçen bir popülasyondaki bazı bilimsel doğrulara tasavvur etmeyi ve bunu yaparken olası hatayı ölçmeyi öğretiyor. YZ için aradığımız çıkarım temeli de bu.

EKİPLER İSTATİSTİKLERİ YZ ÇALIŞMALARINA NASIL UYGULAYABİLİR?

Öyleyse liderler, YZ kullanımında başarı olasılığını artırmak için YZ projeleri sırasında istatistik uzmanlarını ve yöntemlerini nasıl kullanabilir? Dört örneğe bakalım.

1. Doğru Veri

Aporia tarafından Eylül 2023'te yürütülen bir ankete göre, YZ yanlılığını belirlemek, otomatik öğrenme profesyonellerinin yüzde 83'ü için en büyük zorluk. Neyse ki istatistik dahilinde bir disiplin olan anket örneklemesi, örnekleme yanlılığı, yanıt vermeme yanlılığı, yanlı sorular ve daha birçokları dahil olmak üzere verilerdeki potansiyel yanlılıklara ilişkin derinlikli bir teori geliştirmiş durumda. Bu hususlar, YZ ekiplerinin veri kümelerindeki potansiyel yanlılıkları ve sınırlamaları daha iyi anlamasına yardımcı olabilir. Daha önce belirttiğimiz gibi, otomatik öğrenme modelleri çoğu zaman doğru veriler, yani eldeki sorunu çözmek için en uygun veriler yerine mevcut veri kümeleri üzerine kuruluyor. Oysa istatistiksel olarak tasarlanmış deneylerin yegâne odak noktası, belirli bir problem veya soruyu ele almak için doğ- ru verileri elde etmek.

2. Rastgeleleştirme

Deneysel tasarım, aynı zamanda, veri bilimi tarihindeki en büyük buluşlardan birini üretti: Rastgeleleştirilmiş deneme. Rastgeleleştirilmiş klinik araştırmalar, ilaç geliştirmede altın standart olmaya devam ediyor; Google, Meta ve diğer teknoloji şirketlerinin düzenli olarak kullandığı A/B testleri de temel rastgeleleştirilmiş denemeler.

Abhijit Banerjee, Esther Duflo ve Michael Kremer'in rastgeleleştirilmiş deneyleri yoksulluğun azaltılmasına uygulayarak Nobel İktisadi Bilimler Anma Ödülü'nü kazanması dikkat çekici. Rastgeleleştirme, çıkarıma mükemmel bir temel sağlıyor çünkü bir veri kümesinde olmayan diğer değişkenlerin, sonuçları karıştırmasını önlüyor. Bu sadece korelasyonun değil, nedensel ilişkilerin de belirlenmesine imkan tanıyor. Nedensel ilişkilere dair bir kavrayışa sahip olmak, muhtemelen çıkarım için mümkün en iyi temel.

3. Model Testi

Üçüncü bir örnek ise halihazırda kullanılan YZ modellerinin testlerini tasarlamak için istatistikten yararlanılmasını içeriyor. Bir kredi puanlama modelini düşünün. Şirket, verdiği kredilere ilişkin performans verilerini elde ediyor ancak diğer tarafta karanlıkta kalıyor. Krediyi reddetme kararları doğru muydu? Şirket bunu asla bilemeyebilir. Tek çözüm, şirketin normalde kredi vermeyeceği bazı durumlarda sırf YZ modelini test etmek için kredi vermesi. Bu tür testlerde kredi vermek için deneylerin tasarlanması ve değerlendirilmesi istatistiğin alanına giriyor. Çalıştığımız bazı firmalar bunu zaten yapıyor.

4. İstatistiksel Süreç Kontrolü

Son olarak, istatistiksel süreç kontrolü (İSK), performanstaki değişiklikleri hızlı bir şekilde tespit etmek için zaman içindeki süreçlerin izlenmesine imkan tanıyan yöntemler sağlıyor. İSK, kullanılmaya başladıktan sonra YZ modellerinin performansını izlemek için uygulanabilir, ancak çok az sayıda otomatik öğrenme geliştiricisi bu konuyu inceledi. Modeller, zaman içinde, özellikle yeni verilerde performansını koruduğunda, çıkarım için başka bir temele sahip oluyoruz çünkü öngörü doğruluğu zaman içinde sabit kalıyor.

EKİBİNİZİN NEDEN İSTATİSTİKSEL İKİZLERE İHTİYACI OLABİLİR?

Daha da büyük düşünürsek istatistikler, fiziksel sistemlerin dijital ikizine benzeyen istatistiksel ikiz aracılığıyla YZ modelleri geliştiren ekiplere yardımcı olabilir. Ekipler bir otomatik öğrenme mo- delini daha geleneksel bir istatistiksel modelle eşleştirebilir ve her ikisini de aynı anda geliştirebilir. Otomatik öğrenme modeli, neredeyse her zaman, sınama kümesindeki verilerde daha iyi öngörü doğruluğu sağlar, ancak istatistiksel model bazı avantajlar sunar: Açıklanabilir ve mevcut konu bilgisiyle karşılaştırılabilecek, gerçek dünya yorumlarına sahip parametreler ve katsayılar içerir. İstatistiksel modeller, doğru verilerin kullanılıp kullanılmadığını belirlemede ve sınama kümesinin ötesine geçen tahminlerde bulunmada çok işe yarayan uyum iyiliği ve belirsizlik ölçümleriyle tam donanımlı olarak gelir.

Sonuç olarak: Geliştiriciler modelleri birbirine göre kalibre edebilir ve öngörülerin ne kadar yakın eşleştiğini test edebilir. Bu, özellikle bir modelin veya diğerinin kötü performans gösterdiği alanların (veya alt popülasyonların) belirlenmesinde önem taşıyor. Çoğu zaman "genellikle üstün" olan modeli ve üstün performans sağladığı ya da açıklanabilirliğin, daha önce belirtildiği üzere, kritik olduğu durumlarda "tamamlayıcı modeli" kullanmakta kesinlikle yanlış bir şey yok.

Dahası, otomatik öğrenme geliştiricileri, genellikle tek bir metriğe—örnek dışı öngörü doğruluğuna—dayalı en iyi tek modeli bulmaya dar bir şekilde odaklanma eğiliminde oluyor. İstatistikçiler modeller hakkında daha geniş düşünmek üzere eğitilir: Model uygun şekilde basit mi? Modelin neresi zayıf ve geliştirilebilir? Yabancı değişkenler dahil mi? Nedensel bir ilişki önermek için modeli alan bilgisiyle eşleştirebilir miyiz?

Farklı yaklaşımlardan yararlanarak geliştirilmiş ikili bir modelin kullanılması, veri bilimi ekiplerinin kendi analitik pastasını hem yapmasına hem de yemesine olanak tanıyor. İstatistiksel yöntemler otomatik öğrenme modellerinin gücüyle eşleşemese de çıkarım temeli boşluğunu doldurmaya yardımcı olarak kesinlikle bu modellerin güçlenmesini sağlıyor.

İŞ LİDERLERİNİN HEMEN YAPABİLECEĞİ BAŞKA DEĞİŞİKLİKLER

YZ sistemlerinin ve ilgili otomatik öğrenme modellerinin nihai performansından YZ modellerini oluşturan kişiler değil, iş liderleri sorumlu. Modelleyicilerin doğru sorunları çözmek için doğru verileri kullanmasını sağlamak için yöneticilerin doğru soruları sorması gerekiyor. Yöneticiler istatistiği sorunlar hakkında düşünmenin, bir dizi araçla birlikte kullanıldığında, doğru verileri belirlemeye yardımcı olabilecek—ve çıkarım için daha sağlam temellere sahip modeller sağlayacak—bir yolu olarak görebilir. İstatistiğe bu açıdan bakıldığında istatistik yöntemleri ve yeteneklerini YZ ekipleriyle entegre etmek, aşikâr bir yaklaşım gibi görünüyor. Bunu yapmak, YZ kullanımında ilerlemeyi yavaşlatan kalite sorunlarını çözmek için de büyük bir fırsat oluşturuyor.

Yöneticiler, hemen atılacak bir ilk adım olarak, YZ ve otomatik öğrenme modeli geliştiricilerine şu ek soruları sormalı:

1. Model, alan bilgisine dayalı beklentileri karşılıyor mu? Örneğin, zatürre hastalarındaki olumsuz sonuçları öngörmek için geliştirilen bir otomatik öğrenmeme modeli, astımlı hastaların olumsuz sonuçlarla karşılaşma olasılığının daha düşük olduğunu ileri sürdü. Bu, bilinen tıp bilimiyle çelişiyordu ve daha fazla araştırma yapıldığında, modelin astım hastalarının genellikle tam da risklerinin çok yüksek olması nedeniyle zatürre için acil tedavi aldığını bilmediği ortaya çıktı. Duymak istediğiniz yanıt: Model en iyi alan bilgisine sahip kişiler tarafından incelenip denetlendi.

2. Model basitleştirilebilir mi? Duymak istediğiniz yanıt: Kapsamlı testler, daha az özelliğe sahip modellerin öngörü doğruluğunun çok daha kötü olduğunu gösterdi.

3.Çıkarım temeliniz ne? Bir başka deyişle, modelin gelecekte iyi performans göstereceğinden hangi temelde eminsiniz? Duymak istediğiniz yanıt: Örnek dışı öngörü doğruluğunun farklı koşullar altında toplanacak gelecekteki veriler üzerinde doğruluk sağladığı iddiası karşısında dikkatli olun. Daha iyi yanıtlar, doğru verilerin kullanıldığına, rastgeleleştirmeye ya da nedensel ilişkilerin bilgisine atıfta bulunmalı.

Bir sonraki adımda, yöneticiler, mümkün olan en kısa sürede, kendilerinin veya ekiplerinin yapay zeka proje çalışmalarında sahip olduğu istatistik uzmanlığını uygulamaya koymalı. Örneğin birçok ekip, yukarıdaki kredi puanlama örneğinde açıkladığımız gibi, modellerin test edilmesine istatistiksel teknikleri uygulayabilir.

Teknoloji şirketlerinde çalışan çok sayıda istatistikçinin bize tutarlı bir şekilde ifade ettiği gibi, bu uzmanlar istatistiksel becerilerinden değil, otomatik öğrenme becerilerinden dolayı kendilerine değer verildiğini hissediyor. Bunun anlamı, pek çok şirketin halihazırda kritik düzeyde istatistiksel becerilere sahip olmasına rağmen istatistik uzmanlarını doğru kullanmadığı. Onları istatistik yapmaya yönlendirin. Üçüncü olarak, yöneticilerin veri bilimi ekiplerinin kompozisyonunu teknik çeşitliliği artırmayı göz önünde bulundurarak yeniden düşünmesi gerekiyor. Çok fazla ekip benzer becerilere sahip veri bilimcilerinden oluşuyor ve bu da teknik olarak bir santimetre genişliğinde ve bir kilometre derinliğinde bir ekiple sonuçlanıyor. Örnek vermek gerekirse, tamamı oyun kuruculardan oluşan bir Amerikan futbol takımının kaderi her maçı kaybetmek olacaktır. İstatistikçiler ve istatistiksel becerilere sahip başka uzmanlar, veri bilimi ve YZ ekiplerini genişletebilir.

Ayrıca yöneticilerin YZ, otomatik öğrenme ve istatistiğe ilişkin bir organizasyonel beceri envanteri çıkarmak için insan kaynakları (İK) departmanlarıyla birlikte çalışması gerekiyor. Uygulamalı istatistikçilerin çoğu, teknik bilgisi olmayan kişilerle çalışma deneyimine sahiptir ve eldeki temel iş sorununu tanımlamaya yardımcı olacak iş birliği becerilerini geliştirmiştir. İstatistikçiler, belirtilen sorunun çoğu durumda asıl sorun olmadığının açığa çıktığını uzun süre önce öğrendi. YZ çalışmalarında bu becerilerin iş sorununu doğru bir şekilde çerçevelemek ve doğru verileri elde etmek için kritik öneme sahip olduğu görülüyor. Beceri envanteri bu alanı derinlemesine incelemeli. Uzun vadede ise yöneticilerin kör noktalardan kaçınmak için bu becerilere sahip kişileri işe alması gerekiyor.

Gerek teknoloji gerek iş dünyası liderleri, YZ kullanımında en iyi sonucu almayı umarak gergin bir şekilde volta atarken çok fazla zaman kaybetti. İstatistiksel yöntemler, mevcut otomatik öğrenme yöntemlerini geliştirebilir ve güven aşılayan çıkarımlara— umuda değil bilime dayalı çıkarımlara—bir temel sağlanmasına yardımcı olabilir.

Thomas C. Redman: Data Quality Solutions'ın başkanı ve People and Data: Uniting to Transform Your Organization [İnsanlar ve Veriler: Organizasyonunuzu Dönüştürmek için Birleştirmek] (KoganPage, 2023) kitabının yazarı.

Roger W. Hoerl: New York Schenectady'deki Union College'da Brate-Peschel İstatistik Profesörü ve Leading Holistic Improvement With Lean Six Sigma 2.0, 2nd ed. [Lean Six Sigma 2.0 ile Bütüncül İyileştirmeye Öncülük Yapmak, 2. baskı] (Pearson FT Press, 2018) kitabının Ronald D. Snee ile birlikte ortak yazarı.