Ajan aramasında duyarlılık ve doğruluk: kendi işinizde nasıl ölçülür

Hangi arama API'sinin en yüksek duyarlılığa ve doğruluğa sahip olduğunu sorduğunuzda kendinden emin yanıtlar alırsınız; çoğu da sağlayıcıların kendisinden gelir. Dürüst yanıt şu: bu sorunun genel bir çözümü yok. Duyarlılık ve doğruluk, bir arama sisteminin belirli bir soru kümesinde, neyin alakalı sayılacağına dair belirli bir tanıma göre gösterdiği özelliklerdir. Soruları ya da değerlendiriciyi değiştirirseniz sıralama da değişir. Bu yazı, aramayı bir insan değil bir ajan yaptığında bu iki kavramın ne anlama geldiğini, yayımlanan rakamların neden yan yana konamadığını ve ikisini gerçekten yapılması gereken iş üzerinde nasıl ölçebileceğinizi anlatıyor.

Duyarlılık, kesinlik ve doğruluk ayrı sorulardır

Tanıtım metinlerinde üç kavram birbirine karışır. Bunları ayrı tutmak işin büyük kısmıdır.

• Duyarlılık (recall) şunu sorar: var olan alakalı malzemenin ne kadarını sistem getirdi? Sorunuzu yanıtlayan kırk belge varsa ve arama bunların otuzunu gösteriyorsa duyarlılık kırkta otuzdur. Kimse sınırsız bir listeyi okumadığı için genellikle bir kesme noktasında ölçülür; örneğin ilk on sonuçta.
• Kesinlik (precision) tersini sorar: gelenlerin ne kadarı alakalıydı? On sonuçtan yedisi işe yarıyorsa o kesme noktasında kesinlik onda yedidir.
• Doğruluk (accuracy) yapay zekâ aramasında çoğu zaman başka bir şeyi anlatır: nihai yanıt doğru muydu? Pek çok yapay zekâ arama ürünü liste yerine yazılı bir yanıt döndürür ve yayımladıkları rakamlar arkadaki erişimi değil, o yanıtı puanlar.

Ajanlar için iki özellik daha önemlidir. Kaynağa sadakat: yanıttaki her iddia, gösterdiği kaynakta gerçekten geçiyor mu? Çekimser kalabilme: alakalı hiçbir şey yokken sistem bunu söylüyor mu, yoksa makul görünen bir şey mi üretiyor? Bir sistem, cümlelerini desteklemeyen sayfalara atıf yaptığı hâlde yanıt doğruluğunda iyi puan alabilir; sonucu değiştirecek tek belgeyi sessizce kaçırırken de kesin görünebilir.

Arayan bir ajan olunca duyarlılık neden daha çok önem kazanır

Arama yapan bir insan sonuç sayfasını okur, eksik olanı fark eder ve yeniden dener. Ajan da bunu yapabilir; ama yalnızca ihtiyaç duyduğu malzeme gördüğü sonuçların bir yerinde belirirse. Düşük duyarlılık sessizce başarısız olur: ajan bulduğu kaynaklardan akıcı bir özet yazar ve daha önemli bir kaynağın var olduğunu hiç öğrenmez. Durum tespiti, mevzuat kontrolü ya da ölçütlere uyan şirketlerin listesini çıkarmak gibi işlerde eksik kalan kalem çoğu zaman en pahalı olanıdır.

Ajanlar duyarlılığın ölçüldüğü yeri de değiştirir. Tek bir sorgu dar bir küme döndürebilir; ama sorguyu beş kez yeniden kuran bir ajan alakalı belgeye yine de ulaşabilir. Bu yüzden ölçmeye değer iki düzey vardır: tek bir aramanın getirdiğini gösteren sorgu düzeyinde duyarlılık ve ajan durana kadar bütün arama döngüsünün topladığını gösteren görev düzeyinde duyarlılık. Sorgu başına zayıf görünen bir sağlayıcı, sonuçları ajanın sorguyu yeniden kurmasına yardım ediyorsa görev düzeyinde iyi iş çıkarabilir; sorgu başına güçlü bir sağlayıcı da erken duran bir ajanın elinde boşa gidebilir. Döngünün kendisini ajan tabanlı arama sayfası anlatıyor.

Ajan işinde kesinliğin de bir bedeli var. Alakasız her pasaj bağlam penceresinde yer kaplar ve modele yanlış aktarabileceği bir malzeme verir. Kesinliği düşük bir yüksek duyarlılık daha uzun, daha pahalı ve daha gürültülü bir bağlam demektir; bu yüzden makul hedef çoğu zaman her uzunlukta en yüksek duyarlılık değil, küçük bir kesme noktasında iyi duyarlılıktır.

Sağlayıcı rakamları neden kıyaslanamıyor

Yayımlanan rakamlar mutlaka yanlış değildir; yalnızca başlığın ima ettiğinden daha dar bir soruyu yanıtlarlar. İki rakamı yan yana koymadan önce şunlara bakın:

• Hangi sorular. Açık kıyaslama setleri birbirinden çok farklıdır. Örneğin SimpleQA, tek doğru yanıtı olan kısa olgusal sorulardan oluşur; BrowseComp, bulunması kasıtlı olarak zor olgulara odaklanır; BEIR gibi erişim koleksiyonları belge sıralamasını pek çok alanda ölçer. Birine göre ayarlanmış bir sistem diğeri hakkında az şey söyler ve hiçbiri sizin iş yükünüz değildir.
• Hangi düzey puanlanıyor. Bazı rakamlar getirilen belgeleri, bazıları üretilen yanıtı, bazıları da üstünde kendi akıl yürütmesi olan bütün bir ajanı puanlar. Bunlar aynı ölçüm değildir.
• Alakayı kim değerlendirdi. İnsan işaretleyiciler mi, değerlendirici rolündeki bir model mi, yoksa bir yanıt anahtarı mı? Model değerlendiriciler pratiktir ama kendi eğilimleri vardır; akıcı yanıtlara karşı hoşgörülü olmak bunlardan biridir.
• Duyarlılık nasıl tanımlandı. Gerçek duyarlılık, alakalı belgelerin tam kümesini gerektirir; açık web için kimsede böyle bir küme yoktur. Değerlendirmeler bunu yaklaşık olarak hesaplar, çoğu zaman havuzlama yoluyla: birkaç sistemin sonuçları toplanır ve birleşik küme değerlendirilir. Diğerlerinin bulamadığı belgeleri bulan bir sistem bu yöntemde hak ettiğinden az puan alabilir.
• Kesme noktası, ayarlar ve tarih. İlk beş mi ilk yirmi mi, tam sayfa içeriğiyle mi içeriksiz mi, hangi filtrelerle, ne zaman koşulmuş? Web sonuçları değişir; aylar önceki bir koşu farklı bir dizini anlatır.
• Kim koştu. Sağlayıcının seçtiği sette, sağlayıcının ayarladığı parametrelerle, sağlayıcının yaptığı bir değerlendirme bir sonuç değil, bir başlangıç varsayımıdır. Herkesin koşuyu tekrarlayabilmesi için sorguların, değerlendirmelerin ve ham çıktıların yayımlanıp yayımlanmadığına bakın.

Sizin uygulamanız için “en güçlü” ne demek olmalı

Yapay zekâ için en güçlü arama API'si listeleri genellikle pek çok özelliği tek bir sıralamaya sıkıştırır. Güç tek bir eksen değildir; bir ajan için birkaç özelliğin bileşimidir:

Son dakika haberleri için en yetenekli araç, eksiksiz şirket listeleri için kötü bir seçim olabilir; tersi de geçerlidir. Kimsenin sıralamasını okumadan önce bu boyutları kendi işiniz için ağırlıklandırın. Belirleyici kısıt gecikmeyse gecikmeye duyarlı uygulamalar için arama yazısına, seçim sürecinin bütünü için yapay zekâ ajanları için arama aracı seçmek yazısına bakın.

Duyarlılık ve doğruluğu kendi işinizde ölçmek

İşe yarar bir değerlendirme birkaç güne sığar ve neyi ölçtüğünü tam olarak bildiğiniz için savunabileceğiniz rakamlar üretir.

1. API'yi değil görevi seçin. Ajanın ne üretmesi gerektiğini tek cümleyle yazın; örneğin: “Ürün kategorimizden söz eden, son çeyrekte yayımlanmış her düzenleyici duyurusunun listesi, her biri için kaynak sayfasıyla.”
2. Bir altın küme kurun. O görevden birkaç düzine gerçek soru alın. Her biri için dikkatli bir insanın bulmayı beklediği belgeleri ya da olguları kaydedin. Tam kümeyi bilemediğiniz yerde havuzlayın: her adayı koşun, her birinin bulduğunu ekleyin, birleşik listeyi bir insana değerlendirtin ve duyarlılığınızın bu havuza göre hesaplandığını not edin.
3. İyi yanıtı olmayan sorular ekleyin. Bunlar çekimser kalabilmeyi ölçer; aksi hâlde bu özellik görünmez kalır.
4. İki düzeyde ölçün. Ajanınızın gerçekten okuduğu kesme noktasında sorgu düzeyinde duyarlılık ve kesinlik; her sağlayıcı bağlıyken gerçek ajan döngünüzü koştuktan sonra da görev düzeyinde duyarlılık.
5. Yanıtı erişimden ayrı puanlayın. Her nihai yanıtı doğru, kısmen doğru ya da yanlış olarak işaretleyin, sonra her atfı kontrol edin: gösterilen pasaj, cümlenin iddia ettiğini söylüyor mu?
6. Kör puanlayın ve tekrarlayın. Sağlayıcı adlarını puanlayanlardan gizleyin ve sonuçların ne kadar oynadığını görmek için başka bir gün yeniden koşun.

Benimseyebileceğiniz örnek bir kabul kuralı: “Altın kümedeki her soru için, önemi yüksek olarak işaretlenen her belge ajanın gönderdiği sorgulardan en az birinin ilk on sonucunda görünür; yanıttaki her olgusal cümle atıf yapılan bir pasajla desteklenir; iyi yanıtı olmayan sorular açık bir ‘bulunamadı’ ile biter.” Puanlamanın adım adım işleyişi web aramayı kendi sorgularınızla değerlendirme rehberinde.

Kapsamı çıktıda görünür kılmak

Satın almadan önce ölçmek işin yarısıdır. Diğer yarısı, canlıya çıktıktan sonra duyarlılık boşluklarını her sonuçta görünür kılmaktır; çünkü hiçbir sağlayıcının duyarlılığı her soruda tutmaz. Üç alışkanlık yardımcı olur. Aramanın yanıtlayamadığı soruları atmak yerine ayrı bir listede tutun; gerekçesi eksik kanıt açık bir sorudur yazısında. Neyin arandığını ve neyin aranmadığını raporlayın. Bir sonuç sayısını da kümenin eksiksiz olduğunun kanıtı olarak değil, yalnızca bulunanın tarifi olarak okuyun.

GoCux bu ikinci yarıda işe yarar. GoCux bir arama API'si değildir ve açık webi okumaz; dolayısıyla kısa listenizde bir aday değildir. FindAll eşleşme ölçütlerini ve sütunları alır, her satırın kendi kanıtını taşıdığı bir tablo döndürür ve kapsam sınırlarını yuvarlayıp gizlemek yerine açıkça belirtir; döndürdüğü sayı, hiçbir şeyin kaçmadığının kanıtı olarak sunulmaz. Araştırmada bir alıntıya dayanan bulgular, hiçbir kaynağın bulunamadığı sorulardan ayrı tutulur; bir atıf da kanıtın kendisi değil, inceleyenin kontrol edeceği bir işaret olarak ele alınır. Değerlendirme sayfası, yalnızca yanıtı değil işin kendisini değerlendirmeyi anlatıyor.

Bir duyarlılık ya da doğruluk iddiasına güvenmeden önce doğrulayın

• Rakamın erişimi mi, üretilen yanıtı mı, yoksa bütün bir ajanı mı puanladığını biliyorsunuz.
• Soru kümesi, değerlendirici ve kesme noktası belirtilmiş ve sizin işinize benziyor.
• Koşu tekrarlanabilir: sorgular, değerlendirmeler ve ham çıktılar erişilebilir.
• Duyarlılığı ajanınızın gerçekten okuduğu kesme noktasında, hem sorgu hem görev düzeyinde ölçtünüz.
• Altın kümeniz iyi yanıtı olmayan sorular içeriyor ve çekimser kalabilmeyi puanladınız.
• Atıfların yalnızca varlığına değil, kaynağa sadakatine de baktınız.
• Canlıdaki çıktınız yanıtlanamayan soruları ve kapsam sınırlarını gizlemek yerine listeliyor.