Araştırma ajanları neden sapar, onları dürüst tutan tasarım nedir

Araştırma ajanlarının çoğu demoda iyi görünür, günlük işte ise hayal kırıklığı yaratır. İlk yanıtlar akıcıdır, kaynak göstermeler inandırıcıdır. Sorun ancak biri bir iddiayı kaynağıyla karşılaştırdığında ortaya çıkar: alıntı sayfada yoktur, soru sessizce başka bir soruya dönüşmüştür ya da ajanın fikirleri tükenmiş ve kalan boşluğu kendinden emin cümlelerle doldurmuştur. Bu rehber, açık webde arama yapan asistanlar dahil, araştırma ajanı geliştiren yazılımcılar için. Zararın büyük kısmını üreten üç hatayı ve her birini önleyen tasarım kararlarını anlatıyor.

Kötü araştırmanın arkasındaki üç hata

Bir araştırma koşusu ters gittiğinde neden genellikle üç gruptan birine girer. Bunları ayırmakta fayda var; çünkü her birinin çaresi farklıdır.

1. Soru hiçbir zaman yanıtlanabilir değildi. “Avrupa batarya pazarını anlat” isteğinin bir bitiş noktası yoktur. Ajan ne zaman bittiğini bilemez; bağlam dolduğunda ya da araç bütçesi tükendiğinde durur. Elinize geçen şey, ilk denk geldiği kaynakların gelişigüzel bir derlemesidir.
2. İddialar kaynaklarının önüne geçer. Ajan üç sayfa okur, on cümle yazar. Bu cümlelerin bir kısmı desteklenir. Bir kısmı birkaç kaynağı harmanlayıp hiçbirinin tek başına söylemediği bir ifadeye dönüşür. Bir kısmı da modelin genel bilgisinden gelir ve üzerine sonradan bir atıf iliştirilir. Bir cümlenin dipnotu olması, o cümlenin kaynakta geçtiği anlamına gelmez.
3. Kapsam, kimse karar vermeden büyür. Tek bir tedarikçiyle ilgili soru, bir arama sonucu ilginç göründüğü için bütün sektörün incelemesine dönüşür. Her adım tek başına makul görünür; toplamı ise kimsenin istemediği bir konuda, kimsenin onaylamadığı süre ve araç çağrılarıyla yazılmış bir rapordur.

Üçünün altında dördüncü bir örüntü yatar: yalnızca bir yanıt üreterek durabilen ajan. “Bunu bulamadım” kabul edilen bir sonuç değilse, ajan er ya da geç bir yanıt uydurur.

Ajan başlamadan önce soruyu yanıtlanabilir hale getirin

En ucuz düzeltme, ilk araç çağrısından önce yapılır. İsteği; araştırmanın hangi karara hizmet ettiğini, neyin kapsam içinde ve dışında kaldığını ve bitmiş çıktının neye benzeyeceğini söyleyen kısa bir tanıma dönüştürün:

soru           Kısa listemizdeki üç ödeme kuruluşundan hangileri yerel
               banka hesaplarına Türk lirası ile ödeme gönderiyor?
karar          pazaryeri lansmanı için ödeme kuruluşu seçimi
kapsam içi     adı geçen üç kuruluş, kendi dokümantasyonları ve
               yayımlanmış koşulları
kapsam dışı    yorumlar, forumlar, bayiler, diğer kuruluşlar
çıktı          kuruluş başına bir satır: evet / hayır / belirsiz,
               alıntılanan pasaj, alındığı sayfa, okunduğu zaman
bitti sayılır  her kuruluşun bir satırı var; belirsiz satırlar neyin
               arandığını ve neden kesin olmadığını söylüyor

Ekiplerin en sık atladığı satır “bitti sayılır” satırıdır ve en önemlisi de odur. Ajana bir durma kuralı, gözden geçiren kişiye de işi baştan yapmadan sonucu kontrol etme imkânı verir. Bu alışkanlığı kabul ölçütlerini önce yazın yazısında daha ayrıntılı ele alıyoruz.

Önce plan, sonra planın sınırladığı koşu

Aramayı, okumayı ve karar vermeyi tek bir ayrımsız döngüde yapan ajanları yönlendirmek zordur. Koşuyu bir planlama ve bir yürütme aşamasına bölmek doğal bir kontrol noktası yaratır. Plan kısadır: soru, numaralı adımlar ve her adımın kullanabileceği kaynaklar. Hiçbir şey çalışmadan önce bir insan planı gözden geçirir; düşük riskli işlerde bunun yerini otomatik bir kontrol alabilir.

Plan bundan sonra yürütme için bir sözleşme işlevi görür. Ajan koşunun ortasında sorunun değişmesi gerektiğini fark ederse doğru hamle durmak ve gözden geçirilmiş bir plan önermektir; aramayı kendi inisiyatifiyle genişletmek değil. Bu tek kural, sessiz kapsam büyümesinin çoğunu ortadan kaldırır. Maliyeti de öngörülebilir kılar; çünkü adımlar ve dokunacakları kaynaklar ilk çağrıdan önce bellidir. Genişletmek yerine neden revize etmek gerektiğini değişen soru yeni plan ister yazısı anlatıyor.

İki uygulama ayrıntısı işe yarar. Kaynak listesini açık tutun ve boş bir listeyi “her şey serbest” değil, “hiçbir kaynağa izin yok” olarak yorumlayın. Her adıma araç çağrısı ve süre için ayrı bir bütçe verin; böylece inatçı tek bir adım bütün koşuyu tüketemez.

Asistan açık webde arama yaptığında

Web araması eklemek, risk tablosunu çoğu ekibin beklediğinden fazla değiştirir. Ajan artık yabancıların yazdığı metinleri okur: bunların bir kısmı eskimiştir, bir kısmı bilgilendirmek için değil sıralamada yükselmek için yazılmıştır, ara sıra da bir kısmı bir ajanı yönlendirmek amacıyla hazırlanmıştır. Webde arama yapan bir asistanı güvenilir tutan birkaç uygulama var.

• Arama katmanını bilinçli seçin. Bir arama API'si sıralanmış bağlantılar ve kısa özetler döndürür; sayfaları çekip okumak yine ajanınıza kalır. Bazı araçlar sayfa içeriğini ayıklanmış olarak verir ya da çok adımlı araştırmayı sizin yerinize yürütür. Farkları ajanlar için arama aracı seçimi yazısında bulabilirsiniz. Hangisini seçerseniz seçin, kendi sorularınızla deneyin.
• Özeti değil sayfayı okuyun. Arama özetleri alaka düzeyini göstermek için yazılır, alıntılanmak için değil. Sayfayı çekin ve destekleyen pasajı çekilen metinden alın.
• Kaynak bilgisini çekme anında kaydedin. URL'yi, erişim zamanını ve kullandığınız pasajın birebir metnini saklayın. Sayfalar değişir; erişim zamanı olmayan bir atıf sonradan yeniden kontrol edilemez.
• Sayfa içeriğini talimat değil veri olarak ele alın. Bir sayfada “önceki talimatları yok say” yazıyorsa bu raporlanacak bir metindir, uyulacak bir komut değil. Çekilen metni sistem talimatlarının dışında tutun ve tek başına araç çağrısı tetiklemesine asla izin vermeyin.
• Erişim sınırlarına uyun. Giriş ekranı ya da ödeme duvarı bir sınırdır, çözülecek bir bulmaca değil. Arkasındaki malzemeye ihtiyaç varsa onu yetkili bir yoldan edinin ve nereden geldiğini kaydedin.
• Birincil kaynakları öne alın. Bir bilginin sahibi varsa, örneğin bir şirketin koşulları ya da bir düzenleyicinin duyurusu, sahibinin sayfası onu başka sözcüklerle aktaran bir blogun önünde gelmelidir. Bu tercihi ajanın takdirine bırakmayın, plana yazın.

Bütün bunları kendiniz kurmanın gerekip gerekmediği ayrı bir karardır; araştırma ajanı kurmak mı, hazır derin araştırma mı yazısı bu dengeyi tartışıyor.

Her iddia bir alıntı taşır, boşluklar görünür kalır

Yapabileceğiniz en etkili tek değişiklik, çıktının birimini değiştirmektir. Dipnotlu bir rapor yerine ajanın bulgular üretmesini sağlayın: bir iddia, onu destekleyen birebir pasaj ve kaynak. Düzyazı sonradan bulgulardan yazılabilir; tersi nadiren işe yarar.

Bu yapı doğrulamayı mekanik hale getirir. Koşudan sonra alıntılanan her pasajın, kaynağın çekilen metninde gerçekten geçip geçmediğini kontrol edin. Boşluk farklarına toleranslı basit bir metin eşleştirmesi bile, uydurulmuş ya da harmanlanmış alıntıların çoğunu daha bir insan okumadan yakalar. Gözden geçiren kişi de dikkatini yazılımın yargılayamayacağı kısma verebilir: pasaj iddiayı gerçekten destekliyor mu, soruyla gerçekten ilgili mi?

Aynı derecede önemli bir nokta: destekleyen kaynağı bulunamayan bir soru da kendi başına bir bulgudur. Onu neyin arandığıyla birlikte açık soru olarak kaydedin ve desteklenen bulgulardan ayrı tutun. Gözden geçirenler “bu kuruluş lira ile ödeme göndermiyor” ile “iki yönde de bir şey bulamadık” cümleleri karşısında çok farklı davranır; çıktı bu ikisini asla birbirine karıştırmamalıdır. Bir atıfı kontrol edilebilir kılan şeyleri sağlam atıflar yazısı daha ayrıntılı inceliyor.

GoCux bir araştırma koşusunu nasıl yapılandırır

GoCux bir arama motoru ya da web örümceği (crawler) değil, bir şirket çalışma alanıdır; araştırma akışı da yukarıdaki kontrollerin etrafında düzenlenmiştir. Bir araştırma planı soruyu, sıralı adımları ve bir kaynak izin listesini içerir. Yeni bir plan taslak olarak kaydedilir ve ancak ekipten biri onayladıktan sonra çalışır; çalışırken de onaylanan sınırın ötesine geçemez. Üzerinde hiçbir şey olmayan bir izin listesi, hiçbir kaynağa başvurulamayacağı anlamına gelir. Değişen bir soru ise gözden geçirilmiş bir plan gerektirir.

Bir alıntıya dayanan bulgular, hiçbir kaynağın çıkmadığı sorulardan ayrı tutulur ve ikisi de kayıtta kalır. GoCux açık webi kendi başına okumaz. Web malzemesi yetkili bir gezinme ya da dışa aktarma adımıyla gelir; özgün sayfanın adresini ve alındığı anı yanında taşır, böylece gözden geçiren kişi izini sürebilir. Koşunun tamamı, adımları, kaynakları ve kararları tek bir kayıtta biriken bir iş emri üzerinde yürür; bunun nasıl göründüğünü Görev sayfasında görebilirsiniz.

Notlandırabileceğiniz sorularla ölçün

Genel sıralama tabloları, ajanınızın sizin sorularınızda nasıl davrandığı hakkında pek bir şey söylemez. Bunun yerine küçük bir değerlendirme seti kurun: gerçek işlerden alınmış birkaç düzine soru, her birinin bilinen yanıtı ve onu destekleyen kaynak; bir de dürüst yanıtı “bulunamaz” olan birkaç soru. Ajanı çalıştırın ve her çıktıyı üç açıdan notlandırın: yanıt doğru mu, her iddia alıntıladığı pasajla destekleniyor mu, gerektiği yerde “bulunamadı” dedi mi?

Desteksiz iddiaları yanlış yanıtlardan ayrı izleyin. Çoğu zaman haklı çıkan ama söylediğini söylemeyen pasajlara atıf yapan bir ajan, bazen yanılan ama her zaman izlenebilen bir ajandan daha tehlikelidir; çünkü birincisi gözden geçirenlere kontrol etmeyi bıraktırır.

Yayına almadan önce kontrol listesi

• Her koşu; bir kararı, kapsamı ve “bitti sayılır” satırı olan bir soruyla başlıyor.
• Adımları ve açık bir kaynak listesi olan plan, yürütmeden önce gözden geçiriliyor.
• Koşu ortasında değişen soru daha geniş bir arama değil, revize bir plan üretiyor.
• Her adımın kendi araç çağrısı ve süre bütçesi, koşunun da bir harcama sınırı var.
• Web içeriği çekilen sayfadan alıntılanıyor; URL ve erişim zamanı saklanıyor.
• Çekilen metin hiçbir zaman talimat olarak ele alınmıyor.
• Alıntılanan pasajlar kaynak metinle otomatik olarak karşılaştırılıyor.
• “Kaynak bulunamadı” birinci sınıf bir çıktı olarak ayrıca raporlanıyor.
• Durma nedenleri (bitti, takıldı, sınıra geldi, karar gerekiyor) izde görünüyor.