Yapay zekâ "bilmiyorum" diyebilmeli
Kurumsal bir asistanın en tehlikeli anı, bilmediği bir şeyi biliyormuş gibi söylediği andır. Bu yüzden ilk kurduğumuz şey daha iyi cevaplar değil — yanlış cevabı fark eden bir katman oldu.
Emin görünen yanlış
Büyük dil modelleri akıcı ve kendinden emin yazar. Bir bakım teknisyeni "rotor kaç saatte değişmeli?" diye sorduğunda, uydurulmuş bir sayı doğru sayı kadar ikna edici görünür. Aradaki fark ekranda değil sahadadır: biri makineyi kurtarır, diğeri durdurur.
Tüketici sohbetinde yanlış cevap can sıkar. Üretim sahasında yanlış cevap para, zaman ve bazen güvenlik kaybettirir. O yüzden bizim için "ne kadar akıllı" sorusundan önce gelen soru şuydu: sistem, emin olmadığında bunu söyleyebiliyor mu?
Dört küçük parça
Güven, tek bir büyük özellikle gelmiyor; birbirini tutan küçük parçalarla geliyor:
- Atıf [n]. Her iddianın yanında, hangi belgeden geldiğini gösteren bir numara. Kaynağı görebiliyorsan, doğrulayabilirsin.
- Güven skoru. Cevap ne kadar sağlam zemine oturuyor — kaç belgeye dayanıyor, örtüşme ne kadar güçlü. Düşükse, kullanıcı bunu baştan bilir.
- "Bilmiyorum" durumu. Dayanak yoksa asistan uydurmaz; "Bu konuda elimde doküman yok" der. Boş cevap, yanlış cevaptan iyidir.
- Çelişki bayrağı. İki belge birbiriyle çelişiyorsa, asistan birini seçip diğerini gizlemez — çelişkiyi işaretler ve kararı kullanıcıya bırakır.
Neden "az" bazen daha iyidir
Bu katman bazı cevapları kısaltır, bazılarını "bilmiyorum"a çevirir. İlk bakışta ürün biraz "daha az akıllı" görünebilir. Ama sahada güven, akıllılıktan önce gelir: bir kez uydurma yakalayan teknisyen, o sisteme bir daha güvenmez.
En iyi cevap, doğru cevap değil; sınırını bilen cevaptır.
Ölçtüğümüz somut etki basitti: kullanıcıların "bunu nereden biliyorsun?" sorusu azaldı, çünkü cevap zaten kaynağını yanında taşıyordu. Bir asistanın "bilmiyorum" diyebilmesi, onu zayıf değil — güvenilir yapar.