YEKLABS / Yapay zekâ
Şirket dokümanlarına soru soran bir yapay zekâ asistanı nasıl denenir?
YekLabs ·
Doküman asistanını tek bir ekibin sık sorduğu sorularla deneyin. Güncel ve erişimi tanımlı bir kaynak kümesi seçin. Yanıtın doğruluğunu, gösterdiği kaynağı ve yetkisiz içeriği açığa çıkarıp çıkarmadığını ayrı ayrı kontrol edin.
Sınırı belli bir kaynak kümesi seçin
Bir destek ekibinin güncel işlem rehberi ve ürün yardım dokümanlarıyla başladığını düşünün. Her doküman için sahibini, son güncelleme tarihini ve kimlerin erişebildiğini kaydedin. Aynı kuralın eski ve yeni kopyaları varsa hangisinin geçerli olduğunu belge sorumlusuyla netleştirin.
Erişimi asistanın kullandığı kaynaklarda da uygulayın. Bir destek çalışanı finans belgesine erişemiyorsa, asistanın araması ve yanıtı da o belgeden bilgi getirmemeli. Aynı soruyu farklı yetki profillerinde deneyerek hem yanıt metnini hem kaynak bağlantılarını kontrol edin.
Üç tip soru hazırlayın
İlk grupta dokümanda açıkça yanıtlanan sorular olsun. Örneğin “Bir destek kaydı hangi bilgilerle açılır?” İkinci grupta iki dokümanın birlikte yorumlanmasını gerektiren sorular bulunsun. Üçüncü grupta cevabı bulunmayan veya kullanıcının erişemediği sorular olsun.
Beklenen yanıtı ve doğru belge bölümünü denemeden önce yazın. Değerlendirici her yanıt için metnin doğruluğunu, kaynağın iddiayı destekleyip desteklemediğini ve izin sınırını kaydetsin. Bilgi eksikse asistanın ilgili ekibe yönlendirebilmesi de bir başarı ölçütü olabilir.
Pilotu günlük bir işte sınayın
Önce kapalı bir kullanıcı grubuyla çalışın. Belge aramak için harcanan süreyi örnek görevlerde ölçün ve sonuçları asistanla yapılan aynı görevlerle karşılaştırın. Belirsiz veya güncelliğini yitirmiş yanıtları belge sahibine gönderin. Pilot sonunda hangi soruların kapsamda kalacağına bu kayıtlardan karar verin.
Kontrol listesi
- Her kaynak için bir sahip ve erişim kuralı var mı?
- Yanıtın dayandığı belge bölümü kontrol edilebiliyor mu?
- Yanıtsız ve yetkisiz sorular da pilotta deneniyor mu?