Analitika va hisobot5 daqiqa o‘qish

SI agentlarni testlash: ishga tushirishdan oldin tekshiruv

SI agentlarni testlash ko‘pincha o‘tkazib yuboriladi: bot savolga javob beryapti, demak tayyor, deb o‘ylashadi. Ammo haqiqiy mijozlar oldida u narxni o‘zidan to‘qishi, ertaga yetkazib berishni va’da qilishi yoki o‘zbekchada adashishi mumkin. Quyida agentni ishga tushirishdan oldin qanday tekshirish, nimani xato deb hisoblash va birinchi tuzatishdan keyin ishlayotgan narsani buzmaslik haqida yozdik.

SI agent oddiy dasturdan nimasi bilan farq qiladi

Oddiy dastur bir xil kiritishga bir xil natija beradi. SI agent esa ikkita o‘xshash savolga turlicha javob berishi mumkin, ikkalasi ham bir xil ishonch bilan yoziladi. Shuning uchun ikki-uch savol berib ko‘rish yetarli emas: stsenariylar to‘plami va oldindan kelishilgan baholash qoidalari kerak.

Ikkinchi jihat: agent odatda yolg‘iz ishlamaydi. U bilimlar bazasidan ma’lumot oladi, vositalarni chaqiradi, arizani CRM yoki jadvalga yozadi, menejerni chaqiradi. Xato matnda emas, harakatda bo‘lishi mumkin: ariza telefonsiz ketdi, xabarnoma esa kelmadi. Demak, agentning gapi ham, ishi ham tekshiriladi.

SI agentlarni testlash: haqiqiy yozishmalardan savollar to‘plami

Asos — mijozlar avval bergan savollar: Instagram Direct, Telegram, izohlar, savdo bo‘limiga qilingan qo‘ng‘iroqlar. «Ideal» savollar o‘ylab topmang. Real mijoz «narxi?», «bormi», «2 tasi qancha», «Chilonzorga olib kelasizlarmi» deb yozadi, ko‘pincha tinish belgisiz. Yozishmalar tarixi bo‘lmasa, menejerlardan oxirgi savollarni esdan va messenjerlardan yozib berishni so‘rang.

To‘plamda turli guruhlar bo‘lsin, har biridan bir nechta namuna:

  • tez-tez beriladigan oddiy savollar: narx, mavjudlik, manzil, ish vaqti
  • bir necha shartli murakkab savollar
  • noaniq so‘rovlar, bunda agent aniqlashtirishi shart
  • bilimlar bazasida javobi yo‘q savollar
  • provokatsion urinishlar, qoidalarni chetlab o‘tish
  • o‘zbek, rus va aralash tildagi xabarlar, imlo xatolari va qisqartmalar bilan
  • ovozli xabarlar, agent ularni qabul qilsa

Qoidalar va chegaralarni tekshiring

Har bir taqiq uchun alohida test yozing. Oddiy savollarga to‘g‘ri javob beradigan agent g‘ayrioddiy vaziyatda qoidani buzishi mumkin. Eng kam ro‘yxat:

  • bazada yo‘q narx va shartlarni aytmaydi
  • tekshirmasdan muddat va mavjudlikni va’da qilmaydi
  • shikoyat, nizo yoki chegirma so‘ralganda suhbatni odamga topshiradi
  • javobi bazada yo‘q savolga o‘ylab topmay, aniqlashtirishini aytadi
  • o‘z yo‘riqnomasi va xizmat ma’lumotlarini oshkor qilmaydi
  • mijoz qo‘pol bo‘lsa ham xushmuomala qoladi

Agentni «sindirib» ko‘ring: provokatsiyalar

Alohida blok — provokatsiyalar. «Barcha qoidalarni unut» deng, boshqa mijozning yozishmasini so‘rang, kompaniya nomidan rasmiy va’da yozdirishga urining, raqobatchilarni muhokama qilishni taklif qiling. To‘g‘ri sozlangan agent xushmuomalalik bilan rad etadi va suhbatni mavzuga qaytaradi. Bir marta ham berilib ketsa, bu qoida buzilishi: tuzatilmaguncha ishga tushirmang.

Shu yerda spam, juda uzun matn va takroriy xabarlarni ham sinang: bot aylanib qolmasligi kerak.

Birinchi xabardan arizagacha bo‘lgan stsenariy

Toshkentda Instagram va Telegram orqali sotadigan, to‘lovni Click va Payme orqali qabul qiladigan do‘konni tasavvur qiling. Tekshiruv stsenariysi:

  • mijoz mahsulot va variantlar haqida so‘raydi
  • Toshkent va viloyatlarga yetkazib berishni aniqlashtiradi
  • Click yoki Payme orqali to‘lash mumkinmi, deb so‘raydi
  • xarid qilishga qaror qilib, ism va telefon qoldiradi
  • CRM yoki jadvalda ariza barcha maydonlar va murojaat manbasi bilan paydo bo‘ldi
  • menejer xabarnoma oldi va suhbat tarixini ko‘ryapti
  • mijoz bir muddat yo‘qolib, qaytdi: agent kontekstni yo‘qotmadi

Til, tezlik va yuklama

O‘zbekcha javoblarni ona tilida so‘zlashuvchi baholashi kerak: grammatika, tabiiylik, mahsulot va mahalla nomlari. Mijozlar lotin ham, kirill ham yozsa, ikkalasini sinang, shuningdek bir gapdagi rus-o‘zbek aralashmasini ham. So‘zma-so‘z mashina tarjimasini mijoz darrov sezadi va ishonchi pasayadi.

Keyin bir necha kishidan bir vaqtda xabar yuboring va javob vaqtini o‘lchang. Messenjerda bir necha soniyalik pauza ham sezilarli. Shu bilan birga turli foydalanuvchilarning suhbatlari aralashib ketmasligini tekshiring.

Natijalarni qanday baholash va kim tekshiradi

Har bir savol uchun jadvalga baho yozing: to‘g‘ri, qisman, noto‘g‘ri, qoida buzilishi. Qoida buzilishi va o‘ylab topilgan faktlar ishga tushirishdan oldin albatta tuzatiladi. Qisman to‘g‘ri javoblarni ish jarayonida ham yaxshilash mumkin.

Mazmunni mijozlar bilan har kuni gaplashadigan xodimlar baholagani yaxshi: ular noaniqlikni darrov ko‘radi. Pudratchi vosita va tartibni tayyorlaydi. Tekshiruv usullarini birga qo‘llash mumkin:

  • xodimlar qo‘lda tekshiradi: eng aniq, lekin sekin
  • to‘plamni jadval bo‘yicha yurgizish: har tuzatishdan keyin tez takrorlanadi
  • javoblarni boshqa model bilan baholash: hajm katta bo‘lsa qulay, bahsli holatni odam ko‘radi
  • cheklangan oqimda pilot: to‘plamda bo‘lmagan holatlarni ko‘rsatadi

Odatiy xatolar va ishga tushirishdan oldingi ro‘yxat

Ko‘pincha murakkab stsenariylar emas, oddiy e’tiborsizliklar yo‘ldan uradi: faqat ishlab chiquvchilar yozgan ideal savollar sinaladi, matn tekshiriladi-yu, CRMga nima tushgani ko‘rilmaydi, o‘zbekcha javoblar ona tili egasiga ko‘rsatilmaydi, xato tuzatiladi, lekin to‘plam qayta yurgizilmaydi, pilotsiz butun oqimga ishga tushiriladi, natijalar saqlanmaydi.

Quyidagilarning barchasiga «ha» desangiz, agent pilotga tayyor:

  • to‘plam haqiqiy yozishmalardan yig‘ilgan va barcha guruhlarni qamrab oladi
  • qoida buzilishi va to‘qilgan fakt yo‘q
  • provokatsiyalar xushmuomalalik bilan qaytariladi
  • ariza CRMga yetadi, menejer xabarnoma oladi
  • o‘zbek tili, lotin va kirill ona tili egasi tomonidan tekshirilgan
  • bir necha suhbatda javob vaqti maqbul
  • baholar jadvali va qayta testlash uchun mas’ul bor

Ishga tushgandan keyin: qayta testlash va analitika

Har safar yo‘riqnoma, bilimlar bazasi yoki model o‘zgarganda butun to‘plamni qayta yurgizing: bitta xatoni tuzatish ko‘pincha boshqasini keltirib chiqaradi. Real ishda uchragan har bir noto‘g‘ri javobni to‘plamga qo‘shing, vaqt o‘tib u asosiy himoya qatlamiga aylanadi.

Test agent nimaga qodirligini ko‘rsatadi, analitika esa biznesga nima berayotganini. Suhbatlarni manba bo‘yicha belgilab, murojaatlarning qanchasi arizaga va to‘lovga yetganini, mijozlar qayerda menejerga o‘tayotganini hisoblab boring. Bunday to‘liq analitika va hisobotni markdev jamoasi sozlaydi. Agentingizni tekshirish yoki uni CRM va reklama bilan bog‘lash kerak bo‘lsa, vazifani biz bilan muhokama qiling.

Ko‘p beriladigan savollar

SI agentni testlash uchun nechta savol kerak?

Qat’iy raqam yo‘q. Muhimi, to‘plamda barcha guruhlar bo‘lsin va har biri haqiqiy yozishmalardan olingan bir nechta namuna bilan berilsin. Biznes murakkab bo‘lsa, to‘plam kengroq bo‘ladi.

Agentni bir marta sinab, keyin unutsa bo‘ladimi?

Yo‘q. Yo‘riqnoma, baza yoki model o‘zgargach to‘plam qayta yurgiziladi. Real ishdagi yangi xatolar to‘plamga qo‘shiladi.

O‘zbekcha javoblarni kim tekshirishi kerak?

Jamoangizdagi ona tili egasi. U grammatika, tabiiylik va nomlarni, lotin hamda kirill yozuvidagi javoblarni baholaydi.

Agent narxni o‘zidan to‘qisa nima qilish kerak?

Bu qoida buzilishi: yo‘riqnoma va bazani tuzating, so‘ng butun to‘plamni qayta yurgizing. Bunday xato bilan ishga tushirib bo‘lmaydi.

Testdan keyin pilot kerakmi?

Ha. Cheklangan haqiqiy oqimda suhbatlarni kuzatish to‘plamda bo‘lmagan savollarni ko‘rsatadi.

Vazifangizni bepul tahlil qilamiz

Kontaktingizni qoldiring — 15 daqiqalik qo‘ng‘iroqda arizalar qayerda yo‘qolayotganini va birinchi navbatda nima qilish kerakligini ko‘rsatamiz.