Jak dbamy o jako艣膰 chatbot贸w?

O roli testera w tworzeniu interfejs贸w konwersacyjnych.

W pogoni za聽trendem.

Chatboty przesta艂y by膰 ju偶 tylko technologiczn膮 ciekawostk膮 鈥斅爁irmy coraz cz臋艣ciej i聽ch臋tniej wykorzystuj膮 je w聽komunikacji z聽klientem.

Pojawia聽si臋 coraz wi臋cej publikacji o聽korzy艣ciach, jakie nios膮 dla biznesu interfejsy tekstowe i聽g艂osowe, tworzone s膮 coraz d艂u偶sze listy ich mo偶liwo艣ci, a聽nawet instrukcje step-by-step, jak uruchomi膰 w艂asnego bota na聽Messengerze.

Niewiele jednak informacji mo偶na znale藕膰 o聽istotnym, id膮cym tu偶 za聽chatbotowym trendem wyzwaniu, jakim jest testowanie interfejs贸w konwersacyjnych.

Wyj膮tkowy produkt, wyj膮tkowe podej艣cie.

W przypadku tworzenia serwisu www czy aplikacji mobilnej najpierw okre艣lamy potrzeby biznesowe, p贸藕niej wybieramy rozwi膮zania, kt贸re wizualizujemy na聽makietach i聽projektach graficznych, a偶 w聽ko艅cu 鈥斅燽azuj膮c na聽tych materia艂ach 鈥斅爐worzymy produkty podlegaj膮ce szczeg贸艂owym testom. Rola testera polega na聽鈥斅爓 du偶ym uproszczeniu 鈥斅爓eryfikacji zgodno艣ci tego, co zosta艂o wytworzone, z聽pocz膮tkowymi za艂o偶eniami i聽okre艣lonymi wymaganiami.

Chatboty wymykaj膮聽si臋 wyra藕nie temu procesowi, poniewa偶 jest to rozwi膮zanie, kt贸re w聽du偶ej mierze kszta艂tuje聽si臋 w聽miar臋 jego wykorzystywania. Tester w聽nieunikniony spos贸b staje聽si臋 zarazem 鈥瀟renerem鈥, kt贸ry nie聽tylko weryfikuje, ale te偶 rozwija umiej臋tno艣ci konwersacyjne bota.

Si艂a konwersacyjnej konsekwencji.

Podczas test贸w chatbot贸w szybko zorientowa艂am聽si臋, 偶e wymagaj膮 one ci膮g艂ych, ca艂o艣ciowych usprawnie艅. Mo偶na to por贸wna膰 do聽r贸wnomiernie rozrastaj膮cej聽si臋 korony drzewa. Poprawka w聽jednej ga艂臋zi projektu cz臋sto wymaga usprawnie艅 w聽pozosta艂ych. I聽to nie聽tylko kwestia zale偶no艣ci mi臋dzy tematami, ale przede wszystkim konwersacyjnej konsekwencji.

No艣nikiem rozmowy jest j臋zyk 鈥斅爓 przypadku interfejs贸w g艂osowych zar贸wno ten pisany, jak i聽m贸wiony. W聽wielu kontekstach te dwa rodzaje wypowiedzi nie聽b臋d膮 zawiera艂y tej samej tre艣ci. Bot mo偶e zaprezentowa膰 informacje w聽formie np. tabeli, listy czy instrukcji, nie聽wspominaj膮c ju偶 o聽elementach graficznych czy multimedialnych. Konsekwencja dotyczy wi臋c r贸偶nych sposob贸w komunikacji, kt贸re 鈥斅燾ho膰 odmienne w聽swojej postaci 鈥斅爉usz膮 stanowi膰 sp贸jn膮, naturaln膮 dla u偶ytkownika ca艂o艣膰.

Chatbot dla Desperadosa, kt贸ry obs艂u偶y艂 ponad p贸艂 miliona u偶ytkownik贸w.

Konsekwencja wypowiedzi bota jest istotna w聽stosowaniu chocia偶by cz臋sto specyficznej, bran偶owej terminologii, zwrot贸w grzeczno艣ciowych, zapis贸w wybranych s艂贸w ma艂ymi i聽wielkimi literami, zapis贸w jednostek, numeracji, wylistowa艅. Wybory te oczywi艣cie powinny wpisywa膰聽si臋 w聽zbi贸r zasad poprawnej polszczyzny, ale te偶 by膰 odpowiednio dostosowane do聽grupy docelowej. Konsekwencji wymaga wi臋c tak偶e ustalony styl wypowiedzi.

Automatyzacja przyspiesza proces nauki.

Kluczowym rodzajem test贸w w聽przypadku bot贸w s膮 wi臋c testy regresji. Z聽ka偶dym etapem udoskonale艅, wykorzystaniem kolejnego zbioru fraz treningowych czy wdro偶enia nowej funkcjonalno艣ci nale偶y upewni膰聽si臋, 偶e zmiana nie聽mia艂a negatywnego wp艂ywu na聽pozosta艂e obszary tematyczne. Standardowy proces tworzenia bota obfituje w聽powtarzalne iteracje sprawdzonych test贸w, kt贸re wykrywaj膮 najpowa偶niejsze uchybienia, bazuj膮ce zazwyczaj na聽niew艂a艣ciwym rozpoznaniu intencji.

Ta powtarzalno艣膰 trening贸w jest doskona艂膮 okazj膮 do聽stworzenia macierzy zapyta艅 w聽cyklicznych testach automatycznych. Oszcz臋dza to czas i聽pieni膮dze, kt贸re zosta艂yby wydane na聽偶mudn膮, manualn膮 weryfikacj臋 tych samych scenariuszy testowych. Poza tym przyspiesza i聽rozbudowuje proces treningowy, co z聽kolei zwi臋ksza trafno艣膰 odpowiedzi i聽reakcji chatbota.

Komunikacja to wzajemna nauka.

W interakcji cz艂owiek-maszyna edukacja przebiega obustronnie. Z聽jednej strony doskonalimy chatbota na聽podstawie fraz u偶ywanych przez ludzi 鈥斅爑czymy go przetwarza膰 j臋zyk naturalny. Z聽drugiej strony 鈥斅爎贸wnie偶 cz艂owiek wchodz膮cy w聽interakcj臋 z聽botem uczy聽si臋 efektywnie z聽niego korzysta膰, poznaj膮c jego styl komunikacji i聽logik臋, jak膮 przyjmuje w聽kontakcie.

U偶ytkownik kieruje聽si臋 rozs膮dkiem 鈥斅爉a 艣wiadomo艣膰, 偶e bot jest przede wszystkim u艂atwiaj膮cym mu 偶ycie narz臋dziem. Zreszt膮, pracuj膮c nad baz膮 osobowo艣ci, staramy聽si臋 tego nie聽ukrywa膰 鈥斅爓r臋cz przeciwnie 鈥斅爌odkre艣lamy cz臋sto w聽wypowiedziach jego wyj膮tkow膮, odleg艂膮 od聽ludzkiej natur臋.

Po pierwsze tre艣膰, po drugie forma.

Rozmowa z聽chatbotem umo偶liwia u偶ytkownikowi wprowadzenie wielu r贸偶nych danych wej艣ciowych, nieograniczonych 偶adnym sztywnym zbiorem czy walidacj膮. Mo偶emy co prawda zaw臋偶a膰 ten zbi贸r wiadomo艣ci膮 powitaln膮, podpowiedzi膮, instrukcj膮 czy sugesti膮, jednak ostateczny wyb贸r zawsze nale偶y do聽cz艂owieka. Po stronie chatbota pozostaj膮 reakcje na聽wprowadzane przez rozm贸wc臋 tre艣ci. To w艂a艣nie podczas test贸w tego typu interfejsu odkry艂am, na聽ile sposob贸w mo偶na zapyta膰 o聽z pozoru prost膮 informacj臋, jak np. adres korespondencyjny firmy.

We藕my za聽przyk艂ad popularne FAQ, czyli najcz臋艣ciej zadawane pytania. Kluczem do聽sporz膮dzenia go na聽stronie internetowej jest to, by zestaw pyta艅 by艂 wyczerpuj膮cy pod wzgl臋dem potrzeb informacyjnych u偶ytkownika, a聽odpowiedzi by艂y dla niego jasne i聽czytelne.

Stworzony dla sieci Play Danny to jeden z dw贸ch pierwszych polskich voicebot贸w opartych o Asystenta Google.

W przypadku tworzenia chatbotowego FAQ, kluczowe s膮 nie聽tylko tre艣ci, kt贸rych u偶ytkownik poszukuje, ale r贸wnie偶 to, w聽jaki spos贸b ich szuka 鈥斅爅ak formu艂uje pytania, jakich u偶ywa s艂贸w kluczowych, a聽nawet jaki przyjmuje styl pisania w聽komunikatorach (pojedyncze, urywane fragmenty zda艅 czy pe艂na wypowied藕?).

Warto艣膰 poprawno艣ci j臋zykowej.

Podobie艅stwem mi臋dzy wymaganiami u偶ytkownika wobec tre艣ci widocznej np. na聽stronie internetowej i聽wobec komunikat贸w chatbota jest sp贸jno艣膰 z聽obowi膮zuj膮cymi standardami j臋zykowymi. Mog膮 by膰 oczywi艣cie mi臋dzy nimi pewne odst臋pstwa w聽zale偶no艣ci od聽grupy docelowej, szczeg贸lnie je艣li chcemy podkre艣li膰 osobowo艣膰 bota mow膮 potoczn膮 czy okre艣leniami z聽tzw. s艂ownika slangu miejskiego. Jednak ani na聽stronie, ani w聽oknie Messengera nie聽powinny聽si臋 znale藕膰 ra偶膮ce b艂臋dy ortograficzne i聽stylistyczne.

Konwersacja z聽chatbotem opiera聽si臋 g艂贸wnie na聽tek艣cie, wi臋c jako艣膰 tego tekstu przek艂ada聽si臋 w聽du偶ej mierze na聽jako艣膰 ca艂ego rozwi膮zania. To punkt, w聽kt贸rym tzw. naturalno艣膰 konwersacji ma swoje granice. Gdyby艣my d膮偶yli do聽jak najwierniejszego odzwierciedlenia rozmowy z聽cz艂owiekiem, bot musia艂by robi膰 liter贸wki, niedbale budowa膰 zdania czy u偶ywa膰 w聽nieodpowiednim kontek艣cie niekt贸rych wyraz贸w. S艂owem 鈥斅爎obi膰 wszystko, co zar贸wno cieszy, jak i聽irytuje rozm贸wc贸w podczas standardowej rozmowy. Efektywny interfejs konwersacyjny to sprytne po艂膮czenie zalet naturalnej konwersacji i聽mo偶liwo艣ci projektowych wykraczaj膮cych poza zdolno艣ci cz艂owieka. Jedn膮 z聽takich 艣ci艣le technicznych zalet jest zapewnienie bezb艂臋dno艣ci chatbotowych tre艣ci.

Synergia potrzeb i聽cech rozm贸wcy.

W zwi膮zku z聽tym dosz艂am do聽wniosku, 偶e rozwi膮zania konwersacyjne dotykaj膮 nie聽tylko kwestii potrzeb danego u偶ytkownika, ale te偶 jego temperamentu, wra偶liwo艣ci, dok艂adno艣ci i聽szeregu cech, kt贸re charakteryzuj膮 go przede wszystkim jako cz艂owieka czy rozm贸wc臋, a聽nie klienta czy us艂ugobiorc臋. Nie聽jest oczywi艣cie mo偶liwe dobranie indywidualnego stylu komunikacji do聽ka偶dego u偶ytkownika. W聽rzeczywisto艣ci te偶 tak przecie偶 nie聽czynimy.

J臋zyk, mimo swojej du偶ej z艂o偶ono艣ci ma pewne ograniczenia 鈥斅爎amy i聽zasady, wedle kt贸rych budowane s膮 wypowiedzi. Uzna艂am, 偶e kluczowe wi臋c jest ich takie sklasyfikowanie, by podgrupy obj臋艂y jak najszerszy zakres mo偶liwo艣ci wykorzystania go niezale偶nie od聽tematu. Wtedy testowanie jednego w膮tku staje聽si臋 niejako testowaniem ich wszystkich.

I w艂a艣nie znowu odkryli艣my perfekcyjny obszar do聽automatyzacji!

Nie tylko konwersacja.

Jaka jest w聽tym wszystkim rola zespo艂u Quality Assurance? Czy聽testowanie mo偶na po prostu okre艣li膰 trenowaniem chatbota? Czy聽ka偶da przeprowadzona z聽botem konwersacja to nic innego jak czynno艣膰 testerska?

Ot贸偶 nie. Przede wszystkim nale偶y wyj艣膰 od聽tego, 偶e chatboty to nie聽tylko konwersacja. Mog膮 by膰 one zintegrowane z聽zewn臋trznymi systemami i聽bazami danych. Mog膮 zawiera膰 formularze osadzone na聽tzw. webview (dodatkowej warstwie, dzi臋ki kt贸rej dane nie聽s膮 przechowywane przez Messengera). Mog膮 realizowa膰 艣cie偶ki decyzyjne, gdzie wybory u偶ytkownika przek艂adaj膮聽si臋 na聽konkretne akcje bota (tzw. flow).

Warta BOT - jako pierwszy w Polsce umo偶liwi艂 automatyczne zg艂oszenie szkody przez aplikacj臋 Messenger.

Mog膮 tak偶e przechwyci膰 lokalizacj臋 klienta i聽na jej podstawie wy艣wietla膰 szukane plac贸wki czy punkty obs艂ugi. I聽w ko艅cu 鈥斅爌rzy spe艂nieniu okre艣lonych warunk贸w 鈥斅爉og膮 wysy艂a膰 powiadomienia lub przypomnienia, z聽ustalon膮 wcze艣niej cz臋stotliwo艣ci膮.

I to wcale nie聽koniec listy鈥

Kluczowa jest dost臋pno艣膰.

Jak wida膰, mo偶liwo艣ci testerskich jest tutaj wiele. Wiemy jednak, 偶e nawet najlepiej przeprowadzone testy integracji, dzia艂ania formularzy czy lokalizowania element贸w na聽niewiele聽si臋 zdadz膮, je艣li dana informacja nie聽b臋dzie dost臋pna dla u偶ytkownika w聽czasie, kiedy ten b臋dzie jej oczekiwa膰.

W projektach, jakie do聽tej pory znali艣my, zapewnienie tej dost臋pno艣ci by艂o rol膮 developera. To od聽niego zale偶a艂o, co klient zobaczy po wykonanej akcji 鈥斅爊p. pod dan膮 zak艂adk膮 ma聽si臋 znajdowa膰 konkretny widok, dany filtr zaw臋偶a wyniki do聽sko艅czonego zbioru artyku艂贸w, wpisanie z艂ego adresu URL wy艣wietli stron臋 404 z聽odpowiednim komunikatem.

W przypadku chatbota za聽dost臋pno艣膰 odpowiada ci膮gle doskonalony mechanizm, kt贸ry indeksuje bardzo indywidualne dane (formy zapyta艅) pod okre艣lone tematy i聽ich podgrupy, zawieraj膮ce do聽tego czasem r贸偶ne scenariusze rozmowy.

Dobry chatbot jest anga偶uj膮cy i聽skuteczny.

Podsumowuj膮c 鈥斅爎ol膮 zespo艂u QA w聽testowaniu interfejs贸w konwersacyjnych jest wi臋c nie聽tylko sprawdzenie poprawno艣ci dzia艂ania mechanizm贸w i聽oceny ich zgodno艣ci z聽pierwotnymi za艂o偶eniami, 艂膮cznie z聽aspektami funkcjonalnymi, stopniem u偶yteczno艣ci czy form膮 wizualn膮 komunikat贸w.

Moja testerska rola jest tutaj du偶o szersza 鈥斅燾i膮gle, w聽cyklicznym procesie upewniam聽si臋, 偶e rozmowa z聽chatbotem jest do艣wiadczeniem dostatecznie anga偶uj膮cym i聽ma struktur臋 mo偶liwie naturalnego dialogu, kt贸ry zapewnia u偶ytkownikowi skuteczn膮 realizacj膮 swoich cel贸w.

Niniejszy artyku艂 ukaza艂 si臋 na 艂amach serwisu ccnews.pl dnia 1 czerwca 2019 roku.

11.06.2019.
Chcesz dostawa膰 informacje o nowych wpisach? Zostaw sw贸j adres e-mail.