O kliencie: firma edukacyjna obsługująca kandydatów do egzaminu
Nasz klient działa w sektorze edukacyjnym i obsługuje osoby przygotowujące się do egzaminu certyfikacyjnego. Kandydaci potrzebują informacji na różnych etapach: od zapisów, przez przebieg egzaminu, po odbiór wyników i ewentualne odwołanie od oceny. Firma udostępniała te informacje w dokumentach PDF liczących łącznie kilkaset stron, głównie w języku angielskim. Znalezienie właściwej odpowiedzi wymagało więc od klientów samodzielnego przeszukiwania obszernych materiałów. Chatbot miał ułatwić im załatwianie spraw związanych z egzaminem i odciążyć dział wsparcia.
Wyzwanie: poprawić odpowiedzi przed udostępnieniem chatbota klientom
Kandydat miał móc opisać swoją sprawę własnymi słowami i otrzymać zrozumiałą wskazówkę w ciągu około 4–5 sekund. Liczyła się też kompletność odpowiedzi. Jeśli dana procedura obowiązywała tylko pod określonymi warunkami, chatbot powinien je uwzględnić.
Zadaniem TTMS było usprawnienie wyszukiwania informacji w istniejącym rozwiązaniu, zbudowanym z wykorzystaniem CrewAI, narzędzi do tworzenia systemów opartych na agentach AI. Chatbot korzystał z RAG (Retrieval-Augmented Generation), czyli przygotowywał odpowiedzi na podstawie wyszukanych fragmentów dokumentacji klienta.
Analiza wykazała, że do modelu trafiały zbyt obszerne fragmenty tekstu, co utrudniało dopasowanie ich do pytania. Dodatkowym problemem był odczyt wielokolumnowych PDF-ów: treści z sąsiadujących kolumn mieszały się ze sobą. Usprawnienie chatbota wymagało więc przyjrzenia się temu, jakie informacje otrzymuje model i czy zachowują one sens dokumentu źródłowego.
Rozwiązanie i realizacja: odpowiedź wraz z potrzebnym kontekstem
Zmieniliśmy sposób podziału dokumentacji, zachowując powiązania między zdaniami, akapitami i stronami. Gdy system odnajdywał zdanie pasujące do pytania, mógł pobrać również otaczający je akapit lub całą stronę. Model otrzymywał dzięki temu informacje potrzebne do wyjaśnienia zasady wraz z warunkami jej stosowania.
Takie podejście pozwoliło wykorzystać istniejące materiały klienta i pozostać przy klasycznym RAG. Według informacji przekazanych przez Jakuba koszt dodatkowego przechowywania i przetwarzania treści był akceptowalny przy tej wielkości dokumentacji.
Efekty sprawdziliśmy na wewnętrznym zestawie pytań obejmujących cały zakres materiałów. Uwzględniliśmy także rzeczywiste pytania użytkowników, zebrane anonimowo podczas wcześniejszego uruchomienia prototypu. Pozwoliło to ocenić odpowiedzi również wtedy, gdy pytanie było sformułowane tak, jak zadałby je klient.
Szczegóły zastosowanej metody opisujemy w artykule „RAG dla chatbota na przykładzie CrewAI – notatki z TTMS Tech Talk”.
Rezultaty: około 98% dokładności odpowiedzi w wewnętrznym teście
Według danych przekazanych przez Jakuba Kraśniewskiego dokładność odpowiedzi wzrosła z około 70% do około 98%, czyli o około 28 punktów procentowych. Rozwiązanie zachowało również krótki czas odpowiedzi. Wynik dotyczy wewnętrznego zestawu testowego przygotowanego na potrzeby projektu. Potwierdził poprawę jakości odpowiedzi i pozwolił przygotować narzędzie do kolejnego etapu: udostępnienia części klientów. Na tym etapie nie oceniano jeszcze rzeczywistego odciążenia działu wsparcia.
Co dalej? Sprawdzenie chatbota w codziennej obsłudze kandydatów
Po zakończeniu testów wewnętrznych firma planowała udostępnić chatbota części klientów. Pozwoli to sprawdzić, czy kandydaci otrzymują wystarczającą pomoc w swoich sprawach i rzadziej potrzebują kontaktu z konsultantem. Do oceny posłużą dane o korzystaniu z narzędzia oraz zgłoszeniach do działu wsparcia.
Porozmawiajmy o chatbocie dla Twojej firmy
Od czego zacząć projekt chatbota do obsługi klienta?
Na początek warto przejrzeć zgłoszenia do działu wsparcia i sprawdzić, które pytania regularnie się powtarzają. Dobrymi kandydatami do pierwszego etapu są sprawy, dla których firma ma jednoznaczne, udokumentowane odpowiedzi. Następnie trzeba określić, komu chatbot ma pomagać i co użytkownik powinien móc załatwić dzięki rozmowie. Na tej podstawie łatwiej wybrać zakres pilotażu oraz ustalić sposób oceny jego wyników. Już wtedy warto zaangażować osoby zajmujące się obsługą klienta, ponieważ znają typowe nieporozumienia i sytuacje wymagające indywidualnej decyzji. Tak przygotowany zakres daje zespołowi wdrożeniowemu konkretny punkt wyjścia.
Czy można poprawić istniejącego chatbota bez budowania go od nowa?
W wielu przypadkach można usprawnić poszczególne elementy istniejącego rozwiązania, choć zakres zmian wymaga wcześniejszej analizy. Zespół powinien sprawdzić przykłady błędnych odpowiedzi i ustalić, na którym etapie pojawia się problem. Przyczyną może być sposób przygotowania dokumentacji, wyszukiwania informacji lub wykorzystania znalezionych treści przez model. Znaczenie mają również ograniczenia obecnej platformy i dostęp do jej konfiguracji. Przed podjęciem decyzji o przebudowie warto porównać efekty wybranych zmian na tym samym zestawie pytań. Pozwala to ocenić, czy dalszy rozwój obecnego narzędzia ma uzasadnienie.
Od czego zależy koszt wdrożenia chatbota korzystającego z dokumentacji?
Koszt zależy między innymi od stanu materiałów źródłowych, zakresu integracji i wymagań dotyczących działania narzędzia. Dokumenty o złożonym układzie lub niespójnej treści mogą wymagać więcej pracy przygotowawczej. Osobnym zadaniem jest połączenie chatbota z systemami firmy, zwłaszcza gdy ma udostępniać informacje zależne od uprawnień użytkownika. Budżet powinien obejmować również testy, obsługę po uruchomieniu i aktualizowanie bazy wiedzy. Na koszty bieżące wpływają liczba rozmów, wybrane modele oraz sposób przetwarzania pytań. Dlatego przy wycenie warto oddzielić koszt przygotowania rozwiązania od przewidywanych wydatków na jego utrzymanie.
Jak przygotować pilotaż chatbota dla klientów?
Pilotaż powinien obejmować jasno określony zakres spraw i grupę użytkowników, których pytania pomogą ocenić przydatność narzędzia. Przed uruchomieniem warto ustalić warunki rozszerzenia dostępu, takie jak oczekiwana jakość odpowiedzi, akceptowalny czas oczekiwania i sposób postępowania z błędami. Użytkownik musi mieć możliwość zgłoszenia problemu oraz przejścia do kontaktu z obsługą. W trakcie pilotażu zespół powinien analizować rozmowy zgodnie z przyjętymi zasadami ochrony danych i zbierać opinie klientów. Ważne jest sprawdzenie, czy odpowiedzi pomagają załatwić sprawę, także wtedy, gdy pytanie jest nieprecyzyjne. Wyniki pozwalają zdecydować, co poprawić przed udostępnieniem chatbota większej grupie.
Jak ocenić, czy chatbot rzeczywiście odciąża dział obsługi klienta?
Punktem odniesienia są dane sprzed uruchomienia chatbota: liczba zgłoszeń w wybranych sprawach, czas ich obsługi i częstotliwość ponownych kontaktów. Po wdrożeniu trzeba porównać te same wskaźniki, uwzględniając sezonowość oraz zmiany liczby klientów. Sam brak kontaktu z konsultantem po rozmowie z chatbotem nie potwierdza rozwiązania problemu, dlatego warto zbierać również opinie użytkowników. Może się zdarzyć, że do wsparcia trafia mniej prostych pytań, a większą część pracy stanowią sprawy złożone. Wtedy średni czas obsługi pojedynczego zgłoszenia może wzrosnąć mimo spadku łącznego obciążenia zespołu. Dopiero zestawienie tych informacji pozwala rzetelnie ocenić efekt biznesowy.
