Najłatwiej mierzy się to, co widać od razu: logowanie, kliknięcia, czas spędzony na platformie, ukończone moduły i wynik quizu. Dlatego wiele organizacji kończy analizę szkolenia dokładnie w tym miejscu.
Jest jednak różnica pomiędzy aktywnością w LMS-ie a realną nauką. A ukończenie kursu nie zawsze oznacza, że uczestnik zdobył wiedzę i będzie ją stosował w swojej pracy. Jak więc zmierzyć realny wpływ szkolenia na orgnizację? Na to pytanie odpowiadamy w tym artykule.
1. Dlaczego interpretacja danych e-learningowych sprawia organizacjom problem z oceną skuteczności szkoleń?
Ocena skuteczności szkolenia często wygląda prosto tylko na początku. Platforma pokazuje raporty, wykresy, wyniki quizów i statusy ukończenia. W pracy z klientami widzimy jednak, że problem zaczyna się wtedy, gdy trzeba odpowiedzieć na dużo trudniejsze pytanie: czy to szkolenie naprawdę coś zmieniło w pracy ludzi?
Najłatwiej mierzyć aktywność. LMS pokaże, kto ukończył szkolenie, ile czasu spędził w kursie, jaki miał wynik testu i czy wracał do materiałów. To są potrzebne dane, bo pomagają zobaczyć, czy uczestnicy w ogóle przeszli przez proces nauki i gdzie mogli się zatrzymać. Nie mówią jednak jeszcze, czy pracownik wykorzystał nową wiedzę po zamknięciu kursu.
Właśnie w tym miejscu wiele organizacji wpada w pułapkę. Ukończenie szkolenia zaczyna być traktowane jak dowód skuteczności. A przecież handlowiec może zdać test z wiedzy o nowym produkcie, ale nadal nie wprowadzać go do rozmów z klientami. Pracownik obsługi klienta może znać nową procedurę, ale pod presją czasu wracać do starych nawyków.
Jeszcze trudniej jest pokazać wpływ szkolenia na biznes. Tu nie wystarczą już same dane z LMS. Trzeba zestawić je z tym, co dzieje się w organizacji: wynikami sprzedaży, satysfakcją klientów, liczbą błędów operacyjnych, czasem wdrożenia nowych pracowników czy poziomem zgodności z procedurami. Dopiero takie połączenie danych pozwala sprawdzić, czy szkolenie przełożyło się na realną zmianę.
2. Model Kirkpatricka. Jak go wykorzystać w praktyce?
W ocenie efektywności szkoleń często posługuje się modelem Kirkpatricka. Wdrożenie modelu Kirkpatricka to fundament, na którym opiera się profesjonalna analityka procesu szkoleń. Pomaga uporządkować myślenie: od reakcji uczestników, przez wiedzę, zmianę zachowań, aż po rezultaty biznesowe. I dobrze pokazuje, dlaczego samo „ukończono szkolenie” to za mało, jeśli organizacja chce wiedzieć, czy e-learning naprawdę działa.
W praktyce warto zaplanować sposób pomiaru jeszcze przed rozpoczęciem szkolenia. Dzięki temu organizacja od początku wie, jakie dane będzie zbierać i jakie efekty chce osiągnąć.
Na pierwszym poziomie można mierzyć reakcje uczestników za pomocą krótkich ankiet satysfakcji. Na drugim poziomie sprawdzana jest wiedza – najczęściej poprzez testy, quizy lub zadania praktyczne realizowane po ukończeniu kursu.
Trzeci poziom wymaga już obserwacji tego, co dzieje się po szkoleniu. W zależności od tematu mogą to być rozmowy z przełożonymi, analiza jakości pracy, ocena nowych umiejętności lub porównanie wyników przed i po szkoleniu. To właśnie tutaj organizacje najczęściej odkrywają, że wysoki wynik testu nie zawsze przekłada się na zmianę zachowań.
Czwarty poziom koncentruje się na efektach biznesowych. Dla onboardingu mogą to być czas osiągnięcia samodzielności, liczba błędów lub ukończenie ścieżki wdrożeniowej. W szkoleniach compliance często analizuje się poziom zgodności z procedurami, wyniki audytów czy liczbę incydentów. W sprzedaży mogą to być wyniki handlowców i wykorzystanie wiedzy produktowej w rozmowach z klientami, a w obsłudze klienta poziom satysfakcji klientów oraz czas rozwiązania zgłoszeń.
Z naszego doświadczenia wynika, że organizacje osiągają najlepsze rezultaty wtedy, gdy nie ograniczają się do jednego wskaźnika. Połączenie danych z LMS, obserwacji zachowań oraz mierników biznesowych daje znacznie pełniejszy obraz skuteczności szkolenia niż sam wynik testu czy poziom ukończenia kursu.
Poziom Kirkpatricka
Co mierzymy?
Przykładowe wskaźniki
Najważniejsze pytanie
1. Reakcja
Jak uczestnicy odebrali szkolenie
ankieta satysfakcji, ocena przydatności, opinie uczestników
Czy szkolenie było dla nich zrozumiałe i przydatne?
2. Wiedza
Czego uczestnicy się nauczyli
wynik testu, quiz, zadanie praktyczne, certyfikat
Czy uczestnik rzeczywiście zdobył nową wiedzę lub umiejętność?
3. Zachowanie
Czy uczestnicy stosują wiedzę w pracy
obserwacja przełożonego, jakość pracy, liczba błędów, rozmowy feedbackowe
Czy po szkoleniu pracownik robi coś inaczej?
4. Rezultaty
Jaki jest wpływ na biznes
sprzedaż, czas wdrożenia, satysfakcja klientów, zgodność z procedurami, liczba incydentów
Czy szkolenie przyniosło organizacji realną korzyść?
Jednym z najczęstszych błędów jest traktowanie raportu z LMS jako pełnej odpowiedzi na pytanie o skuteczność szkolenia. Jeżeli patrzymy wyłącznie na ukończenie kursu, wynik testu czy czas spędzony na platformie, widzimy tylko aktywność uczestnika, a nie realną zmianę w jego pracy.
Bez odniesienia założonych celów szkoleniowych do wyników pracownika przed i po szkoleniu trudno ocenić, czy program rzeczywiście podniósł kwalifikacje. W praktyce oznacza to, że dane z LMS warto zestawiać z obserwacją przełożonego, jakością wykonywanych zadań, liczbą błędów, samodzielnością pracownika lub innymi wskaźnikami powiązanymi z celem szkolenia.
Najprostszym sposobem na wzbogacenie takiej analizy są ankiety poszkoleniowe odroczone w czasie. Pytanie zadane tydzień, miesiąc lub kwartał po szkoleniu często mówi więcej niż ankieta wypełniona bezpośrednio po kursie. Dopiero wtedy można sprawdzić, czy wiedza została wykorzystana w praktyce, a nie tylko zapamiętana na potrzeby testu.
Norbert Kulski Head of BI & Automation Solutions | TTMS
3. Jakie statystyki udostępnia większość platform e-learningowych i co one mierzą?
Nowoczesne platformy LMS pozwalają śledzić dziesiątki różnych wskaźników efektywności e-learningu. Problem polega na tym, że nie wszystkie mówią tyle samo o rzeczywistych efektach nauki. Warto wiedzieć, które dane są naprawdę wartościowe i jak prawidłowo je interpretować.
3.1 Wskaźnik ukończenia szkolenia (Completion Rate)
Completion Rate pokazuje, jaki odsetek uczestników ukończył szkolenie.
To jeden z najczęściej monitorowanych wskaźników, ponieważ jest prosty do zmierzenia i pozwala szybko ocenić zaangażowanie uczestników. Jeśli duża część użytkowników nie kończy kursu, może to oznaczać problemy z długością szkolenia, poziomem trudności lub jego atrakcyjnością.
Jednocześnie wysoki Completion Rate nie oznacza automatycznie, że szkolenie było skuteczne. Uczestnik może ukończyć kurs wyłącznie dlatego, że jest to wymagane przez organizację. Sam fakt kliknięcia przycisku „Ukończ” nie mówi nic o tym, czy zdobył nowe kompetencje i wykorzystuje je w pracy.
3.2 Czas spędzony na szkoleniu (Time Spent)
Time Spent mierzy czas spędzony przez użytkownika w kursie.
Na pierwszy rzut oka może wydawać się, że im więcej czasu uczestnik poświęcił szkoleniu, tym więcej się nauczył. W praktyce ten wskaźnik bywa bardzo mylący.
Długi czas nie zawsze oznacza aktywną naukę. Użytkownik może pozostawić otwartą kartę przeglądarki podczas wykonywania innych obowiązków, zrobić sobie przerwę na kawę lub zostać oderwany od szkolenia przez inne zadania. Z kolei bardzo krótki czas nie musi oznaczać problemu – doświadczony pracownik może szybko przejść przez materiał, ponieważ zna już część zagadnień.
Dlatego Time Spent warto analizować wyłącznie w połączeniu z innymi wskaźnikami.
3.3 Wyniki testów wiedzy (Quiz Scores)
Quiz Scores pokazują wyniki testów i sprawdzianów wiedzy.
Jest to jeden z najlepszych sposobów na ocenę, czy uczestnik zapamiętał kluczowe informacje ze szkolenia. Wyniki testów pozwalają również identyfikować obszary, które wymagają dodatkowego wyjaśnienia lub poprawy materiałów.
Należy jednak pamiętać, że wysoki wynik testu nie zawsze oznacza zdobycie kompetencji. Uczestnik może zapamiętać poprawne odpowiedzi na pytania, ale mieć trudności z zastosowaniem tej wiedzy w realnej sytuacji zawodowej. Dlatego testy najlepiej sprawdzają wiedzę, a nie rzeczywistą zmianę zachowań.
3.4 Częstotliwość logowania (Login Frequency)
Login Frequency pokazuje, jak często użytkownicy wracają do platformy szkoleniowej.
Regularne logowanie może świadczyć o zaangażowaniu uczestników oraz o tym, że szkolenie stanowi dla nich źródło wiedzy wykorzystywanej w codziennej pracy. Jest to szczególnie wartościowy wskaźnik w przypadku programów rozwojowych, akademii kompetencyjnych czy baz wiedzy.
Sam wskaźnik logowań nie pokazuje jednak, co użytkownik robił po zalogowaniu. Częste wizyty nie zawsze oznaczają aktywną naukę, podobnie jak rzadsze logowania nie muszą oznaczać braku zainteresowania.
3.5 Postęp w realizacji szkolenia (Course Progress)
Course Progress pozwala śledzić, na którym etapie szkolenia znajdują się uczestnicy.
To jeden z najbardziej praktycznych wskaźników dla osób projektujących szkolenia. Dzięki niemu można szybko zauważyć miejsca, w których użytkownicy najczęściej przerywają naukę lub tracą zainteresowanie.
Jeżeli większość uczestników rezygnuje w tym samym module, warto przeanalizować jego długość, poziom trudności, sposób prezentacji treści lub jakość interakcji. Takie dane często pozwalają wykryć problemy, których nie pokazują ankiety satysfakcji ani wyniki testów.
Z naszego doświadczenia wynika, że analiza punktów rezygnacji uczestników jest jednym z najszybszych sposobów na poprawę jakości istniejących szkoleń i zwiększenie skuteczności całego programu rozwojowego.
Norbert Kulski Head of BI & Automation Solutions |TTMS
Wskaźnik
Co pokazuje?
Co warto zapamiętać?
Completion Rate
Czy uczestnik ukończył kurs
Ukończenie szkolenia nie oznacza jeszcze, że uczestnik zdobył kompetencje lub zmienił sposób pracy.
Time Spent
Ile czasu użytkownik spędził w kursie
Długi czas w kursie może oznaczać naukę, ale też otwartą kartę, przerwę lub brak koncentracji.
Quiz Scores
Jakie wyniki uczestnik osiągnął w testach
Wysoki wynik testu pokazuje zapamiętanie informacji, ale nie zawsze umiejętność zastosowania ich w praktyce.
Login Frequency
Jak często użytkownik wraca do platformy
Częste logowania mogą świadczyć o zaangażowaniu, ale nie pokazują jakości nauki.
Course Progress
Na którym etapie kursu są uczestnicy
Najcenniejsze są miejsca, w których użytkownicy przerywają naukę – tam często widać realne problemy kursu.
4. E-Learning Analytics – czym różni się analiza nauki od raportowania aktywności?
Wiele organizacji korzysta dziś z raportów dostępnych w platformach LMS. Dzięki nim można szybko sprawdzić, kto ukończył szkolenie, ile czasu spędził w kursie czy jaki wynik uzyskał w teście. Problem polega na tym, że są to przede wszystkim dane opisujące to, co się wydarzyło. Właściwa analiza danych z platformy LMS musi wykraczać poza proste raporty.
Odpowiedzią na to jest Learning Analytics, który idzie o krok dalej. Zamiast skupiać się wyłącznie na liczbach, pomaga zrozumieć przyczyny określonych zachowań i odkrywać wzorce, które mogą wpływać na skuteczność nauki.
Można powiedzieć, że LMS odpowiada na pytanie „co się wydarzyło?”, a E-Learning Analytics pomaga odpowiedzieć na pytanie „dlaczego się wydarzyło?”.
Przykładowo sam raport może pokazać, że 30% uczestników nie ukończyło szkolenia. Learning Analytics pozwala natomiast sprawdzić, w którym miejscu użytkownicy najczęściej rezygnują, jakie treści sprawiają im trudność oraz czy problem wynika z konstrukcji kursu, poziomu trudności materiału czy sposobu prezentacji wiedzy.
W praktyce analiza danych szkoleniowych powinna prowadzić do zadawania pytań, które pomagają ulepszać proces nauki:
Które moduły sprawiają uczestnikom największe trudności?
W których pytaniach testowych najczęściej pojawiają się błędy?
Na jakim etapie użytkownicy najczęściej przerywają szkolenie?
Do których materiałów wracają wielokrotnie?
Które treści są pomijane lub przewijane najszybciej?
Jakie elementy kursu najlepiej wspierają zapamiętywanie wiedzy?
Skuteczne raportowanie w e-learningu wymaga wyjścia poza standardowe dane LMS.
Z naszego doświadczenia wynika, że największą wartość przynosi nie samo zbieranie danych, ale wykorzystywanie ich do ciągłego doskonalenia szkoleń. Nawet niewielkie zmiany w miejscach, gdzie użytkownicy napotykają trudności, potrafią znacząco poprawić skuteczność całego programu rozwojowego.
Norbert Kulski Head of BI & Automation Solutions | TTMS
Raportowanie w LMS
E-Learning Analytics
Pokazuje co się wydarzyło
Pomaga zrozumieć dlaczego się wydarzyło
Kto ukończył szkolenie?
Dlaczego część uczestników nie ukończyła szkolenia?
Jaki był wynik testu?
Dlaczego uczestnicy popełniają błędy w konkretnych obszarach?
Ile czasu spędzono w kursie?
Które elementy kursu angażują, a które powodują rezygnację?
Jak często użytkownicy się logują?
Jakie materiały są rzeczywiście wykorzystywane w pracy?
Dane historyczne
Wnioski prowadzące do optymalizacji szkolenia
Mierzenie aktywności
Doskonalenie procesu uczenia się
Największą wartość danych szkoleniowych widzę wtedy, gdy przestają pełnić wyłącznie funkcję raportową, a zaczynają wspierać rozwój kursów. Analizując miejsca, w których uczestnicy najczęściej przerywają naukę, popełniają błędy lub wracają do konkretnych materiałów, możemy bardzo szybko zidentyfikować elementy wymagające poprawy.
Z perspektywy projektowania e-learningu rzadko oznacza to konieczność przebudowy całego kursu. Częściej wystarczą precyzyjne zmiany: uproszczenie wybranego modułu, dodanie przykładu praktycznego, skrócenie zbyt długiej lekcji czy zmiana formy interakcji. Takie decyzje warto opierać na rzeczywistych danych, a nie wyłącznie na intuicji.
Najskuteczniejsze organizacje traktują szkolenia jako rozwiązania, które stale ewoluują. Każda kolejna edycja kursu dostarcza nowych informacji, dzięki którym można systematycznie zwiększać jego skuteczność i lepiej odpowiadać na potrzeby uczestników.
Mikołaj Korzeniowski E-learning Tech Lead at TTMS | Product Owner of AI4E-learning
5. Pomiar wskaźnika ukończenia szkolenia (Completion rate) to za mało.
Przez lata badacze zajmujący się procesami uczenia się zwracali uwagę, że łatwość nauki może być myląca. Robert Bjork, profesor psychologii i autor koncepcji desirable difficulties („pożądanych trudności”), pokazał, że warunki, które sprawiają, że nauka wydaje się łatwa i płynna, często prowadzą do słabszego zapamiętywania wiedzy w dłuższej perspektywie.
Dobrym przykładem są ćwiczenia matematyczne. Jeśli przez godzinę rozwiązujemy wyłącznie jeden typ zadań, pod koniec zajęć możemy mieć wrażenie, że materiał został opanowany. Zarówno nauczyciel, jak i uczniowie widzą szybkie postępy. Gdy jednak sprawdzian odbywa się kilka tygodni później, efekty często okazują się rozczarowujące.
Badania pokazują, że lepsze rezultaty daje przeplatanie różnych typów zadań, choć podczas nauki uczestnicy popełniają wtedy więcej błędów i mają poczucie większej trudności. Paradoksalnie właśnie ten dodatkowy wysiłek prowadzi do trwalszego zapamiętywania i skuteczniejszego wykorzystania wiedzy w przyszłości.
To ważna lekcja również dla twórców e-learningu. Szkolenie, które jest szybkie, łatwe i bezproblemowe do ukończenia, nie zawsze będzie najbardziej efektywne. Czasami większą wartość przynosi kurs wymagający aktywnego myślenia, podejmowania decyzji, rozwiązywania problemów czy przypominania sobie wcześniej zdobytej wiedzy.
Dlatego warto pamiętać o trzech poziomach skuteczności szkolenia (Model Kirkpatricka) w odniesieniu do wskaźnika ukończenia szkoleń :
Ukończenie nie oznacza zrozumienia
Uczestnik może przejść przez wszystkie moduły i zdobyć certyfikat, nie przyswajając kluczowych informacji.
Zrozumienie nie oznacza zastosowania
Pracownik może poprawnie odpowiedzieć na pytania w teście, ale nie wykorzystywać nowej wiedzy podczas codziennej pracy.
Zastosowanie nie oznacza jeszcze wyniku biznesowego
Nawet jeśli zachowania pracowników się zmieniają, organizacja nadal musi sprawdzić, czy przełożyło się to na lepszą sprzedaż, wyższą jakość obsługi, mniejszą liczbę błędów lub inne oczekiwane rezultaty.
Właśnie dlatego najlepsze organizacje nie zatrzymują się na analizie completion rate, lecz badają wskaźniki efektywności e-learningu dużo bardziej dokładnie. Traktują go jako punkt wyjścia, a nie dowód skuteczności szkolenia. Prawdziwa wartość pojawia się dopiero wtedy, gdy dane o aktywności uczestników zostaną połączone z informacjami o zmianie zachowań i efektach biznesowych.
Mit Learning Analitics
Rzeczywistość
Wysoki completion rate oznacza skuteczne szkolenie.
Completion rate pokazuje jedynie aktywność uczestników.
Wysokie wyniki testów gwarantują zmianę zachowań.
Wiedza nie zawsze przekłada się na działanie.
Zmiana zachowań automatycznie poprawia wyniki firmy.
Wpływ na biznes wymaga dodatkowego pomiaru i analizy.
Jednym wskaźnikiem można ocenić skuteczność szkolenia.
Skuteczność należy analizować na wielu poziomach jednocześnie.
6. Ograniczenia SCORM i możliwości xAPI (Experience API) w analizie procesów szkoleniowych
Przez wiele lat standardem w świecie e-learningu był SCORM. Dzięki niemu organizacje mogły sprawdzać podstawowe informacje o postępach uczestników: kto ukończył szkolenie, jaki uzyskał wynik testu czy ile czasu spędził w kursie.
Problem polega na tym, że współczesna nauka coraz rzadziej odbywa się wyłącznie w LMS. Pracownicy oglądają filmy instruktażowe, korzystają z baz wiedzy, uczestniczą w webinarach, wykonują zadania praktyczne, uczą się w aplikacjach mobilnych i współpracują z innymi pracownikami. Tradycyjny SCORM nie został zaprojektowany do śledzenia takich aktywności.
W praktyce SCORM odpowiada głównie na pytanie:
„Czy uczestnik ukończył szkolenie?”
Natomiast coraz więcej organizacji chce wiedzieć:
Jak uczestnik uczył się poza LMS?
Do których materiałów wracał?
Które zasoby wykorzystuje w codziennej pracy?
Jakie działania wykonuje po zakończeniu szkolenia?
Czy wiedza jest wykorzystywana również po kilku tygodniach lub miesiącach?
Właśnie z myślą o takich potrzebach powstał standard xAPI (Experience API), znany również jako Tin Can API.
SCORM
xAPI
Śledzi głównie aktywność w kursie LMS
Śledzi aktywność w całym ekosystemie nauki
Ukończenie kursu
Każde doświadczenie edukacyjne
Wyniki testów
Zachowania użytkownika
Czas spędzony w kursie
Korzystanie z materiałów po szkoleniu
Ograniczony do LMS
Dane z LMS, aplikacji, webinarów, symulacji i innych źródeł
Odpowiada na pytanie „co się wydarzyło?”
Pomaga analizować „jak przebiega proces uczenia się?”
6.1 Jak działa xAPI?
xAPI opiera się na prostym modelu rejestrowania doświadczeń użytkownika.
Każde działanie zapisywane jest w formie:
„Ktoś zrobił coś.”
Przykładowo:
Anna ukończyła kurs onboardingowy.
Tomasz obejrzał film instruktażowy.
Karolina rozwiązała scenariusz sprzedażowy.
Michał pobrał procedurę bezpieczeństwa.
Ewa uczestniczyła w webinarze.
Informacje te trafiają do specjalnego repozytorium danych zwanego Learning Record Store (LRS), które może gromadzić dane z wielu różnych źródeł, a nie tylko z jednego LMS.
6.2 Jakie dane można zbierać dzięki xAPI?
Największą zaletą xAPI jest możliwość śledzenia całej ścieżki uczenia się, a nie tylko aktywności wewnątrz kursu.
Przykładowo organizacja może analizować:
oglądanie filmów szkoleniowych,
korzystanie z bazy wiedzy,
pobieranie dokumentów i procedur,
uczestnictwo w webinarach,
aktywność w aplikacjach mobilnych,
wykonywanie symulacji i scenariuszy,
wyniki gier szkoleniowych,
udział w warsztatach stacjonarnych,
realizację zadań wdrożeniowych,
korzystanie z materiałów wspierających po zakończeniu szkolenia.
Dzięki temu możliwe staje się nie tylko mierzenie ukończenia kursu, ale również analiza rzeczywistych zachowań związanych z nauką.
6.3 Dlaczego ma to znaczenie dla Learning Analytics?
Jeżeli LMS pokazuje głównie, co wydarzyło się w kursie, to xAPI pozwala obserwować cały proces uczenia się. Organizacja może sprawdzić, które materiały są najczęściej wykorzystywane, do jakich zasobów pracownicy wracają po czasie oraz jakie aktywności rzeczywiście wspierają rozwój kompetencji.
To właśnie dlatego xAPI jest często postrzegane jako jeden z fundamentów nowoczesnego Learning Analytics. Pozwala przejść od prostego raportowania ukończenia kursów do analizy rzeczywistych doświadczeń edukacyjnych uczestników.
Przykłady danych xAPI
Aktywność
Przykład
Oglądanie filmu
User watched 80% video
Symulacja
User selected incorrect response
Baza wiedzy
User searched procedure
Aplikacja mobilna
User completed microlearning
7. Jakie wskaźniki do analizy e-learningu naprawdę warto monitorować?
Same wskaźniki dostępne w platformie LMS rzadko pozwalają ocenić rzeczywistą skuteczność szkolenia. Informacje o ukończeniu kursu, liczbie logowań, aktywności użytkownika czy wynikach quizów są wartościowe, ale dopiero zestawienie ich z innymi danymi biznesowymi pozwala zrozumieć, czy szkolenie przyniosło oczekiwane rezultaty.
7.1 W przypadku wdrażania nowych pracowników (Employee Onboarding) najważniejszym wskaźnikiem jest czas osiągnięcia samodzielności
Wiele zależy od celu szkolenia i obszaru organizacji, którego ono dotyczy. Przykładowo, jeśli kurs został przygotowany w ramach onboardingu nowych pracowników, dział HR będzie zainteresowany nie tylko tym, czy uczestnik ukończył wszystkie moduły. Znacznie ważniejszą informacją będzie moment, w którym nowo zatrudniona osoba osiąga samodzielność i przestaje wymagać stałego wsparcia przełożonego lub bardziej doświadczonych współpracowników. To właśnie ten moment pokazuje, kiedy pracownik zaczyna wnosić pełną wartość do organizacji.
7.2 W sprzedaży (Sales) skuteczność szkolenia należy oceniać przez pryzmat wyników biznesowych
Jeszcze inaczej wygląda analiza danych szkoleniowych w sprzedaży. Załóżmy, że dział handlowy ukończył szkolenie dotyczące nowego produktu. Wszystkie wskaźniki dostępne w LMS prezentują się wzorowo: pracownicy obejrzeli wszystkie materiały, aktywnie korzystali z bazy wiedzy, ukończyli szkolenie, brali udział w symulacjach i osiągnęli wysokie wyniki w testach.
Na tym etapie można stwierdzić jedynie, że uczestnicy przeszli przez proces szkoleniowy. Nie oznacza to jednak automatycznie, że szkolenie było skuteczne.
Dopiero połączenie danych z LMS z wynikami sprzedażowymi pozwala ocenić jego realny wpływ. Warto sprawdzić między innymi, czy handlowcy częściej oferują nowy produkt klientom, czy wzrosła liczba zamkniętych transakcji, czy poprawiła się wartość sprzedaży oraz czy pracownicy potrafią wykorzystać wiedzę produktową podczas rozmów handlowych.
Takie zestawienie danych może prowadzić do bardzo różnych wniosków. Jeśli aktywność szkoleniowa była wysoka, ale sprzedaż produktu nie wzrosła, problem może leżeć w samym szkoleniu, sposobie przekazywania wiedzy lub w procesie sprzedażowym. Jeżeli natomiast najlepsi sprzedawcy osiągają wysokie wyniki zarówno w szkoleniu, jak i w sprzedaży, organizacja może zidentyfikować praktyki, które warto upowszechnić w całym zespole. Możliwe jest również wykrycie osób, które dobrze radzą sobie w testach, ale mają trudności z wykorzystaniem wiedzy w praktyce, co może wskazywać na potrzebę dodatkowych ćwiczeń lub wsparcia ze strony managera.
7.3 W obsłudze klienta (Customer Service) dane szkoleniowe warto łączyć ze wskaźnikami jakości obsługi
Podobne zależności można obserwować w działach obsługi klienta. W tym przypadku dane szkoleniowe warto zestawiać z takimi wskaźnikami jak średni czas obsługi zgłoszenia, liczba rozwiązanych spraw podczas pierwszego kontaktu czy poziom satysfakcji klientów. Dopiero połączenie tych informacji pozwala ocenić, czy szkolenie przełożyło się na poprawę jakości obsługi i efektywności pracy zespołu.
Learning analytics nie polega więc na analizowaniu pojedynczych wskaźników w oderwaniu od kontekstu. Jego celem jest połączenie danych szkoleniowych z rzeczywistymi wynikami biznesowymi i znalezienie odpowiedzi na najważniejsze pytanie: czy szkolenie wpłynęło na sposób pracy uczestników oraz rezultaty osiągane przez organizację?
Obszar szkolenia
Wskaźniki, które warto zestawić z danymi z LMS
Onboarding
czas do osiągnięcia samodzielności, liczba błędów popełnianych przez nowego pracownika, ukończenie ścieżki onboardingowej
Compliance
poziom zgodności z procedurami, wyniki testów wiedzy, liczba incydentów lub naruszeń po szkoleniu
Sprzedaż
wyniki handlowców, liczba ofert lub transakcji dotyczących danego produktu, wykorzystanie wiedzy produktowej w rozmowach z klientami
Obsługa klienta
poziom satysfakcji klientów, czas rozwiązania zgłoszeń, liczba spraw rozwiązanych przy pierwszym kontakcie
Z perspektywy analitycznej najcenniejsze są te wskaźniki, które można bezpośrednio powiązać z celem szkolenia oraz rezultatem biznesowym. Im krótsza droga między szkoleniem a mierzalnym efektem, tym łatwiej ocenić rzeczywistą wartość programu rozwojowego.
Norbert Kulski Head, of BI & Automation Solutions | TTMS
8. Sztuczna inteligencja i przyszłość e-learning analytics
Tradycyjne raporty szkoleniowe pokazują głównie to, co już się wydarzyło: kto ukończył kurs, jaki uzyskał wynik, ile czasu spędził w module i gdzie przerwał naukę. To ważne dane, ale coraz częściej organizacje potrzebują czegoś więcej. Chcą wiedzieć nie tylko, co się stało, ale też co może wydarzyć się dalej.
Właśnie tutaj AI zaczyna zmieniać sposób myślenia o E-Learning Analytics. Zamiast analizować wyłącznie przeszłość, może pomagać w przewidywaniu ryzyk i wskazywaniu obszarów, które wymagają wsparcia. Szerzej opisujemy to w artykule Jak mierzyć skuteczność szkoleń e-learningowych z AI? Każdy CLO powinien to wiedzieć, w którym pokazujemy, dlaczego dane szkoleniowe warto łączyć z celami biznesowymi i rozwojem kompetencji.
W praktyce AI może pomóc odpowiedzieć na pytania, które wcześniej były trudne do uchwycenia w standardowych raportach:
którzy uczestnicy prawdopodobnie nie ukończą szkolenia,
które moduły powodują najwięcej problemów,
w których miejscach użytkownicy najczęściej popełniają błędy,
jakie kompetencje wymagają dodatkowego wsparcia,
które grupy pracowników potrzebują innej ścieżki nauki,
czy szkolenie może przełożyć się na konkretne wskaźniki biznesowe.
8.1 Co daje AI w analityce szkoleń?
Największa wartość AI nie polega więc na tym, że generuje kolejny raport. Jej siła polega na wykrywaniu wzorców, których człowiek może nie zauważyć od razu. Jeśli system widzi, że uczestnicy z określonego działu często zatrzymują się w tym samym module, osiągają niższe wyniki w podobnych pytaniach i rzadziej wracają do materiałów, może to być sygnał, że problem nie leży w zaangażowaniu, ale w konstrukcji szkolenia albo niedopasowaniu poziomu trudności.
AI może też wspierać personalizację ścieżek nauki. Uczestnik, który ma trudność z danym zagadnieniem, może otrzymać dodatkowe materiały, krótsze powtórki, ćwiczenia praktyczne albo alternatywny moduł. Z kolei osoba, która szybko opanowała podstawy, nie musi przechodzić przez wszystkie treści w takim samym tempie jak reszta grupy.
To szczególnie ważne w większych organizacjach, gdzie jedna ścieżka szkoleniowa rzadko odpowiada wszystkim pracownikom. Innych danych i wsparcia potrzebuje nowa osoba w onboardingu, innych handlowiec uczący się nowego produktu, a jeszcze innych pracownik przechodzący obowiązkowe szkolenie compliance.
Z naszego doświadczenia wynika, że AI w E-Learning Analytics najlepiej działa wtedy, gdy nie zastępuje decyzji człowieka, ale pomaga je podejmować szybciej i na podstawie lepszych danych. System może wskazać ryzyko, wzorzec lub lukę kompetencyjną. Ostateczna interpretacja nadal powinna należeć do zespołu L&D, managerów i osób odpowiedzialnych za rozwój pracowników.
Tradycyjne raportowanie a E-Learning Analytics wspierane przez AI
Obszar
Tradycyjne raportowanie
Learning Analytics z AI
Podejście do danych
Pokazuje, co wydarzyło się w kursie
Pomaga przewidywać, co może wydarzyć się dalej
Ukończenie szkolenia
Informuje, kto ukończył kurs
Może wskazać, kto jest zagrożony przerwaniem nauki
Problemy w kursie
Pokazuje wyniki i postępy
Pomaga wykryć moduły, które powodują trudności
Luki kompetencyjne
Widać je często dopiero po wynikach testów
Można je identyfikować wcześniej na podstawie wzorców zachowań
Ścieżka nauki
Taka sama dla wszystkich uczestników
Może być personalizowana do poziomu i potrzeb użytkownika
Rola człowieka
Analizuje raport po zakończeniu szkolenia
Interpretuje rekomendacje AI i podejmuje decyzje rozwojowe
Komentarz eksperta TTMS:
Pod pojęciem AI kryje się dziś znacznie więcej niż generatywna sztuczna inteligencja. W kontekście Learning Analytics ogromną rolę odgrywają również rozwiązania z obszaru data science i machine learning, które potrafią analizować duże zbiory danych oraz wykrywać zależności trudne do zauważenia podczas tradycyjnej analizy raportów.
W praktyce oznacza to możliwość identyfikowania anomalii i przewidywania problemów, zanim wpłyną one na skuteczność programu szkoleniowego. System może wskazać grupy uczestników zagrożone nieukończeniem kursu, wykryć moduły, które konsekwentnie sprawiają trudność, czy zidentyfikować wzorce zachowań świadczące o lukach kompetencyjnych. Dzięki temu organizacja nie ogranicza się do analizowania przeszłości, ale może szybciej reagować i na bieżąco doskonalić zarówno treści szkoleniowe, jak i cały proces rozwoju pracowników.
Norbert Kulski Head, of BI & Automation Solutions | TTMS
9. Podsumowanie – Analiza danych szkoleniowych z AI
E-Learning Analytics to znacznie więcej niż analiza raportów z platformy LMS. Sam fakt ukończenia szkolenia, wysoki wynik testu czy częste logowanie do systemu nie są jeszcze dowodem na skuteczność procesu nauki.
Największym wyzwaniem dla organizacji jest przejście od mierzenia aktywności do mierzenia realnego wpływu szkolenia na zachowania pracowników i wyniki biznesowe. To właśnie dlatego coraz większe znaczenie zyskują modele takie jak Kirkpatrick, bardziej zaawansowane standardy zbierania danych, takie jak xAPI, oraz rozwiązania wykorzystujące sztuczną inteligencję.
Z naszego doświadczenia wynika, że najbardziej wartościowe organizacje nie pytają wyłącznie „czy szkolenie zostało ukończone?”. Zadają znacznie trudniejsze pytania: czego uczestnicy się nauczyli, jak wykorzystują wiedzę w pracy i czy szkolenie przyczynia się do realizacji celów biznesowych.
Dane same w sobie nie poprawiają jakości szkoleń. Wartość pojawia się dopiero wtedy, gdy organizacja potrafi przełożyć informacje z Learning Analytics na konkretne działania: poprawę treści, zmianę ścieżek nauki, lepsze wsparcie uczestników i skuteczniejsze programy rozwojowe.
W kolejnych latach rola E-Learning Analytics będzie prawdopodobnie rosła. Dzięki AI organizacje coraz lepiej rozumieją nie tylko to, co wydarzyło się podczas szkolenia, ale również jakie działania warto podjąć, aby zwiększyć efektywność nauki i szybciej rozwijać kompetencje pracowników.
Najważniejszy wniosek
Co oznacza w praktyce?
Completion rate to za mało
Ukończenie kursu nie oznacza zdobycia kompetencji.
Learning Analytics to nie raportowanie
Najważniejsze jest zrozumienie przyczyn zachowań uczestników.
Wiedza nie zawsze przekłada się na działanie
Wysoki wynik testu nie gwarantuje zmiany zachowań w pracy.
Dane szkoleniowe warto łączyć z KPI biznesowymi
Dopiero wtedy można ocenić realny wpływ szkolenia.
AI pomaga przewidywać, a nie tylko raportować
Możliwe staje się wcześniejsze wykrywanie ryzyk, luk kompetencyjnych i potrzeb szkoleniowych.
10. Jak TTMS pomaga organizacjom mierzyć skuteczność szkoleń?
W TTMS pomagamy organizacjom nie tylko tworzyć szkolenia e-learningowe, ale też lepiej rozumieć, czy rzeczywiście działają. Łączymy doświadczenie w projektowaniu szkoleń, analizie danych i wdrażaniu rozwiązań opartych na AI, aby wspierać firmy na każdym etapie procesu: od przygotowania materiałów, przez publikację kursów, aż po analizę efektów.
Nasze rozwiązania pozwalają przekształcać firmową wiedzę, dokumentację, procedury i materiały eksperckie w szkolenia online, a następnie analizować postępy uczestników, wyniki testów i dane dotyczące zaangażowania. Dzięki temu organizacje mogą szybciej zauważyć, które treści działają dobrze, gdzie uczestnicy napotykają trudności i które obszary wymagają dodatkowego wsparcia.
W praktyce oznacza to przejście od prostego pytania „czy pracownik ukończył szkolenie?” do znacznie ważniejszych pytań: czy zrozumiał materiał, czy potrafi wykorzystać wiedzę w pracy i czy szkolenie wspiera cele biznesowe organizacji.
Dzięki połączeniu e-learningu, Learning Analytics i AI pomagamy firmom projektować szkolenia, które nie kończą się na certyfikacie, ale realnie wspierają rozwój kompetencji, onboarding, compliance, sprzedaż i obsługę klienta.
FAQ
Jak brzmi termin learning analytics po polsku?
W polskiej branży e-learningowej najczęściej stosujemy bezpośrednie zapożyczenie z języka angielskiego, choć czasem można spotkać się z określeniem 'analityka nauki’ lub ‘analityka procesu szkolenia’
Jaka jest różnica między raportowaniem w LMS a analityką danych e-learningowych (Learning Analytics)?
Raportowanie w LMS pozwala sprawdzić „co się wydarzyło” (np. kto ukończył kurs, jaki był wynik testu), natomiast zaawansowana analityka danych e-learningowych pomaga zrozumieć „dlaczego” to się wydarzyło. Dzięki niej dowiesz się nie tylko, że uczestnicy nie ukończyli szkolenia, ale także w którym miejscu wystąpił problem i jak zoptymalizować treści, by zwiększyć ich skuteczność.
Czy standard SCORM wystarczy do nowoczesnej analizy e-learningu?
SCORM jest wystarczający do śledzenia podstawowej aktywności wewnątrz platformy LMS (ukończenie, wynik testu). Jednak, aby mierzyć realny wpływ szkoleń na organizację i śledzić proces uczenia się poza systemem (np. webinary, praca z bazą wiedzy, symulacje), niezbędny jest standard xAPI. Pozwala on na rejestrowanie każdego doświadczenia edukacyjnego pracownika w jednym miejscu.
Jak połączyć dane z e-learningu z wynikami biznesowymi firmy?
Skuteczna analityka procesu szkoleń wymaga zestawienia danych z LMS z konkretnymi wskaźnikami KPI Twojej organizacji – np. wynikami sprzedaży, poziomem obsługi klienta czy czasem wdrożenia (onboarding). Dzięki temu szkolenie przestaje być tylko „obowiązkiem”, a staje się mierzalnym narzędziem, które wspiera realne cele biznesowe firmy.
W jaki sposób sztuczna inteligencja wspiera analizę procesów szkoleniowych?
AI zmienia analitykę z reaktywnej na predykcyjną. Zamiast analizować tylko dane historyczne, sztuczna inteligencja potrafi wykrywać wzorce zachowań, które umykają człowiekowi. Może m.in. wskazać grupy uczestników zagrożone przerwaniem nauki, zidentyfikować luki kompetencyjne przed ich wystąpieniem lub personalizować ścieżki szkoleniowe, dopasowując je do poziomu trudności, z którym zmaga się pracownik.
Czytaj więcej
