...

Cyfrowa transformacja i Pingwiny czyli jak analizować, przetwarzać i przechowywać dane w 2024 roku?

Spis treści
    Cyfrowa transformacja i Pingwiny

    Niektóre gatunki pingwinów zasypiają 10000 razy dziennie. Trochę jak rodzice małych dzieci, którzy budzą się co 5 minut, aby sprawdzić, czy dziecko oddycha lub by zmienić pieluchę albo nakarmić niemowlę. Zasypianie 10000 razy dziennie brzmi niewiarygodnie, ale i fascynująco. Natura bywa zaskakująca prawie tak bardzo, jak pomysł badaczy pingwinów dla przeciętnego człowieka by zbadać ich zwyczaje związane z zasypianiem. Kiedy pomyślę o ilości danych, które musiały zostać zebrane w związku z tym zjawiskiem nasuwają mi się pytania:

    Jak można zbadać coś takiego? Jak przeanalizować taką ilość danych, która wypływa z tej gigantycznej liczby cykli snu?

    1. Po co w zasadzie ludzkość gromadzi informacje?

    Aby zrozumieć skomplikowaną naturę badaczy, którzy mieli w sobie tyle determinacji by obserwować habitat pingwinów cofnijmy się do początku.

    Ludzkość gromadzi informacje od tysięcy lat. Nasz gatunek intuicyjnie wie, że więcej informacji to: lepsze i szybsze podejmowanie decyzji, lepsze zrozumienie źródła problemu, oraz skomplikowanych zagadnień, a także bezpieczeństwo i zapobieganie zagrożeniom. Najpierw informacje gromadzono w postaci ustnych przekazów, potem były to naskalne rysunki, następnie coraz bardziej zaawansowane rodzaje pisma.

    Przekazywanie wiedzy przy pomocy pisma powszedniało. Początkowo umiejętność pisania i czytania były dostępne dla najbogatszych oraz duchowieństwa (średniowiecze). To właśnie te dwie grupy społeczne miały niegdyś jedyny dostęp do informacji przekazywanych pisemnie. Z czasem – wraz z rozwojem technik powielania treści (np. druk) przekazywanie informacji stało się przyczyną gwałtownego rozwoju edukacji i wiedzy. A szybki rozwój dostępności materiałów drukowanych napędził popularyzację umiejętności czytania i pisania. Więcej osób z tymi umiejętnościami napędzał szybszy rozwój nauki i przemysłu. Szybszy rozwój nauki i przemysłu spowodował natomiast to, że człowiek mógł przeznaczyć więcej środków na dalszy rozwój nauki i prowadzenie bardziej złożonych badań naukowych.

    W pewnym momencie doszliśmy do etapu, na którym przetwarzanie danych uzyskanych w trakcie eksperymentów w formie papierowej nie było efektywne. Dane zaczęto gromadzić w formie elektronicznej. Pojawienie się globalnej sieci internetowej było kolejnym impulsem, który przyśpieszył ilości gromadzonych, przetwarzanych i rozpowszechniania danych.

    Cyfrowa transformacja i Pingwiny

    2. Era Excela

    Przeskoczmy na chwilę w czasie do roku 1985. Wtedy powstał Excel. Cudowne narzędzie do gromadzenia, przetwarzania, dystrybucji i wizualizacji danych. Pozwalał tworzyć prognozy, wykresy, tabele, skomplikowane formuły czy nawet makra pomagające szybko przetworzyć duże ilości danych.

    Możliwości wykorzystania arkuszy kalkulacyjnych były w zasadzie ograniczone jedynie wyobraźnią użytkowników. Z czasem jednak zaczęliśmy dobijać do arkuszowej ściany. Oznacza to, że wykorzystywanie ich jako baz danych, narzędzi do harmonogramowania czy analizy statystycznej ogromnej ilości danych spowodowało powstanie “potworków” o objętości kilku gigabajtów, które potrafiły zatrzymać każdy komputer. Uniemożliwiały także korzystanie z nich na wielu urządzeniach jednocześnie. Arkusze nie nadawały się również do przechowywania ważnych informacji, z powodów technicznych ograniczeń np. braku historii zmian wprowadzanych do pliku. Nic więc dziwnego, że z czasem narzędzie to zaczęło napotkać własne ograniczenia. Zastosowanie Excela do zadań, do których nie był pierwotnie przeznaczony, jak zarządzanie bazami danych czy skomplikowaną analizą statystyczną, prowadziło z kolei do problemów wydajnościowych i technicznych. W rezultacie, mimo swojej wszechstronności, Excel nie spełniał wszystkich wymagań nowoczesnych organizacji, co pokazało potrzebę bardziej zaawansowanych narzędzi.

    3. Doceniam Cię, ale odchodzę, czyli pożegnanie z Excelem

    Każde przedsiębiorstwo musi dorosnąć do wyjścia z „klatki Excela”. Jego uniwersalność powoduje, że całkiem nieźle nadaje się do wszystkiego… Ale tylko całkiem nieźle. W miarę wzrostu złożoności procesów konieczne jest stosowanie wyspecjalizowanych narzędzi, zapewniających bezpieczeństwo i szybką analizę kluczowych danych i procesów.

    Dla uwidocznienia tego problemu można pokusić się o wyrysowanie osi czasu z poszczególnymi punktami: od palca wymazanego w barwniku, poprzez pismo klinowe, papier, Excela, aż do AI. Nie ma już powrotu do naskalnych rysunków. To jest dla nas logiczne. Natomiast ciągle trzeba jeszcze przekonywać, że era papieru już się skończyła, a Excela właśnie dobiegła końca.

    Czy w czasach, kiedy ludzkość, każdego dnia, wytwarza coraz więcej danych, możemy sobie pozwolić na stosowanie papieru? Papieru, który jest trochę lepszy niż gliniana tabliczka?

    To oczywiście pytania retoryczne.

    Co do pingwinów — żeby sprawdzić, czy ptak śpi, trzeba było analizować znacznie więcej parametrów niż jego sen. Sprawdzano takie parametry jak aktywność elektryczną mózgu (niezależnie dla każdej półkuli), ruchy ciała i mięśni szyi, a nawet, na jakiej głębokości w oceanie ptaki polowały na ryby. Wyniki obserwacji były zaskakujące. Okazało się, że ptaki nie spały długo. Jedna uśredniona drzemka pingwina trwała 1-4 sekundy. Trzeba jednak wspomnieć, że takich drzemkę było nawet kilkaset razy na godzinę. Po zsumowaniu czasu wszystkich chwil przeznaczonych na sen okazało się, że zwierzęta były w stanie spać do 15 godzin na dobę.

    W tym konkretnym przypadku Excel wystarczył, bo to była analiza przeprowadzona dla jedynie 14 osobników. Jak się jednak domyślacie, przy ich większej ilości mogłyby pojawić się problemy z wydajnością narzędzi obliczeniowych.

    Dlatego coraz więcej przedsiębiorstw zwłaszcza z branż, gdzie gromadzenie danych jest kluczowe, odchodzi od arkuszy na rzecz bardziej zaawansowanych narzędzi. Jest to oczywiste następstwo wynikające z rozwoju każdej firmy.

    Cyfrowa transformacja i Pingwiny

    4. Jak analizować, przetwarzać i przechowywać dane w 2024 roku?

    Wspomniane pingwiny, były badane pod kątem parametrów mogących wskazywać na to, że zapadają w sen. Zapadały w sen na kilka sekund, nawet 600 razy na godzinę. Oznacza to, że pomiary powinny się odbywać z częstotliwością nie mniejszą niż co 0,5 sekundy. Jeden parametr zajmie 170 000 komórek w arkuszu, w przypadku tylko jednego badanego ptaka dziennie. W ciągu 10 dni ilość ta wzrośnie do 1 700 000. Mnożąc ten wynik przez 14 (całkowita ilość badanych osobników), uzyskamy prawie 24 mln komórek. Jeśli zaś pomnożymy to przez 10 różnych parametrów (które także były badane) uzyskamy 240 mln komórek zajętych parametrami życiowymi 14 pingwinów.

    Jeśli zmierzymy jeszcze więcej parametrów, to dochodzimy do ściany w postaci limitu ilości komórek w arkuszu.

    Podobny problem występuje w przypadku każdego procesu jakościowego, który chcielibyśmy prowadzić przy pomocy Excela. Jeśli proces wymaga wdrożenia audit trail (zapis kontroli — chronologiczny zapis wszystkich operacji) to objętość arkusza zaczyna się zwiększać bardzo szybko.

    Oczywiście Excel jest znacznie lepszym miejscem do przechowywania danych od wspomnianych w tym artykule wielokrotnie, glinianych tabliczek i papirusu. Nie nadaje się jednak, żeby używać go jako bazy danych. Właśnie po to stosuje się dedykowane narzędzia do gromadzenia danych. O to kilka z nich:

    Systemy klasy MES (skrót od Manufacturing Execution System, czyli system do nadzoru i kontroli procesu produkcyjnego, który może dbać o właściwe jego parametry i wydajność) pozwalają nadzorować i planować procesy produkcyjne, ERP (Enterprise Resource Planning) pomagają w zarządzaniu całym przedsiębiorstwem, a EDMS (Electronic Document Management System) umożliwiają i ułatwiają kontrolę nad jakością i dostępnością dokumentów. Wszystkie powyższe kategorie (i wiele innych) wymagają właściwej infrastruktury i obsługi. Warto wspomnieć, że każdy z tych systemów może być wspierany w pewnym zakresie przez AI. Wykonywanie scoringu i analiza ogromnej ilości danych jest tym, do czego AI się doskonale nadaje. Pozwala to optymalizować procesy w sposób niedostępny w prostych narzędziach typu Excel.

    W wielu przypadkach również w walidacji systemów skomputeryzowanych kluczowe dla bezpiecznej i wydajnej pracy każdego systemu komputerowego jest określenie wymagań użytkownika, i właściwe zrozumienie jego potrzeb. Również przez samego użytkownika.

    ”Hurra optymizm” ze strony klienta, który może się pojawić po świetnej prezentacji sprzedażowej wersji demo systemu, jest niezbyt dobrą praktyką, bo zazwyczaj nie uwzględnia realnych potrzeb biznesu, możliwości systemu i infrastruktury.

    Dostawcy są z reguły zainteresowani dobrą współpracą z klientem i dostarczeniem mu tego czego realnie potrzebuje, ale nie są w stanie spędzić wystarczająco dużo czasu z nim, aby wycenić jego realne potrzeby. Dotyczy to zwłaszcza sytuacji, kiedy wdrażanie narzędzie jest czymś nowym i użytkownik nie zawsze zdaje sobie sprawę ze swoich potrzeb (np. walidacja i śledzenie zmian, które może okazać się wymagane, czego Excel nie wspiera w zakresie wymaganym dla dużych ilości danych, a niewłaściwie dobrane narzędzie może wymagać niewykonalnych  customizacji w celu implementacji właściwego rozwiązania).

    Przykładowo naukowcy od pingwinów zaczęli od opracowania metodyki, sprawdzenia poprzednich publikacji dotyczących tego zagadnienia i zastanowienia się nad tym co należy zbadać w celu uzyskania konkretnych danych.

    W przypadku systemów komputerowych ten fragment nazywa się “definiowaniem wymagań użytkownika”.

    Aby firma mogła skutecznie ustalić, jakie funkcjonalności powinien mieć nowy system do gromadzenia, przechowywania i przetwarzania danych, który ma zastąpić Excela, warto przejść przez kilka kluczowych kroków:

    1. Analiza wymagań biznesowych – Firma powinna zebrać i przeanalizować wszystkie potrzeby oraz cele związane z danymi w całej organizacji. Ważne jest zrozumienie, jakie procesy mają być wspierane przez nowy system i jakie konkretne problemy należy rozwiązać.
    2. Zaangażowanie kluczowych użytkowników – Warto przeprowadzić wywiady, ankiety lub warsztaty z pracownikami, którzy obecnie korzystają z Excela. Dzięki temu można poznać ich codzienne potrzeby i dowiedzieć się, z jakimi ograniczeniami i wyzwaniami się borykają.
    3. Mapowanie procesów i przepływów danych – Firma powinna prześledzić, jak przepływają dane w różnych działach. Przejrzyste mapowanie procesów pozwala zidentyfikować, jakie funkcjonalności są potrzebne, aby zautomatyzować, usprawnić lub zintegrować różne etapy pracy z danymi.
    4. Identyfikacja kluczowych funkcji i braków Excela – Przeanalizowanie, gdzie Excel nie spełnia oczekiwań, jest kluczowe. Na przykład, może brakować możliwości równoczesnej pracy wielu użytkowników, zaawansowanego raportowania, analizy w czasie rzeczywistym, integracji z innymi systemami czy zapewnienia odpowiedniego poziomu bezpieczeństwa.
    5. Analiza dostępnych technologii i rozwiązań – Firma powinna zbadać dostępne na rynku rozwiązania, które oferują funkcjonalności wymagane do realizacji wytyczonych celów.
    6. Zdefiniowanie priorytetów i niezbędnych funkcjonalności – Po zebraniu wszystkich wymagań firma powinna stworzyć listę funkcjonalności według priorytetów. Kluczowe funkcje mogą obejmować np. przechowywanie dużych wolumenów danych, analitykę w czasie rzeczywistym, automatyczne raportowanie, bezpieczeństwo danych, czy możliwość integracji z innymi systemami.
    7. Testowanie rozwiązań – O ile to możliwe warto przeprowadzić testy wybranych rozwiązań z udziałem użytkowników końcowych. Pozwoli to firmie ocenić, jak nowe funkcje sprawdzają się w praktyce i czy odpowiadają na potrzeby pracowników.
    8. Wybór dostawcy i wdrożenie pilotażowe – Po wstępnych testach firma może wybrać dostawcę systemu, który najlepiej spełnia wymagania, i przeprowadzić wdrożenie pilotażowe. Taki pilotaż pozwoli na dostosowanie systemu do specyfiki pracy w firmie przed pełnym wdrożeniem.

    Przechodząc przez te kroki, firma będzie w stanie dokładnie określić, jakie funkcjonalności są potrzebne w nowym systemie i wybrać rozwiązanie, które najlepiej odpowiada jej wymaganiom.

    Cyfrowa transformacja i Pingwiny

    5. Nowoczesne Zarządzanie Danymi – Podsumowanie i Wnioski

    Poruszyłem temat złożoności gromadzenia, przechowywania i analizy danych na przykładzie badań nad snem pingwinów, aby pokazać, że przejście od Excela, do dedykowanych systemów klasy ERP, MES i EDMS jest konieczne. Takie rozwiązania są niezbędne dla firm przetwarzających ogromne ilości danych.

    W dobie cyfryzacji tradycyjne arkusze nie spełniają już potrzeb dynamicznego biznesu, a optymalne zarządzanie danymi wymaga profesjonalnych narzędzi oraz zrozumienia realnych wymagań użytkowników.

    Wracając do tematu samych pingwinów – wyobraźmy sobie, że ktoś zasypia i budzi się 600 razy na godzinę. Można by powiedzieć, że niemal cały czas śpi, budząc się tylko po to, by coś załatwić. To przypomina użytkownika podczas wdrożenia systemu, który nie przemyślał dokładnie swoich potrzeb. A to właśnie użytkownik i jego potrzeby są kluczowe w każdej implementacji. Często sam użytkownik nie potrafi właściwie zdefiniować swoich oczekiwań, nie zdaje sobie sprawy z konieczności przeprowadzenia walidacji, lub przeciwnie – myśli, że jest ona niezbędna, co prowadzi do niepotrzebnych wydatków.

    „Nadjakościowość” – to słowo, które właśnie wymyśliłem, ale dobrze oddaje zjawisko przesadnej dbałości o jakość.

    A jak jest w przypadku „niedojakościowości”? Tutaj sprawa jest znacznie poważniejsza – może to prowadzić do zakłóceń w kluczowych procesach biznesowych, co zagraża bezpieczeństwu pacjentów, jakości produktów i obniża rentowność przedsiębiorstwa.

    A co to ma wspólnego z Excelem? Każde przedsiębiorstwo powinno dbać o bezpieczeństwo i wydajność swoich procesów biznesowych. Aby to osiągnąć, procesy te powinny być wspierane przez odpowiednie narzędzia, które mogą zapewnić specjaliści w tej dziedzinie.

    Jeśli ten artykuł Cię zainteresował, masz pytania lub potrzebujesz wsparcia w zakresie transformacji cyfrowej, zostaw nam wiadomość. Nasz zespół ekspertów od Zarządzania Jakością pomoże spełnić Twoje oczekiwania w obszarze cyfrowej zmiany.

    Poznaj nasze case studies dotyczące zarządzania danymi i transformacji cyfrowej:

    Wiktor Janicki Poland

    Transition Technologies MS świadczy usługi informatyczne terminowo, o wysokiej jakości i zgodnie z podpisaną umową. Polecamy firmę TTMS jako godnego zaufania i rzetelnego dostawcę usług IT oraz partnera wdrożeniowego Salesforce.

    Czytaj więcej
    Julien Guillot Schneider Electric

    TTMS od lat pomaga nam w zakresie konfiguracji i zarządzania urządzeniami zabezpieczającymi z wykorzystaniem różnych technologii. Ueługi świadczone przez TTMS są realizowane terminowo, i zgodnie z umową.

    Czytaj więcej

    Już dziś możemy pomóc Ci rosnąć

    Porozmawiajmy, jak możemy wesprzeć Twój biznes

    TTMC Contact person
    Monika Radomska

    Sales Manager