Pilotaż AI w doskonaleniu procesów: jak zmierzyć efekt przed wdrożeniem
Udany pokaz AI dowodzi, że narzędzie potrafi wykonać wybrane zadanie. Pilotaż powinien odpowiedzieć na trudniejsze pytanie: czy pomaga w rzeczywistym procesie, także przy niepełnych danych, wyjątkach i konieczności poprawiania błędów? Dobry test zaczyna się od kryteriów oceny, zanim zespół zobaczy atrakcyjną demonstrację.
1. Wybierz jedno zadanie i opisz granice testu
Na początek wybierz zadanie powtarzalne, z dostępnymi przykładami i wynikiem, który można ocenić. Może to być wstępne przypisywanie kategorii zgłoszeniom albo wyszukiwanie właściwej instrukcji. Zapisz, co uruchamia pracę, jakie dane trafiają do narzędzia, co ma ono zwrócić i kto akceptuje wynik.
Unikaj zakresu „usprawnimy obsługę klienta”. Lepszy zakres to: „przygotujemy propozycję kategorii dla zgłoszeń dotyczących jednej grupy produktów; pracownik zatwierdzi wynik przed przekazaniem sprawy dalej”. Taki opis pozwala zliczyć poprawne wyniki i dokładnie ustalić czas pracy.
2. Zapisz stan wyjściowy
Zmierz dotychczasowy sposób pracy przed uruchomieniem narzędzia. Rejestruj całkowity czas obsługi, błędy, poprawki i oczekiwanie. Rozdziel proste sprawy od złożonych. Jeżeli w próbie ręcznej dominują trudne przypadki, a w teście AI łatwe, porównanie będzie mylące.
Dobór wielkości próby zależy od zmienności procesu, częstości ważnych błędów oraz celu testu. Kilkadziesiąt przykładów może pomóc znaleźć oczywiste problemy, ale nie daje automatycznie podstaw do stwierdzenia, że rozwiązanie jest bezpieczne i skuteczne w całym procesie. Rzadkie zdarzenia wymagają osobnej uwagi.
3. Oddziel przykłady do poprawiania rozwiązania od próby oceny
Na części przypadków dopracuj polecenie, listę kategorii i zasady przekazywania wyjątków do człowieka. Pozostałą część zachowaj do końcowej oceny. Jeśli po każdej próbie zmieniasz rozwiązanie, korzystając z odpowiedzi wzorcowych, testujesz głównie dopasowanie do znanych przykładów.
W próbie oceny uwzględnij również niekompletne opisy, sprzeczne informacje i przypadki spoza zakresu. Przygotuj wynik referencyjny uzgodniony przez osoby znające proces. Jeżeli eksperci nie zgadzają się co do prawidłowej kategorii, najpierw doprecyzuj definicje. AI nie naprawi sporu o znaczenie etykiety.
4. Policz pracę, którą narzędzie dodaje
Przykład hipotetyczny: obsługa 50 spraw trwa ręcznie po 8 minut, łącznie 400 minut. W wariancie z AI przygotowanie danych i propozycji wyniku zajmuje po 2 minuty, a sprawdzenie po 3 minuty na sprawę. Dodatkowe poprawki w 10 sprawach pochłaniają po 6 minut. Łączny czas wynosi 250 + 60 = 310 minut. Oszczędność w tej próbie to 90 minut, czyli 22,5%.
Do oceny wdrożenia trzeba jeszcze doliczyć konfigurację, szkolenie, utrzymanie oraz użycie narzędzi. Jeśli przełożenie procesu wymaga 20 godzin pracy, nie zapisuj tego kosztu jako zera tylko dlatego, że korzystasz z bezpłatnego planu. Oddziel jednorazowy nakład od kosztu powtarzającego się przy każdej sprawie.
Oszczędzony czas nie zawsze zamienia się w oszczędność pieniędzy. Może oznaczać większą przepustowość, krótszą kolejkę albo możliwość poświęcenia uwagi trudnym sprawom. Nazwij rzeczywisty efekt i sprawdź, czy pojawia się w miejscu, które ogranicza wynik całego procesu.
5. Przygotuj prostą kartę wyników
Czas pracy ludzi na sprawę — razem z kontrolą i poprawkami, z pokazaniem typowego wyniku oraz rozrzutu.
Jakość wyniku — odsetek poprawnych odpowiedzi oraz osobne zestawienie ważnych błędów i pominięć.
Praca dodatkowa — czas obsługi wyjątków, aktualizacji źródeł i nadzoru nad rozwiązaniem.
Wynik procesu — czas od wejścia sprawy do jej zakończenia i liczba spraw wracających do poprawy.
Zakres testu — liczba przypadków, okres, rodzaje spraw, wersja narzędzia i warunki, w których wykonano próbę.
6. Ustal decyzję: wdrażamy, poprawiamy czy kończymy
Kryteria przyjęcia zapisz przed testem. Przykładowo: czas całkowity ma się zmniejszyć, jakość nie może spaść, a każdy przypadek spoza zakresu musi trafić do ręcznej oceny. Konkretne progi wymagają uzgodnienia z właścicielem procesu; nie istnieje jeden właściwy zestaw dla wszystkich zastosowań.
Po pozytywnej ocenie zacznij od ograniczonego zakresu i zachowaj możliwość powrotu do poprzedniego sposobu pracy. Ustal właściciela, częstotliwość przeglądu i sygnały zatrzymania. Nowy produkt, zmieniona instrukcja lub inna struktura zgłoszeń mogą sprawić, że wcześniejsze wyniki przestaną opisywać bieżącą sytuację.
Czy da się zrobić pilotaż bez kupowania nowych narzędzi?
Często można rozpocząć od zatwierdzonego narzędzia już dostępnego w firmie, danych syntetycznych i arkusza wyników. Nie oznacza to wdrożenia bez nakładu pracy ani zgody na użycie dowolnego bezpłatnego serwisu do danych firmowych. Najpierw sprawdź zasady organizacji i warunki narzędzia. Celem pierwszej próby jest zdobycie dowodów, które uzasadnią następny krok — również decyzję o rezygnacji.
Czytaj dalej
Źródła i dalsza lektura
NIST AI RMF stanowi punkt odniesienia dla zarządzania ryzykiem i oceny AI. Przedstawiony plan pilotażu i przykład obliczeniowy są propozycją praktycznego zastosowania, a nie wymaganiami normy ani opisem wdrożenia.
Komentarze