Projekty i współpraca
Część cyklu: AI do spotkań i dokumentów
Pomiar pracy potrzebnej do poprawy błędów AI
Jak mierzyć czas kontroli i korekt transkrypcji, notatek oraz pól dokumentów i porównać go z dotychczasową pracą.
Mierz pracę człowieka od otrzymania wyniku AI do przyjęcia go do użycia. Wlicz odnalezienie źródła, kontrolę, poprawki i ponowne sprawdzenie. Sama liczba błędów ani szybkość wygenerowania szkicu nie pokazują, ile pracy pozostaje zespołowi.
Ustal, co oznacza wynik gotowy do użycia
Ustal, co oznacza wynik gotowy do użycia
Dla transkrypcji może to być zapis, z którego da się odczytać ważne wypowiedzi. Dla notatki ze spotkania — potwierdzone decyzje, osoby odpowiedzialne i terminy. Dla ekstrakcji dokumentu — pola zaakceptowane przed przekazaniem do następnego procesu. Określ osobę oceniającą i warunek przyjęcia przed próbą. Wyników tych trzech rodzajów nie łącz w jedną średnią.
Jeśli pracownik musi odsłuchać całe spotkanie albo poprawić wartość także w systemie docelowym, uwzględnij te czynności. Pomiar kończy się po zatwierdzeniu wyniku w miejscu użycia, nie po zamknięciu edytora.
Zapisuj czynności i ich czas
Zapisuj czynności i ich czas
Dla każdej sprawy zanotuj:
- Przygotowanie:odnalezienie nagrania lub dokumentu i otwarcie wyniku.
- Kontrolę:porównanie ważnych wypowiedzi, ustaleń lub pól ze źródłem.
- Korektę:zmianę błędnych słów, osób, decyzji lub wartości.
- Odbiór:ponowne sprawdzenie i zatwierdzenie wyniku.
Obok czasu wpisz rodzaj błędu i skutek. Jedna błędna kwota może wymagać dłuższej kontroli niż kilka literówek. Oznacz także wynik odrzucony, napisany od nowa lub pozostawiony do wyjaśnienia. Zachowaj czas poświęcony takim sprawom w łącznym nakładzie.
Porównaj z dotychczasową pracą
Porównaj z dotychczasową pracą
Zmierz podobne zadania wykonywane bez ocenianego narzędzia i zastosuj ten sam warunek przyjęcia. Porównaj czas pracy potrzebny do gotowego wyniku. Czas oczekiwania na wygenerowanie wyniku możesz zapisać osobno, jeśli wpływa na przebieg pracy; nie mieszaj go z czasem aktywnej kontroli i korekt.
Przykład hipotetyczny: notatka pojawia się szybko, lecz pracownik musi odnaleźć w nagraniu źródło każdego zadania. Czas weryfikacji należy do nakładu tej sprawy. Szybkie wygenerowanie notatki samo w sobie nie oznacza oszczędności pracy.
Odczytaj wynik próby
Odczytaj wynik próby
Dla każdej grupy zadań podaj liczbę wyników przyjętych, odrzuconych i nierozstrzygniętych, łączny czas pracy oraz czas przypadający na przyjęty wynik. Jeśli nie przyjęto żadnego, ostatnia miara jest nieokreślona, choć poniesiony czas pozostaje w rejestrze. Pokaż osobno proste pliki i trudne skany, jeśli wymagają różnej pracy.
Zapisz materiał, konfigurację i warunek odbioru. Po zmianie ustawień lub procedury powtórz próbę na porównywalnych zadaniach, aby sprawdzić, czy nakład rzeczywiście się zmniejszył.
