Wybór systemu
Część cyklu: Testowanie narzędzi AI
Powtórzenie tego samego zadania w kilku próbach
Powtarzaj zadanie AI przy stałych warunkach, zapisuj wszystkie odpowiedzi i oceniaj zmienność bez nadmiernych uogólnień.
Uruchom to samo zadanie kilka razy z tą samą wersją polecenia, materiałów i ustawień. Oceń każdy wynik według tych samych, wcześniej zapisanych kryteriów. Powtórzenie ujawnia zmienność w serii, ale nie dowodzi przyszłej niezawodności narzędzia.
Zachowaj pakiet i warunki próby
Przygotuj pakiet: zadanie, dane wejściowe, oczekiwany wynik i kryteria. Zapisz nazwę modelu lub usługi, plan, dostępne ustawienia, datę oraz rolę użytkownika, jeśli wpływa na dostęp. Gdy konfiguracja usługi zmieni się poza kontrolą firmy, oznacz to jako ograniczenie porównania.
Każdą próbę rozpocznij w tym samym trybie – rozmowa z wcześniejszymi odpowiedziami i poprawkami nie jest tym samym wejściem co nowa. Zachowaj pełne odpowiedzi: odmowy, wyniki urwane i te wymagające przepisania. Wybór tylko najładniejszego rezultatu ukryłby pozostałe wyniki serii.
Ustal serię przed jej uruchomieniem
Wybierz zadanie, którego wynik ma znaczenie dla firmy. W hipotetycznej odpowiedzi klientowi sprawdzaj w każdej próbie ten sam termin, warunek jego potwierdzenia i następny krok. Pominięcie warunku odnotuj, nawet gdy inne odpowiedzi go zachowują.
Nie ma jednej liczby powtórzeń właściwej dla każdego zadania – dobierz serię do znaczenia wyniku i możliwości firmy, a jej koniec zapisz przed rozpoczęciem. Jeśli po pierwszych odpowiedziach dodasz kolejne próby, wyraźnie oddziel je od zaplanowanej serii i podaj powód. Mała seria może wskazać problem, ale nie pozwala wiarygodnie oszacować działania w każdej przyszłej sprawie.
Pokaż wyniki bez ukrywania błędów
Dla każdej próby zapisz identyfikator, ocenę warunków koniecznych, potrzebną poprawkę i decyzję: przyjąć, poprawić lub odrzucić. W podsumowaniu podaj liczbę wyników w każdej grupie oraz rodzaj i skutek istotnych błędów. Średnia ocena stylu nie powinna zasłonić pojedynczej odpowiedzi, która zmienia ważną datę.
Jeśli porównujesz narzędzia, użyj tego samego zestawu zadań i zaplanowanej liczby podejść, o ile oba narzędzia pozwalają je wykonać. Odmowę, limit lub niedostępną funkcję zapisz jako wynik albo ograniczenie, zamiast usuwać taki przypadek z porównania. Po zmianie polecenia rozpocznij nową serię. Jej wyniki mogą pokazać skutek poprawki, ale nie należą do oceny pierwotnej wersji.



