Wybór systemu
Część cyklu: Testowanie narzędzi AI
Przygotowanie kryteriów przed oceną wyników
Ustal kryteria oceny AI przed próbą: warunki przyjęcia, błędy dyskwalifikujące, wzorzec odpowiedzi i sposób zapisu sporów.
Kryteria oceny wyników AI zapisz przed obejrzeniem odpowiedzi. Określ: jaki wynik spełnia zadanie, który błąd go dyskwalifikuje i jak zapiszesz przypadek sporny. Atrakcyjne brzmienie odpowiedzi nie zmieni wtedy zasad porównania.
Zamień cel w warunki, które można sprawdzić
Zacznij od decyzji użytkownika: co ma zrobić z wynikiem? Hipotetyczne zadanie – odpowiedź na prośbę o zmianę terminu – może wymagać proponowanej daty, warunku jej potwierdzenia i następnego kroku. Polecenie „napisz dobrze” nie pozwala sprawdzić tych elementów.
Dla każdego warunku wskaż materiał, z którym porównasz odpowiedź: zatwierdzona informacja o usłudze albo ręcznie przygotowany wzorzec dla danych próbnych. Gdy brakuje informacji potrzebnej do odpowiedzi, prawidłowym wynikiem może być prośba o jej uzupełnienie. Jeśli odkryjesz błąd we wzorcu, popraw go jawnie i oceń wszystkie porównywane odpowiedzi według tej samej poprawionej wersji.
Ustal kolejność ocen
Najpierw sprawdź warunki, których naruszenie może zmienić działanie odbiorcy. Potem oceniaj jasność i ton.
| Kryterium | Warunek przyjęcia | Co sprawdzić w odpowiedzi |
|---|---|---|
| Poprawność ustaleń | Nie zmienia terminu, kwoty ani zakresu ze wzorca. | Zdanie i odpowiadający mu fragment materiału. |
| Kompletność | Zawiera informacje potrzebne do następnego kroku. | Elementy obecne i brakujące. |
| Brak danych | Nie przedstawia domysłu jako potwierdzonego ustalenia. | Reakcję na niepełne wejście. |
| Jasność | Odbiorca rozumie, co ma zrobić. | Fragment wymagający poprawki. |
To przykładowa karta, nie uniwersalna punktacja. Jeśli błędna kwota dyskwalifikuje odpowiedź w danym zadaniu, dobra ocena stylu nie może jej wyrównać. Przed próbą oznacz warunki obowiązkowe oraz poprawki, które dopuszczasz bez odrzucenia wyniku.
Porównanie warunków oceny według priorytetu
- Poprawność ustaleń
- brak zmiany terminu, kwoty lub zakresu – porównanie z wzorcem
- Kompletność
- obecność wszystkich elementów potrzebnych do następnego kroku
- Brak danych
- brak domysłów jako potwierdzonych ustaleń – reakcja na niepełne dane
- Jasność
- odbiorca rozumie, co ma zrobić – fragment wymagający poprawki
Sprawdź, czy kryteria dają podobne decyzje
Jeśli odpowiedzi ocenia więcej niż jedna osoba, przekaż wszystkim tę samą instrukcję i kilka przykładowych wyników. Niech wskażą decyzję oraz fragment, który ją uzasadnia. Różnicę między ocenami wykorzystaj do doprecyzowania kryterium przed właściwą serią. Nierozstrzygnięty spór zapisz, zamiast ukrywać go w średniej.
Próba może ujawnić ważny przypadek pominięty na karcie. Oznacz wtedy jej nową wersję i oceń wszystkie porównywane narzędzia według tych samych zasad. Na koniec sprawdź, czy każde kryterium dotyczy cechy istotnej dla zadania, a nie tylko cechy łatwej do policzenia.
