Wybór systemu
Część cyklu: Testowanie narzędzi AI
Oddzielenie błędów rzeczowych od preferencji stylistycznych
Jak oddzielić zmianę ważnej informacji, treść do weryfikacji i uwagę o stylu podczas oceny odpowiedzi AI.
Błąd rzeczowy w odpowiedzi AI oznacza zmianę, pominięcie lub dodanie informacji istotnej dla zadania. Preferencja stylistyczna dotyczy brzmienia bez zmiany znaczenia. Rejestruj te uwagi oddzielnie, aby dobry styl nie maskował różnic, które mogą wpłynąć na działanie odbiorcy.
Najpierw porównaj znaczenie
Porównaj odpowiedź z ustalonym materiałem i kryteriami zadania. Sprawdź liczby, daty, nazwy, przeczenia, wyjątki i słowa ograniczające zakres, np. „może”, „wyłącznie”, „po potwierdzeniu”. Usunięcie warunku nie staje się zmianą stylistyczną tylko dlatego, że zdanie czyta się płynniej.
Przykład: materiał mówi, że zmianę terminu można potwierdzić po sprawdzeniu dostępności. Odpowiedź „Termin został zmieniony” przedstawia niepotwierdzoną decyzję jako fakt. Odpowiedź „Sprawdzimy dostępność i wtedy potwierdzimy termin” zachowuje warunek, używając innych słów. Ton tej odpowiedzi ocenia się osobno.
Nowe twierdzenie spoza materiału oznacz jako wymagające weryfikacji. Nie przyznawaj mu punktów za styl ani nie uznawaj go automatycznie za błąd: może być prawdziwe, ale wymaga potwierdzenia przed przyjęciem wyniku.
Zapisz trzy rodzaje uwag
| Obserwacja | Rodzaj uwagi | Co rozstrzyga ocenę |
|---|---|---|
| Zmieniona data | Błąd rzeczowy | Data w ustalonym materiale. |
| Dodana obietnica bez potwierdzenia | Treść do weryfikacji | Aktualne źródło i warunki zadania. |
| Dwa poprawne synonimy | Preferencja stylistyczna | Znaczenie i wymagane działanie pozostają takie same. |
| Zdanie niejasne mimo poprawnych faktów | Problem użyteczności | Czy odbiorca potrafi ustalić następny krok. |
Przy każdej uwadze wskaż fragment odpowiedzi i powód klasyfikacji. Jeśli niejasność może sprawić, że odbiorca pominie warunek, opisz możliwy skutek. Wyjaśnienie różnicy jest cenniejsze niż sama etykieta.
Różnica między błędem rzeczowym a preferencją stylistyczną
- Błąd rzeczowy
- Zmiana, pominięcie lub dodanie informacji istotnej (np. data, warunek, wyjątki).
- Treść do weryfikacji
- Nowe twierdzenia spoza materiału źródłowego – wymagają potwierdzenia.
- Preferencja stylistyczna
- Zmiana brzmienia bez zmiany znaczenia (np. synonimy, struktura zdania).
Rodzaje uwag w ocenie odpowiedzi AI
- Błędy rzeczowe
- Zmienione dane, warunki lub wykluczenia
- Treści do weryfikacji
- Nowe stwierdzenia bez potwierdzenia w materiale
- Uwagi o stylu
- Poprawne zmiany brzmienia bez zmiany znaczenia
Rozstrzygaj spór na podstawie zadania
Gdy oceniający różnie interpretują materiał, poproś osobę odpowiedzialną za jego treść o ustalenie znaczenia. Gdy różnią się tylko upodobaniem do tonu, wróć do odbiorcy i zasad redakcyjnych ustalonych przed próbą. Nierozstrzygnięty spór oznacz w wyniku oceny.
W podsumowaniu serii pokaż osobno: odpowiedzi ze zmianą istotnej informacji, odpowiedzi z treścią wymagającą potwierdzenia, odpowiedzi wymagające wyłącznie redakcji oraz przyjęte bez poprawki.
Taki podział pokazuje, jakiego rodzaju pracy wymaga wynik. Szczegółowa weryfikacja twierdzeń w gotowym tekście to osobne zadanie – tutaj chodzi o równe klasyfikowanie odpowiedzi podczas oceny narzędzia.
