Wybór systemu
Część cyklu: Testowanie narzędzi AI
Publikowanie ograniczeń zamiast samych sukcesów
Raport z testu AI powinien pokazywać zakres, nieudane przypadki, pracę człowieka i granice wniosków obok udanych wyników.
Publikując wynik próby narzędzia AI, podaj zakres testu i nieudane przypadki obok udanych. Czytelnik powinien wiedzieć, jakie zadania wykonano, w jakich warunkach, według jakich kryteriów oceniono odpowiedzi i czego próba nie potwierdza. Jedna dobra odpowiedź bez tego kontekstu może sugerować więcej, niż wynika z testu.
Zalety i ograniczenia publikowania danych testowych AI
- Zalety
- Zwiększa wiarygodność testu, pozwala na ocenę kontekstu i ograniczeń, wspiera niezależne weryfikacje
- Ograniczenia
- Wymaga transparentności, może ujawniać słabe strony narzędzia; ryzyko nadinterpretacji bez odpowiedniego kontekstu
Opisz zakres przy wyniku
Opisz zakres przy wyniku.
Podaj rodzaj zadania, użyte materiały, liczbę prób, datę i dostępną konfigurację narzędzia. Jeżeli sprawdzano polski język albo określony rodzaj dokumentu, zaznacz to przy wyniku. Wniosku z takiej próby nie przenoś bez sprawdzenia na inne języki, dokumenty, role czy plany.
Oddziel informacje zaobserwowane w próbie, podane w dokumentacji dostawcy i niesprawdzone. Dokumentacja może potwierdzać dostępność funkcji w określonych warunkach, ale nie potwierdza jakości odpowiedzi na materiałach firmy. Jeśli przyjęcie wyniku wymagało pracy człowieka, uwzględnij ją w opisie.
Pokaż także nieudane wyniki
Pokaż także nieudane wyniki.
Podaj liczbę odpowiedzi przyjętych, poprawionych i odrzuconych według wcześniej ustalonych zasad. Opisz rodzaje istotnych błędów, liczbę przypadków każdego rodzaju w ocenionej serii oraz ich możliwy skutek. Nie wybieraj wyłącznie przykładów pasujących do wniosku. Jeśli nie możesz ujawnić materiałów wejściowych, zaznacz, jak ogranicza to niezależną kontrolę wyniku.
Hipotetyczny opis: „W jednej z prób odpowiedź pominęła warunek potwierdzenia terminu. Przed wysłaniem klientowi wymagałaby poprawki”. To przykład formy raportu, a nie wynik wykonanego testu. Fragmenty udostępniane publicznie powinny nadawać się do takiego użycia.
Zapisz granicę wniosku
Zapisz granicę wniosku.
Element raportu / Informacja potrzebna czytelnikowi
- Zakres
- Zadanie, język, materiały i warunki próby.
- Wynik
- Liczba odpowiedzi w każdej kategorii i zasada ich oceny.
- Błędy
- Różnice mogące zmienić działanie odbiorcy.
- Praca człowieka
- Sprawdzenia i poprawki przed użyciem.
- Granica
- Zadania i warunki, których wynik nie obejmuje.
Jeśli seria była mała, podaj jej wielkość. Jeśli brakowało wzorca albo sporu nie rozstrzygnięto, zapisz to jako ograniczenie. Odsetek przyjętych odpowiedzi wymaga jasnego licznika, mianownika i definicji przyjęcia; nawet wtedy opisuje badaną serię, a nie gwarantuje przyszłego wyniku.
Wniosek może dotyczyć wąskiego zastosowania, na przykład przygotowywania szkiców sprawdzanych przez pracownika. Wskaż, jakie zmiany narzędzia, materiałów lub sposobu użycia wymagałyby kolejnej oceny. Gdy próba nie wystarcza do decyzji, nazwij brakującą informację.
Krytyczne granice wniosków z testu AI
- Brak wzorca referencyjnego
- Uwaga: brak rozstrzygnięcia dla 3 przypadków
- Wymagana praca człowieka
- Wszystkie odpowiedzi wymagały sprawdzenia przez użytkownika
