Czym jest benchmark FairStress i ukryte asymetrie
Standardowe testy sprawiedliwości demograficznej sprawdzają, czy model wybiera tego samego kandydata w identycznych scenariuszach, gdy zmieniane są jedynie tożsamości demograficzne. Taka metoda może jednak ukrywać różnice w tym, jak łatwo model zmienia swoją decyzję pod wpływem krytyki. Narzędzie FairStress powstało, aby mierzyć te ukryte asymetrie poprzez wprowadzanie argumentów perswazyjnych, zwanych prefiksami analitycznymi lub kontradyktoryjnymi.
Benchmark zawiera trzysta realistycznych scenariuszy decyzyjnych w dziewiętnastu dziedzinach, takich jak rekrutacja, ochrona zdrowia, pożyczki, edukacja czy wymiar sprawiedliwości. Część scenariuszy ma wyraźnie silniejszego kandydata, co pozwala ocenić, czy informacje o tożsamości wpływają na trzymanie się faktów. Pozostałe scenariusze są dwuznaczne i nie wskazują obiektywnie lepszego wyboru, co pozwala zbadać preferencje modelu w sytuacji braku jasnych dowodów.
Wyniki testów na modelach językowych
W eksperymentach na modelach o otwartych wagach i systemach komercyjnych autorzy zauważyli zjawisko nazwane nadmierną korektą anty-stereotypową. Kiedy kandydat większościowy miał lepsze kwalifikacje, a model otrzymał argument faworyzujący słabszego kandydata będącego przedstawicielem mniejszości, częściej porzucał on swój pierwotny, poprawny wybór. W odwrotnej sytuacji, gdy silniejszy kandydat należał do mniejszości, modele rzadziej ulegały takim samym argumentom.
Różnice te pojawiały się zarówno przy jawnym oznaczaniu tożsamości, jak i przy tożsamościach ukrytych w treści. Modele inaczej również wyjaśniały swoje wybory w zależności od grupy demograficznej. W uzasadnieniach wyborów faworyzujących mniejszości częściej pojawiały się słowa dotyczące odporności i barier, podczas gdy przy grupach większościowych stosowano terminologię proceduralną i opartą na kryteriach.
Porównanie z tradycyjnymi testami i analiza danych treningowych
Autorzy porównali wyniki FairStress z popularnym benchmarkiem BBQ, który bada odpowiedzi zgodne ze stereotypami. Tradycyjne testy oparte na ocenianiu prawdopodobieństw stałych opcji często wykazywały skłonność do odpowiedzi stereotypowych. Gdy jednak zmieniono metodę na generowanie własnych odpowiedzi przez model w ramach szablonu czatu, wyniki ulegały zmianie w kierunku faworyzowania mniejszości. Oznacza to, że kierunek wykrywanej dyskryminacji zależy od sposobu zadawania pytań.
Audyt danych treningowych jednego z modeli wykazał dysproporcje w portretowaniu grup demograficznych. Grupy mniejszościowe częściej otrzymywały ochronne lub pozytywne ramowanie, podczas gdy osoby cisgenderowe i białe miały mniej pozytywnych kontekstów. Większość testowanych technik usuwania uprzedzeń nie redukowała asymetrii bez znacznego spadku dokładności modeli. Wyjątkiem okazało się podejście oparte na łańcuchu myśli z uwzględnieniem kontrfaktycznym, które zmniejszało różnice w porzucaniu poprawnych decyzji przy zachowaniu ogólnej skuteczności.
