Paradoks przejrzystości: Jak ujawnianie dokładności AI może utrudniać podejmowanie decyzji
Wydaje się to rozsądne – przejrzystość ma budować zaufanie, zwiększać odpowiedzialność i poprawiać decyzje podejmowane przez ludzi. Ale co, jeśli ta intuicyjna koncepcja nie zawsze działa tak, jak zakładamy?
Niedawne badanie opublikowane w czasopiśmie Psychonomic Bulletin & Review rzuca nowe światło na tę kwestię. Wyniki wskazują, że większa przejrzystość – szczególnie ujawnianie dokładności systemów AI – może prowadzić do gorszych wyników decyzyjnych w zadaniach związanych z wyszukiwaniem informacji wizualnych.
Eksperyment: Jak przejrzystość wpłynęła na diagnostykę w mammografii?
Badacze skupili się na systemach wspomaganej komputerowo detekcji (CAD), które są używane w mammografii do identyfikowania potencjalnych zmian nowotworowych. Uczestnicy badania mieli za zadanie szukać oznak raka na mammogramach, korzystając z pomocy systemów CAD o różnej dokładności.
Badanie zostało zaprojektowane w taki sposób, aby manipulować poziomem przejrzystości – część uczestników była informowana o dokładności systemu, a część nie otrzymywała takich informacji.
Zaskakujące wyniki: Gorsza wydajność przy większej przejrzystości
Okazało się, że uczestnicy, którzy wiedzieli, jak dokładny jest system CAD, osiągali gorsze wyniki niż ci, którzy nie mieli takiej wiedzy. W jaki sposób przejrzystość negatywnie wpłynęła na ich wydajność?
- Więcej fałszywych alarmów – Uczestnicy częściej błędnie oznaczali zmiany jako nowotworowe, co w rzeczywistości prowadziłoby do niepotrzebnych badań i stresu pacjentów.
- Obniżona czułość – Ich zdolność do rozróżniania obszarów nowotworowych od zdrowych była mniejsza, co mogło skutkować pominięciem istotnych diagnoz.
- Większa liczba skierowań na dodatkowe badania – Więcej mammogramów było uznawanych za wymagające dalszej analizy, co obciążałoby system ochrony zdrowia.
- Niższa wartość predykcyjna dodatnia – Spośród pacjentek skierowanych na dalsze badania mniej faktycznie miało raka, co oznaczało, że przejrzystość prowadziła do mniej efektywnych decyzji diagnostycznych.
Dlaczego przejrzystość zaszkodziła? Nadmierne zaufanie do AI
Głównym problemem okazało się nadmierne poleganie na systemie CAD. Kiedy uczestnicy wiedzieli, że system jest bardzo dokładny, byli bardziej skłonni bezkrytycznie akceptować jego rekomendacje – nawet jeśli te były błędne. Z kolei, gdy wiedzieli, że system ma niską dokładność, mogli go ignorować, co również prowadziło do gorszych wyników.
Ten efekt nadmiernego zaufania do AI pokazuje, jak ważna jest równowaga między przejrzystością a zdolnością ludzi do krytycznego myślenia i niezależnej oceny sytuacji.
Czy systemy CAD rzeczywiście są skuteczne?
Badanie przyniosło również inne interesujące wnioski. Okazało się, że ogólna korzyść z używania systemów CAD była mniejsza, niż oczekiwano. Chociaż systemy o wysokiej dokładności przynosiły pewne korzyści, różnica między wynikami uczestników korzystających z CAD a tych, którzy pracowali bez niego, była niewielka. Szczególnie w sytuacjach, gdy ujawniano dokładność systemu, zyski z jego stosowania były niemal znikome.
Biorąc pod uwagę znaczące koszty wdrożenia i utrzymania takich systemów, badanie stawia ważne pytania o ich rzeczywistą wartość w praktyce klinicznej.
Co dalej? Potrzebna dalsza analiza przejrzystości AI
Wyniki tego badania mają istotne znaczenie dla trwającej debaty na temat przejrzystości w AI. Choć przejrzystość często jest postrzegana jako kluczowy element odpowiedzialnego wykorzystania AI, okazuje się, że może ona mieć nieprzewidziane, negatywne konsekwencje.
Przyszłe badania powinny skupić się na:
- analizie, jak różne aspekty przejrzystości (nie tylko dokładność) wpływają na podejmowanie decyzji,
- roli szkoleń użytkowników w lepszym rozumieniu systemów AI,
- projektowaniu interfejsów, które minimalizują ryzyko nadmiernego zaufania do AI.
Znalezienie złotego środka
Ostatecznie kluczowe jest znalezienie równowagi między przejrzystością a efektywną współpracą człowieka z AI. Zbyt mała przejrzystość może budzić brak zaufania, podczas gdy nadmiar informacji może prowadzić do błędów decyzyjnych.
Jeśli chcemy w pełni wykorzystać potencjał AI w różnych dziedzinach życia – zwłaszcza w tak kluczowych obszarach jak ochrona zdrowia – musimy dokładnie zrozumieć, jak przejrzystość wpływa na zachowanie ludzi. To jedyna droga, by projektować systemy, które faktycznie poprawiają jakość naszych decyzji, a nie wprowadzają dodatkowe ryzyko.
—-
Kunar MA, Montana G, Watson DG. Increasing transparency of computer-aided detection impairs decision-making in visual search. Psychon Bull Rev. 2024 Oct 24. doi: 10.3758/s13423-024-02601-5. Epub ahead of print. PMID: 39448515.
