5 Gru 2024 • 6 min

Explainable AI (XAI) – klucz do zrozumienia sztucznej inteligencji

Explainable AI (XAI), czyli wyjaśnialna sztuczna inteligencja, jest podejściem, które umożliwia ludziom wgląd w procesy decyzyjne algorytmów AI, budując zaufanie do ich wyników.

Dzięki XAI możemy przełamać tzw. „czarną skrzynkę” algorytmów i uczynić AI bardziej transparentną i zrozumiałą dla ludzi.

XAI ma na celu wyeliminowanie problemu czarnej skrzynki, gdzie modele oparte na głębokim uczeniu (ang. deep learning) są często nieprzejrzyste i trudne do wyjaśnienia nawet dla ich twórców. Problematyka wyjaśnialności jest szczególnie istotna w dziedzinach takich jak medycyna, prawo, finanse czy obrona, gdzie konieczne jest pełne zrozumienie i zaufanie do wyników uzyskiwanych przez AI. Transparentność i wyjaśnialność algorytmów pomagają nie tylko zrozumieć logikę systemu, ale także umożliwiają użytkownikom i projektantom monitorowanie i regulowanie algorytmów, aby działały zgodnie z normami etycznymi oraz prawnymi.

Rola standardów ISO w XAI

Międzynarodowa Organizacja Normalizacyjna (ISO) wprowadziła szereg standardów, które mają na celu ustalenie wspólnych zasad dotyczących wyjaśnialności i interpretowalności AI. Standard ISO/IEC TR 29119-11:2020 definiuje kluczowe pojęcia takie jak interpretowalność i wyjaśnialność. Według tego standardu:

Interpretowalność to poziom zrozumienia, jak działa technologia AI.
Wyjaśnialność to poziom zrozumienia, w jaki sposób system AI doszedł do danego wyniku.

ISO/IEC pracuje także nad innymi normami związanymi z etycznością AI, jak ISO/IEC 23894 dotycząca zarządzania ryzykiem etycznym w systemach AI. Standardy te pomagają organizacjom wdrażać transparentne, zrozumiałe i odpowiedzialne systemy AI, które mogą być stosowane na rynkach międzynarodowych. Standardy te kładą nacisk na to, aby systemy AI były zgodne z wymaganiami etycznymi i normami społecznymi, co przyczynia się do budowania zaufania do technologii AI.

Elementy wyjaśnialności w XAI

Wyjaśnialność AI można sprowadzić do trzech kluczowych zasad:

Przezroczystość – dotyczy możliwości opisania i uzasadnienia sposobu, w jaki model dochodzi do określonych parametrów lub wyników.
Interpretowalność – odnosi się do zdolności użytkowników do zrozumienia modelu i możliwości przedstawienia podstaw dla podejmowania decyzji w sposób zrozumiały.
Wyjaśnialność – to ogólnie cechy, które umożliwiają zrozumienie, jakie elementy wpływają na decyzje AI, nawet jeśli nie ma jednej ustandaryzowanej definicji.

Każdy z tych elementów przyczynia się do tworzenia modeli, które są bardziej przejrzyste, a ich wyniki łatwiejsze do interpretacji przez użytkowników, co buduje zaufanie do systemu AI.

White-box vs. Black-box – co to oznacza?

W kontekście AI często mówi się o modelach typu white-box i black-box. White-box, czyli „biała skrzynka”, to algorytmy o strukturze, którą można łatwo wyjaśnić i która jest przejrzysta dla ekspertów. Black-box, czyli „czarna skrzynka”, oznacza modele trudniejsze do wyjaśnienia, nawet dla specjalistów, co często utrudnia monitorowanie i regulację ich działania.

White-box AI, dzięki swojej interpretowalności, znajduje zastosowanie tam, gdzie wymagane są wysokie standardy zrozumienia i wyjaśnienia wyników, np. w medycynie, prawie czy finansach. Dzięki XAI, modele black-box mogą także stać się bardziej zrozumiałe, co umożliwia wdrożenie ich w tych samych dziedzinach.

Przezroczystość, którą zapewnia XAI, wydaje się sprzyjać budowaniu zaufania wśród użytkowników. Jednak historycznie przyjmowano, że im bardziej wyjaśnialny model AI, tym niższa jego dokładność predykcji. Jest to znane jako kompromis między dokładnością a wyjaśnialnością. Przyjrzyjmy się temu bliżej.

Model AI nazywany „czarną skrzynką” jest tak określany, ponieważ jego procesy decyzyjne są nieinterpretowalne dla ludzi. Nie można go zrozumieć nie tylko dlatego, że jego działanie jest niewidoczne dla człowieka, ale także dlatego, że jest ono niezwykle skomplikowane. Takie modele opierają swoje przewidywania na miliardach parametrów. Teoria przeciążenia informacyjnego mówi nam, że ludzie są w stanie zrozumieć modele AI o maksymalnie siedmiu parametrach. Im bardziej złożony model AI, tym trudniej go zrozumieć. Ponieważ jednak te modele opierają swoje przewidywania na olbrzymiej liczbie parametrów, są one dokładniejsze. Kiedy dodajemy do modelu AI cechę wyjaśnialności, musimy zredukować jego złożoność, aby można było go wyjaśnić, co prowadzi do kompromisu między dokładnością a wyjaśnialnością.

Co ciekawe, nowe badania zaczynają obalać istnienie tego kompromisu. Naukowcy przeprowadzili szeroko zakrojoną analizę porównawczą, badając wyniki modeli czarnej skrzynki i „szklanej skrzynki” (mniej złożonych) na różnych zbiorach danych. Wyniki pokazały, że oba typy modeli osiągały podobną dokładność na niemal 70% badanych zbiorów danych. Okazuje się, że częściej niż nam się wydawało, nie ma kompromisu. Posiadanie wyjaśnialnego modelu AI nie oznacza zatem konieczności rezygnacji z jego dokładności.

XAI jako prawo społeczne do wyjaśnienia

W kontekście regulacyjnym rośnie zainteresowanie tzw. „prawem do wyjaśnienia”, które umożliwia użytkownikom poznanie procesu decyzyjnego systemu AI. Przykładem jest Rozporządzenie Ogólne o Ochronie Danych (RODO) w Unii Europejskiej, które zapewnia prawo do otrzymania wyjaśnień odnośnie decyzji podejmowanych przez AI, co może mieć wpływ na użytkowników. Nawet jeśli nie ma takiego wymogu prawnego, wyjaśnialność AI może poprawić doświadczenia użytkowników oraz zwiększyć ich zaufanie do wyników i decyzji podejmowanych przez AI.

Praktyczne zastosowanie XAI

Istnieje wiele technik wyjaśniania działania modeli AI, które ułatwiają zrozumienie procesów decyzyjnych:

Wykresy zależności częściowej (Partial Dependency Plots) – pokazują, jak konkretne cechy wpływają na wynik.
SHAP (SHapley Additive exPlanations) – pozwala zobaczyć, jaki wkład ma każda cecha w końcowy wynik.
LIME (Local Interpretable Model-agnostic Explanations) – upraszcza lokalne wyjaśnienia wyników, stosując prostszy model zastępczy, co ułatwia zrozumienie.

Techniki te mogą być szczególnie przydatne w medycynie, gdzie konieczne jest zrozumienie i weryfikacja wyników, które wspomagają decyzje diagnostyczne lub terapeutyczne.

XAI w budowaniu zaufania do AI

Jednym z głównych celów XAI jest stworzenie platformy współpracy między ludźmi a algorytmami, opartej na wzajemnym zaufaniu. Aby ludzie zaakceptowali decyzje podejmowane przez algorytmy, muszą zrozumieć ich logikę i wiedzieć, że są one zgodne z ich wartościami i standardami. Przezroczystość, interpretowalność i wyjaśnialność są kluczowe, aby osiągnąć poziom zaufania niezbędny w kluczowych sektorach, takich jak medycyna, gdzie każdy krok musi być dokładnie zrozumiały.

Jak możemy zbudować zaufanie?

Zaufanie jako decyzja oparta na percepcji

Zaufanie jest gotowością podjęcia ryzyka na podstawie oczekiwania korzyści. W przypadku AI, użytkownik podejmuje decyzję, czy zaufać systemowi, w oparciu o jego kompetencje, przewidywalność i intencje.

Najprawdopodobniej użytkownik aplikacji diagnostycznej zaufa wynikowi, jeśli system wyjaśni, jakie dane zostały uwzględnione w diagnozie oraz poda poziom pewności wyniku. Badania pokazują, że sposób w jaki zostały zaprezentowane dane i architektura informacji może wpłynąć na pewność decyzji niż sprawdzenie drzewa decyzyjnego.

Najważniejsze czynniki wpływające na zaufanie w interakcji z AI

1. Wyjaśnialność (Explainability - XAI)

Wyjaśnienia działania systemu są kluczowe dla zrozumienia, jak AI podejmuje decyzje. Użytkownicy muszą wiedzieć, na jakich danych opiera się system, jakie są jego ograniczenia i jak interpretuje wyniki. Transparentne wyjaśnienia budują zaufanie, minimalizując efekt „czarnej skrzynki”.

2. Transparentność w niepewności

AI powinna komunikować poziom pewności swoich wyników lub rekomendacji. Dzięki temu użytkownicy mogą świadomie ocenić ryzyko i podejmować lepsze decyzje. Na przykład informacja „Pewność wyniku: 85%” pozwala użytkownikowi krytycznie ocenić, czy zaufać systemowi w danej sytuacji.

3. Ograniczenia systemu

Komunikowanie, czego AI nie może zrobić, jest równie ważne jak podkreślanie jej możliwości. Wyjaśnienie ograniczeń systemu pozwala użytkownikom uniknąć nadmiernego zaufania, które może prowadzić do błędów w decyzjach. Przykład: „Prognoza ruchu drogowego nie uwzględnia wypadków zgłoszonych przed mniej niż 10 minutami”.

4. Intuicyjność interfejsu (UI)

Przejrzysty i prosty interfejs ułatwia użytkownikom zrozumienie działania AI i szybką interpretację wyników. Kluczowe elementy, takie jak wyjaśnienia, muszą być łatwo dostępne, a dane prezentowane w czytelny sposób, np. za pomocą wizualizacji. Intuicyjne UI zmniejsza frustrację i zwiększa poczucie kontroli użytkownika.

5. Kontekstowe wyjaśnienia

Wyjaśnienia powinny pojawiać się dokładnie w momencie, gdy użytkownik ich potrzebuje, i odnosić się do bieżącej sytuacji. Na przykład w aplikacji nawigacyjnej komunikat „Trasa została zmieniona z powodu korka zgłoszonego 15 minut temu” wyjaśnia działanie AI w sposób adekwatny do kontekstu. Dzięki temu użytkownik rozumie, dlaczego system działa w określony sposób.

6. Kalibracja zaufania

Użytkownicy często mają tendencję do nadmiernego lub zbyt niskiego zaufania do AI. XAI i dobrze zaprojektowane UX powinny pomagać skalibrować zaufanie użytkowników, wskazując na ograniczenia i możliwości systemu. Na przykład, jeśli system informuje, że „wynik może być błędny w 10% przypadków”, użytkownik lepiej dostosowuje swoje oczekiwania.

7. Personalizacja

Systemy AI powinny dostosowywać wyjaśnienia i wyniki do poziomu wiedzy i potrzeb użytkownika. Dla początkujących użytkowników bardziej zrozumiałe będą proste komunikaty, natomiast zaawansowani mogą wymagać szczegółowych wyjaśnień. Personalizacja zwiększa komfort użytkowania i poczucie dopasowania systemu do oczekiwań.

8. Przewidywalność

System AI musi działać spójnie i przewidywalnie, aby użytkownik wiedział, czego może się spodziewać. Nieoczekiwane zmiany w działaniu systemu mogą powodować utratę zaufania. Przewidywalność daje użytkownikowi poczucie bezpieczeństwa i kontroli nad technologią.

9. Wizualizacja poziomu pewności (Confidence Scores)

Graficzne przedstawienie pewności wyników pomaga użytkownikowi lepiej ocenić wiarygodność systemu. Na przykład kolorowe paski, wskaźniki procentowe lub ikonografia informująca o poziomie pewności mogą ułatwić użytkownikowi szybkie podejmowanie decyzji. Wizualizacja angażuje i upraszcza proces zrozumienia danych.

Przeznacz odpowiednio dużo czasu na ocenę, czy prezentowanie poziomu pewności modelu przynosi wartość użytkownikom i produktowi. Rozważ jego pominięcie, jeśli:

Nie wpływa na decyzje użytkownika: Jeśli poziom pewności nie zmienia sposobu podejmowania decyzji, jego prezentacja może być zbędna lub wręcz myląca, np. różnica między 55% a 57.7% może nie być zrozumiała.
Może wprowadzać nieufność: Dla mniej doświadczonych użytkowników informacje o pewności mogą być źle interpretowane – np. wysoki poziom pewności może prowadzić do bezkrytycznego zaakceptowania wyniku, nawet jeśli wymaga on dokładniejszej analizy.

10. Możliwość udzielenia feedbacku

System AI powinien umożliwiać użytkownikom wyrażenie opinii na temat jego działania, co zwiększa ich zaangażowanie i poczucie wpływu na technologię. Przykład: opcja „Czy wynik był trafny?” pozwala AI dostosowywać swoje działanie na podstawie doświadczeń użytkownika. Feedback wspiera ciągłe doskonalenie systemu i umacnia relację z użytkownikiem.

Budowanie zaufania w interakcji z AI to proces, który zaczyna się jeszcze przed pierwszą interakcją użytkownika z systemem i trwa przez cały cykl korzystania z produktu. Kluczowe elementy to skalibrowanie zaufania, wyjaśnianie źródeł danych, powiązanie wyników z działaniami użytkownika, transparentność w sytuacjach wysokiego ryzyka oraz utrzymywanie intuicyjnych interfejsów. W przypadku błędów AI, jasny plan odzyskiwania i możliwość przekazywania feedbacku są niezbędne do odbudowy zaufania.

Dzięki holistycznemu podejściu łączącemu XAI, UX i UI z naukami behawioralnymi możliwe jest stworzenie systemów, które nie tylko są funkcjonalne, ale także budzą zaufanie i wspierają użytkowników w podejmowaniu świadomych decyzji.

‍