ChatGPT, mimo rozległej wiedzy, na której był trenowany, nie zawsze radzi sobie z poprawnym diagnozowaniem przypadków medycznych.

Kanadyjscy naukowcy z Schulich School of Medicine & Dentistry na Uniwersytecie Zachodniego Ontario poddali ten model AI testom, sprawdzając jego skuteczność na 150 przypadkach z publicznej bazy danych Medscape, wykorzystywanej m.in. do weryfikacji umiejętności lekarzy.

W badaniu, przeprowadzonym od września 2021 do stycznia 2023, ChatGPT prawidłowo zdiagnozował tylko 49 proc. przypadków. To dużo za mało, gdy w grę wchodzi ludzkie życie. Problemem okazała się interpretacja wyników laboratoryjnych i obrazowych, a także pomijanie informacji kluczowych dla postawienia prawidłowej diagnozy.

ChatGPT halucynuje

Jednym z głównych powodów błędów ChatGPT są tzw. halucynacje AI, czyli odpowiedzi, które choć wyglądają na spójne, nie opierają się na rzeczywistych danych. Halucynacje mogą wynikać z pominięć, przeoptymalizowania danych lub trudności w interpretowaniu niekompletnych wiadomości wejściowych.

Błędy diagnostyczne mogą być nawet rezultatem uprzedzeń zawartych w danych medycznych, na których trenowany jest model AI. Dlatego kluczową rolę odgrywa nadzór człowieka nad działaniem takich systemów, zwłaszcza w kontekście odpowiedzialności za ewentualne błędy.

Nie można mu bezgranicznie ufać

Pomimo licznych wad, które uniemożliwiają traktowanie ChatGPT jako nieomylnego narzędzia diagnostycznego, model jak najbardziej bywa użyteczny jako wsparcie. ChatGPT okazał się skuteczny w wykluczaniu niektórych błędnych opcji diagnozy; osiągnął 74,33 proc. skuteczności w tej dziedzinie. Co więcej, ten model potrafi przystępnie wyjaśniać skomplikowane zagadnienia medyczne i m.in. dzięki temu można śmiało uznać go za wartościowe narzędzie dydaktyczne dla studentów. Tylko absolutnie nie wolno bezgranicznie mu ufać.

Sztuczna inteligencja w medycynie wymaga odpowiedzialnego nadzoru. Jak podkreślił dr Amrit Kirpalani, profesor z Uniwersytetu Zachodniego Ontario, istnieje potrzeba szczegółowego monitorowania, w jaki sposób AI jest wykorzystywana w diagnostyce. Dane pochodzące z internetu muszą być weryfikowane przez badaczy oraz konfrontowane z wynikami naukowych analiz. Ważnym elementem jest również rozwijanie umiejętności skutecznej komunikacji z modelami AI.

Miłosz Magrzyk

źródło zdjęcia: Canva

Kategoria: Wiadomości

Data publikacji: 2024-08-21