Numer: 04/2025 Str. 79
Autorzy: Tomasz Leś , Bartosz Sawicki :
Tytuł: Wyjaśnienia tekstowe w klasyfikacji obrazów przy wykorzystaniu wielomodalnych LLM
Streszczenie: W niniejszym badaniu oceniono możliwości multimodalne modelu GPT-4o, koncentrując się na jego zastosowaniu w klasyfikacji obrazów z tekstowymi uzasadnieniami. Przeprowadzono serię eksperymentów, w tym rozpoznawanie kształtów geometrycznych, różnicowanie kolorów oraz wykrywanie czerniaka przy użyciu bazy danych zmian skórnych ISIC. Wyniki wskazują, że GPT-4o działa na poziomie zbliżonym do ludzkiego w zakresie rozpoznawania kształtów i kolorów, szczególnie gdy otrzymuje dobrze zdefiniowane polecenia. W dziedzinie medycyny model osiągnął wysoką dokładność w identyfikacji zmian czerniakowych i znamion na podstawie kryteriów ABCD. Ponadto, zdolność GPT-4o do generowania szczegółowych uzasadnień tekstowych dla swoich decyzji zwiększyła zaufanie i przejrzystość jego klasyfikacji, co czyni go obiecującym narzędziem wspierającym diagnostykę opartą na AI w opiece zdrowotnej.
Słowa kluczowe: wyjaśnialna AI, klasyfikacja obrazów, LLM