In het kort
- De huidige grote taalmodellen hebben moeite om in de vroege stadia van een klinisch geval nauwkeurig diagnoses te genereren.
- Hoewel LLM’s een hoge nauwkeurigheid kunnen bereiken bij de uiteindelijke diagnose wanneer ze volledige informatie krijgen, missen ze cruciale klinische vaardigheden.
- Menselijke begeleiding en tussenkomst blijven essentieel bij het gebruik van AI.
Grote taalmodellen (LLM’s) die zijn ontworpen voor medische toepassingen schieten nog steeds tekort in het complexe redeneren dat nodig is voor een betrouwbare patiëntdiagnose. Een recent onderzoek, gepubliceerd in JAMA Network Open, evalueerde 21 LLM’s, waaronder populaire modellen als Claude, DeepSeek, Gemini, ChatGPT en Grok, op hun vermogen om klinische redeneertaken uit te voeren.
Beperkt vermogen tot diagnose
Onderzoekers gebruikten een nieuwe tool genaamd PrIME-LLM om de modellen te beoordelen in verschillende stadia van de diagnose, van de eerste beoordeling en het aanvragen van onderzoeken tot de uiteindelijke diagnose en het opstellen van een behandelplan. De studie simuleerde klinische scenario’s uit de praktijk door de modellen geleidelijk patiëntinformatie te verstrekken, te beginnen met basisgegevens zoals leeftijd en geslacht, en vervolgens symptomen, bevindingen van lichamelijk onderzoek en laboratoriumresultaten toe te voegen.
Hoewel de LLM’s een hoge nauwkeurigheid bereikten bij de definitieve diagnose wanneer ze volledige informatie kregen, hadden ze consequent moeite met het genereren van passende differentiële diagnoses. In meer dan 80 procent van de gevallen slaagden de modellen er niet in om nauwkeurige differentiële diagnoses te stellen.
Noodzaak van menselijk toezicht
De auteurs van het onderzoek tonen de noodzaak van voortdurend menselijk toezicht nog maar eens aan. Ze benadrukken dat AI weliswaar veelbelovend is als hulpmiddel voor clinici, maar nog niet de essentiële rol van menselijk oordeel en expertise kan vervangen.
Deskundigen buiten het onderzoek versterken deze boodschap nog verder en dringen er bij het publiek op aan om voorzichtig om te gaan met door AI gegenereerde gezondheidsinformatie en altijd advies in te winnen bij gekwalificeerde medische professionals bij gezondheidsproblemen.