In het kort
- AI-chatbots geven vaak onnauwkeurig of misleidend medisch advies aan gebruikers online.
- Hun prestaties variëren afhankelijk van de complexiteit van de gezondheidsvraag, met betere resultaten voor eenvoudigere onderwerpen.
Een recent onderzoek, gepubliceerd in BMJ Open, onderzocht de mogelijke gezondheidsrisico’s van medisch advies dat door Artificiële Intelligentie (AI) wordt gegenereerd. Onderzoekers uit de VS, Canada en het VK analyseerden vijf populaire AI-chatbotplatforms: ChatGPT, Gemini, Meta AI, Grok en DeepSeek. Elk platform kreeg tien vragen uit vijf gezondheidscategorieën. De resultaten waren zorgwekkend: ongeveer de helft van de gegeven antwoorden werd als problematisch beoordeeld, en bijna 20 procent werd als zeer problematisch aangemerkt.
Prestaties variëren per gezondheidsonderwerp
De chatbots presteerden beter bij het beantwoorden van eenvoudige vragen en taken, met name op gebieden als vaccinaties en kanker. Hun prestaties gingen echter aanzienlijk achteruit bij open vragen of onderwerpen als stamceltherapie en voeding. Opvallend was dat, ondanks dat ze hun antwoorden met veel zelfvertrouwen en zekerheid gaven, geen van de AI-chatbots in staat was om volledige en nauwkeurige referentielijsten te geven om hun beweringen te onderbouwen. Dit gebrek aan verifieerbare bronnen roept ernstige zorgen op over de betrouwbaarheid en veiligheid van medisch advies dat door deze tools wordt gegeven.
Bovendien varieerden de antwoorden soms sterk tussen verschillende chatbots, zelfs bij identieke vragen. Dit wijst op een gebrek aan consistentie in de onderliggende modellen. In sommige gevallen werden verouderde of onvolledige medische inzichten gegeven. Daarnaast was het niet altijd duidelijk op welke data de antwoorden gebaseerd waren.