Een recent onderzoek heeft de prestaties geëvalueerd van de chatbot ChatGPT, een kunstmatige intelligentie (AI), bij het beantwoorden van vragen met een hoog rendement die bedoeld zijn voor de voorbereiding op het ophthalmologisch raadscertificaat. Onder leiding van Dr. Rajeev H. Muni van de Universiteit van Toronto onthulde het onderzoek dat ChatGPT slechts ongeveer de helft van de vragen correct beantwoordde, met verschillende succespercentages per subspecialisatie.
Hoewel de onderzoekers de vooruitgang van AI in de geneeskunde erkennen, benadrukten ze dat ChatGPT tijdens de onderzoeksperiode geen wezenlijke ondersteuning bood bij de voorbereiding op het raadscertificaat. Ze benadrukten het belang van verantwoord gebruik van dergelijke AI-systemen in medisch onderwijs en klinische praktijk, gezien het potentieel om onjuiste informatie te verstrekken.
Ontwikkeld door OpenAI, is ChatGPT betrokken geweest bij verschillende wetenschappelijke en medische toepassingen, wat belangrijke maatschappelijke implicaties met zich meebrengt. Hoewel op AI gebaseerde trainingsprogramma’s worden ontwikkeld in de geneeskunde, benadrukte het onderzoek de noodzaak voor medische studenten om de beperkingen van ChatGPT te erkennen.
Het dwarsdoorsnede-onderzoek gebruikte een opeenvolgende steekproef van tekstgebaseerde meerkeuzevragen uit het Ophthalmic Knowledge Assessment Program (OKAP) en het Written Qualifying Exam (WQE), die werden verstrekt door de OphthoQuestions-oefenbank. Van de 166 beschikbare vragen werden er 125 geanalyseerd door ChatGPT. Het primaire meetpunt was het aantal oefenvragen voor het raadscertificaat waarop ChatGPT correct antwoord gaf.
Het onderzoek onderzocht ook secundaire uitkomsten, waaronder het percentage vragen waarvoor de AI aanvullende uitleg gaf, de lengte van vragen en antwoorden, prestaties bij het beantwoorden van vragen zonder meerkeuzeopties en veranderingen in prestaties in de loop van de tijd. Er werd een secundaire analyse uitgevoerd om de prestaties van ChatGPT in conversatiecontexten te evalueren door meerkeuzeopties te verwijderen.
Tijdens de primaire analyse die werd uitgevoerd van 9 tot 16 januari 2023, beantwoordde ChatGPT 58 van de 125 vragen correct (46,4%). Het AI-systeem presteerde het beste in de categorie algemene geneeskunde, met een juistheidspercentage van 79%, terwijl het de meeste moeite had met de categorie retina en glasvocht en alle vragen incorrect beantwoordde.
Bovendien toonde de analyse aan dat ChatGPT aanvullende uitleg gaf bij 63% van de vragen. Opmerkelijk was dat het percentage vragen met uitleg vergelijkbaar was, ongeacht of de AI ze correct of incorrect beantwoordde. Het onderzoek vond geen significant verschil in de lengte van vragen en antwoorden tussen juiste en onjuiste antwoorden.
In een daaropvolgende analyse die in februari 2023 werd uitgevoerd, verbeterde de prestatie van ChatGPT, waarbij 73 van de 125 meerkeuzevragen correct werden beantwoord (58%). Het AI-systeem vertoonde ook een vergelijkbaar succespercentage (54%) bij het beantwoorden van op zichzelf staande vragen zonder meerkeuzeopties.
Dr. Neil M. Bressler, hoofdredacteur van JAMA Ophthalmology, gaf een redactioneel commentaar op het onderzoek. Hij waarschuwde voor het vertrouwen op informatie die gegenereerd wordt door een AI-chatbot en benadrukte de noodzaak van zorgvuldige beoordeling en verificatie, gezien het potentieel voor misinformatie in de oogheelkunde. De richtlijnen van het International Committee of Medical Journal Editors (ICMJE) vereisen ook dat auteurs verantwoordelijk zijn voor de nauwkeurigheid en integriteit van hun werk, waardoor het momenteel onmogelijk is om AI-chatbots als auteurs te erkennen in medische literatuur die peer-reviewed is.
Om dit probleem aan te pakken, hebben alle tijdschriften in het JAMA-netwerk, waaronder JAMA Ophthalmology, hun instructies voor auteurs herzien, waarin wordt verduidelijkt dat chatbots niet als auteurs kunnen worden beschouwd. Hoewel de bijdrage van AI wordt erkend, vereisen de richtlijnen dat auteurs specifieke criteria voor auteurschap vervullen.
Naarmate het veld van AI zich blijft ontwikkelen, is verder onderzoek en ethische overweging nodig om de passende rol en beperkingen van AI-chatbots in medisch onderwijs en praktijk te bepalen. Verantwoord gebruik en kritische evaluatie van AI-systemen zijn van essentieel belang om een nauwkeurige en betrouwbare verspreiding van informatie te waarborgen.
