ChatGPT può (quasi) superare l'esame di licenza medica statunitense

May 13, 2023

ChatGPT può ottenere un punteggio pari o intorno alla soglia di superamento del 60% circa per l'esame di licenza medica degli Stati Uniti (USMLE), con risposte che hanno un senso interno coerente e contengono approfondimenti frequenti,secondo uno studiopubblicato il 9 febbraio 2023 sulla rivista ad accesso aperto PLOS Digital Health da Tiffany Kung, Victor Tseng e colleghi di AnsibleHealth.

ChatGPT è un nuovo sistema di intelligenza artificiale (AI), noto come modello linguistico di grandi dimensioni (LLM), progettato per generare una scrittura simile a quella umana prevedendo le sequenze di parole imminenti. A differenza della maggior parte dei chatbot, ChatGPT non può effettuare ricerche su Internet. Invece, genera testo utilizzando le relazioni tra le parole previste dai suoi processi interni.

Kung e colleghi hanno testato le prestazioni di ChatGPT sull'USMLE, una serie di tre esami altamente standardizzati e regolamentati (passaggi 1, 2CK e 3) richiesti per la licenza medica negli Stati Uniti. Adottato da studenti di medicina e medici in formazione, l'USMLE valuta le conoscenze che abbracciano la maggior parte delle discipline mediche, dalla biochimica, al ragionamento diagnostico, alla bioetica.

Dopo lo screening per rimuovere le domande basate su immagini, gli autori hanno testato il software su 350 delle 376 domande pubbliche disponibili dalla versione USMLE di giugno 2022.

Dopo aver rimosso le risposte indeterminate, ChatGPT ha ottenuto un punteggio compreso tra il 52,4% e il 75,0% nei tre esami USMLE. La soglia di superamento ogni anno è pari a circa il 60%. ChatGPT ha inoltre dimostrato una concordanza del 94,6% tra tutte le sue risposte e ha prodotto almeno un insight significativo (qualcosa di nuovo, non ovvio e clinicamente valido) per l'88,9% delle sue risposte. In particolare, ChatGPT ha superato le prestazioni di PubMedGPT, un modello equivalente formato esclusivamente sulla letteratura di dominio biomedico, che ha ottenuto un punteggio del 50,8% su un set di dati più vecchio di domande in stile USMLE.

Sebbene le dimensioni relativamente ridotte degli input abbiano limitato la profondità e la gamma delle analisi, gli autori notano che i loro risultati forniscono un’idea del potenziale di ChatGPT nel migliorare la formazione medica e, in definitiva, la pratica clinica. Ad esempio, aggiungono, i medici di AnsibleHealth utilizzano già ChatGPT per riscrivere report ricchi di gergo per una più facile comprensione da parte del paziente.

"Raggiungere il punteggio minimo per questo esame esperto notoriamente difficile, e farlo senza alcun rinforzo umano, segna una pietra miliare notevole nella maturazione clinica dell'IA", affermano gli autori.

L'autrice Dott.ssa Tiffany Kung ha aggiunto che il ruolo di ChatGPT in questa ricerca è andato oltre l'oggetto dello studio: "ChatGPT ha contribuito in modo sostanziale alla scrittura del [nostro] manoscritto... Abbiamo interagito con ChatGPT proprio come un collega, chiedendogli di sintetizzare, semplificare, e offrono contrappunti alle bozze in corso... Tutti i coautori hanno apprezzato il contributo di ChatGPT."

- Il presente comunicato stampa è stato fornito da PLOS