ATTENZIONE!!! Il software descritto in questo articolo NON E’ APPROVATO PER ESSERE UTILIZZATO IN AMBITO CLINICO!!! Il programma non è mai stato valutato dal punto di vista scientifico ed è nato come esperimento per cercare di capire il funzionamento di software simili e provare a realizzarne uno in licenza libera. Ogni uso sui pazienti di questo programma è assolutamente sconsigliato in quanto a volte fornisce informazioni errate!

Se mai un giorno questo software sarà validato l’uso sarà riservato esclusivamente al personale sanitario, l’unico in grado di fornire i comandi corretti e riconoscere eventuali errori, oltre che in grado di prendersi la responsabilità piena per il suo utilizzo di fronte alla legge.

Gli articoli scientifici usati nel training sono forniti e redistribuiti secondo licenze Creative Commons (alcuni pubblico dominio) che ne permettono l’utilizzo in opere derivate (vedere i singoli articoli scaricabili dallo zip sotto, per ogni segnalazione relativa ad errori o al copyright utilizzare la mail agalatiml@gmail.com o questo blog)

  Fra ieri ed oggi ho discusso con diverse persone i risultati del confronto fra MMGPT e ChatGPT.

Un ultimo tentativo: Dividere MMGPT in diverse AI specifiche per singole specialità mediche

Discutendo con un utente su telegram, vedendo i risultati dello “studio” eseguito ieri, questi mi ha consigliato di provare a dividere il lavoro di MMGPT per specialità, in modo che il software non risenta di “allucinazioni” dovute a rimescolamento casuale delle fonti “valide” presenti nel suo database (questo approccio è stato usato ad esempio per creare Mixtral, un’AI specializzata nella scrittura di codice in cui 8 diversi “agenti” collaborano per creare l’output finale, ognuno specializzato in un diverso aspetto della scrittura del codice stesso). Per fare un test “preliminare” di questo approccio ho quindi creato 2 chatbot specifici per 2 grosse specialità mediche (cardiologia e pneumologia) e ad ognuno di questi 2 “AI Agent” ho sottoposto i quesiti della loro disciplina presi dal test precedente, per verificare se in questo modo l’accurateza del programma migliorava. Nel caso infatti l’approccio avesse funzionato si poteva pensare di trasformare MMGPT in un software multi-agente, ove diversi AI agent curavano diversi aspetti (dal triage delle domande con suddivisione per specialità, alla singole specialità fino al confezionamento dell’output). Purtroppo anche questo test, fin dalle prime due specialità scelte, ha mostrato risultati non dissimili dal test citato nell’articolo precedente, per cui anche in questo caso ho deciso per un’interruzione precoce dello stesso. A questo punto credo sia inevitabile porsi una domanda: perchè i chatbot non sono per nulla affidabili nella risoluzione di quesiti clinici? (o di compiti “critici” in generale?). Discutendo i dati con colleghi medici, informatici e linguisti credo di aver raggiunto due possibili ipotesi (valide entrambe), che rendono peraltro vane le speranze di realizzare un chatbot in grado di prendere decisioni cliniche affidabile

1) Mancanza di emozioni

Una delle lezioni che ho ricevuto durante la specialità da una collega più “anziana” (di servizio) era sostanzialmente il fatto che la medicina non è “matematica” in cui ad un determinato comportamento corrisponde necessariamente una certa conseguenza, cosa che molto spesso porta il clinico a fidarsi più del suo “sesto senso” che delle Linee Guida (che sono si un’impalcatura generale per il pensiero medico che la guida suprema a ogni problema). Molto spesso sensazioni come l’ansia ed i sentimenti in generale più che un “impiccio” sono il vero strumento di lavoro di un medico preparato, in grado di fargli notare i “pericoli” e quindi trovare soluzioni efficaci a questi (per questo “la Medicina è un’Arte”!). Inutile dire che nessun chatbot può provare davvero sentimenti “umani”…si limita invece solo a CORRELARE un certo input con un certo output. Questo ci porta alla seconda ipotesi

2)Il “Discorso” umano non è esprimibile da equazioni matematiche!

Da questo presupposto mi è venuto quindi un dubbio, che ho sottoposto a una persona laureata in lingue: Come per la musica (che ha delle armonie stabilite in parte da leggi matematiche) è possibile cercare un’armonia matematica anche nel discorso in prosa?

La risposta è stata ovviamente negativa! Al massimo, a detta di questa mia “consulente”, questo discorso si può fare per le sillabe che costituiscono le parole, non certo per intere frasi!

Da questa risposta, per l’ENNESIMA VOLTA, una domanda sorge spontanea: Come hanno potuto pensare gli ingegneri a esprimere nei chatbot il discorso umano come funzione matematica!? (la loro solita ignoranza e spavalderia!?) Ma soprattutto…perchè in molti casi questa idea paradossalmente  funziona?

Forse la risposta a questa sotto-domanda è più ovvia di quanto si pensa: I chatbot cos’altro non fanno se non fare taglia e cuci dei “discorsi” (umani) che hanno memorizzati nel loro database? Alla fine questi software non fanno altro che correlare probabilisticamente in catena le parole, quindi ad esempio alla parola “infarto” possono far succedere la parola “miocardico”, “splenico”, “intestinale”,. a seconda di quali altre parole la precedono!

…Ma cosa succede se ad esempio un pezzo della frase così composta viene preso da un articolo scientifico sull’infarto del miocardio ed un altro pezzo da un articolo sull’infarto splenico? Il risultato sarebbe si creativo… ma quello che otterresti sarebbe un'”allucinazione”! (che poi è quello che succede con MMGPT)

In pratica anche un database di fonti affidabili può creare contenuti falsi! (e questo dipende proprio dalla struttura del software che li genera, che non è in grado di capire il contesto in cui opera!)

In pratica, che gli ingegneri si mettano il cuore in pace (e anche molti medici…), LA MEDICINA NON E’ DEFINIBILE DA CORRELAZIONI MATEMATICHE! (Ancora una volta Cesare Lombroso è resuscitato… ma stavolta in tanti potrebbero farsi male se non si torna con i piedi per terra!)

Detto ciò non credo che i chatbot in medicina siano del tutto inutili… potrebbero ad esempio:

1) aiutare in compiti ripetitivi (stesura cartelle cliniche e certificati, ecc…)

2) aiutare nelle ricerche bibliografiche medici non esperti in EBM (vedi il video all’inizio dell’articolo sull’ AI-Opticon)

3)aiutare nello sviluppo di software medicali, piccole app potrebbero essere sviluppate anche con poche competenze grazie all’AI (in futuro potrei anche fare dei tentativi 🙂 )

4)organizzare i dati per scopi di ricerca e cercare in maniera intelligente al loro interno

5)COADIUVARE  il clinico nel riconoscimento di lesioni patologiche o di dati anomali del paziente

6)automazioni di compiti pericolosi ma ripetitivi (es. preparazione di radiofarmaci o chemioterapici)

7)assistenti robot nella chirurgia (sotto controllo umano)

8) aiuto in casi clinici complessi “in cui non si sa cosa fare” e dove un “suggerimento” sarebbe utile (anche se non vincolante). Questo potrebbe essere il futuro di MMGPT

…altre idee? 🙂