Views: 48
L’apprendimento per rinforzo (Reinforcement Learning, RL), un approccio avanzato nell’intelligenza artificiale, ha un grande potenziale nel guidare i medici nella progettazione di strategie di trattamento sequenziali, con l’obiettivo di ottenere risultati migliori per i pazienti. Tuttavia, secondo un nuovo studio condotto dai ricercatori della Weill Cornell Medicine e della Rockefeller University, l’RL necessiterà di ulteriori miglioramenti prima di poter essere implementato con successo in ambito clinico.
Il Reinforcement Learning è una classe di algoritmi di apprendimento automatico che consente a un sistema di prendere decisioni sequenziali nel tempo. Responsabile dei recenti progressi nell’intelligenza artificiale, come le vittorie sovrumane nel gioco degli scacchi e nel Go, l’RL può sfruttare informazioni in continua evoluzione sui pazienti, come i risultati dei test, le condizioni cliniche e le risposte ai trattamenti precedenti, per suggerire il prossimo passo migliore nell’assistenza personalizzata. Questo approccio si rivela particolarmente promettente per la gestione di malattie croniche e psichiatriche.
Il lavoro, recentemente pubblicato negli Atti della Conferenza sui Sistemi di Elaborazione delle Informazioni Neural (NeurIPS) e presentato il 13 dicembre, introduce “Episodes of Care” (EpiCare), il primo benchmark di RL specifico per il settore sanitario.
Il Ruolo dei Benchmark nell’Intelligenza Artificiale
“I benchmark sono strumenti cruciali per stimolare il progresso nell’apprendimento automatico, con applicazioni che spaziano dalla visione artificiale al riconoscimento vocale, fino alle auto a guida autonoma. Ci auguriamo che questi strumenti possano ora accelerare anche i miglioramenti nell’applicazione del RL in ambito sanitario”, ha dichiarato il dottor Logan Grosenick, professore associato di neuroscienze in psichiatria, che ha guidato la ricerca.
Nel Reinforcement Learning, gli “agenti” perfezionano le loro azioni sulla base del feedback ricevuto, imparando progressivamente una “politica” che ottimizza il loro processo decisionale. Tuttavia, i ricercatori hanno scoperto che, sebbene i metodi attuali siano promettenti, sono estremamente dipendenti dai dati.
I Risultati della Ricerca: Sfide e Prospettive
Per testare le prestazioni, i ricercatori hanno esaminato cinque modelli avanzati di RL utilizzando EpiCare, ottenendo risultati superiori rispetto alla cura tradizionale. Tuttavia, questi successi sono emersi solo dopo un addestramento intensivo, che ha richiesto migliaia, se non decine di migliaia, di episodi di trattamento simulato. Poiché nel mondo reale i metodi RL non verrebbero mai testati direttamente sui pazienti, i ricercatori hanno poi valutato cinque approcci comuni di “valutazione off-policy” (OPE), che mirano a usare dati storici (ad esempio, provenienti da sperimentazioni cliniche) per evitare la raccolta di dati online.
Tuttavia, nell’ambito sanitario, i metodi OPE avanzati non sono riusciti a funzionare con la stessa precisione, non riuscendo a predire accuratamente le performance del RL in scenari sanitari longitudinali.
“Questi risultati evidenziano che non possiamo fare affidamento sui metodi OPE attuali per prevedere correttamente l’efficacia dell’apprendimento per rinforzo in contesti sanitari a lungo termine”, ha dichiarato il dottor Mason Hargrave, primo autore dello studio e ricercatore presso la Rockefeller University. Questa scoperta sottolinea la necessità di sviluppare nuovi strumenti di benchmarking, come EpiCare, per valutare in modo più preciso gli approcci di RL e fornire metriche che aiutino a misurare i miglioramenti.
“Ci auguriamo che questo lavoro favorisca una valutazione più affidabile dell’apprendimento per rinforzo in ambito sanitario e contribuisca ad accelerare lo sviluppo di algoritmi RL più avanzati, nonché protocolli di formazione adeguati per applicazioni mediche”, ha aggiunto il dottor Grosenick.
Adattamento delle Reti Neurali Convoluzionali per Interpretare Dati Complessi
In una seconda pubblicazione presentata lo stesso giorno, il dottor Grosenick ha discusso l’adattamento delle reti neurali convoluzionali (CNN), utilizzate per l’elaborazione delle immagini, per analizzare dati strutturati in grafici, come quelli provenienti dalle reti cerebrali, geniche o proteiche. Le CNN hanno avuto un enorme successo, soprattutto nei primi anni 2010, nel riconoscimento delle immagini e sono alla base dell’era moderna del deep learning e delle applicazioni di intelligenza artificiale.
“Quando ci occupiamo di neuroimaging, i dati sono più simili a grafici con vertici e bordi che a semplici immagini. Ma ci siamo accorti che non esistevano strumenti equivalenti alle CNN per l’analisi di dati strutturati in grafici”, ha affermato il dottor Grosenick.
Le reti cerebrali, ad esempio, sono rappresentate come grafici in cui le regioni cerebrali (i vertici) sono connesse da “bordi” che rappresentano la forza delle comunicazioni tra di esse. Questo vale anche per altre strutture, come le reti geniche e proteiche, i dati comportamentali di esseri umani e animali, e persino la geometria dei composti chimici, come i farmaci. Analizzare direttamente questi grafici consente di modellare meglio le dipendenze e i modelli tra connessioni, sia locali che distanti.
Isaac Osafo Nkansah, ricercatore associato nel laboratorio del dottor Grosenick e primo autore della pubblicazione, ha sviluppato il framework “Quantized Graph Convolutional Networks” (QuantNets), che generalizza le CNN per i dati strutturati in grafici. “Lo stiamo utilizzando per modellare i dati EEG dei pazienti. Possiamo avere una rete di 256 sensori sul cuoio capelluto che registrano l’attività neuronale, rappresentando un vero e proprio grafico”, ha spiegato il dottor Grosenick. “Questa tecnologia ci permette di ridurre questi grafici complessi in componenti più interpretabili, per comprendere meglio come cambia la connettività cerebrale dinamica durante il trattamento di disturbi come la depressione o il disturbo ossessivo-compulsivo.”
Prospettive Future e Applicazioni Potenziali
I ricercatori sono fiduciosi che il framework QuantNets abbia ampie applicazioni. Oltre a studiare i dati EEG, stanno esplorando l’uso di QuantNets per analizzare il comportamento nei modelli di topi e nelle espressioni facciali umane, estratte tramite visione artificiale.
“Anche se stiamo ancora esplorando la sicurezza e la complessità nell’applicazione dell’intelligenza artificiale avanzata nell’assistenza sanitaria, ogni passo avanti — sia che si tratti di un nuovo framework o di un modello più accurato — ci avvicina progressivamente a strategie di trattamento personalizzate. Queste potrebbero migliorare profondamente i risultati di salute dei pazienti”, ha concluso il dottor Grosenick.
https://neurips.cc/virtual/2024/poster/97595
https://neurips.cc/virtual/2024/poster/94335