Una delle possibili applicazioni dell’intelligenza artificiale, e in particolare dei modelli linguistici, è quella dell’aiuto nella comprensione delle lingue straniere. Ci sono modelli informatici che possono comprendere le relazioni tra le parole partendo dal contesto in cui vengono usate e che permettono di capire, per esempio, quando due parole sono simili tra di loro e quanto sono cambiate nel corso del tempo. Grazie a queste tecnologie possiamo analizzare in poco tempo una grandissima quantità di testi, molti di più di quelli alla portata degli esseri umani. Ma come facciamo a sapere se questi modelli sono affidabili? Nel caso delle lingue parlate tutt’ora si può chiedere ai parlanti, ma con il greco antico da questo punto di vista siamo piuttosto carenti, visto che si tratta di una lingua morta.
Silvia Stopponi, dottoranda all’università di Groningen ed esperta di semantica computazionale con Saskia Peels-Matthey e Malvina Nissim ha creato AGREE, uno strumento di valutazione dei modelli semantici del greco antico. Ci siamo fatti spiegare come funziona e come è stato creato, e abbiamo anche scoperto come la squadra è riuscita a superare la difficoltà rappresentata dalla mancanza di parlanti nativi, e anche dalla relativa penuria di fonti.
Servizio e montaggio di Anna Cortelazzo
AGREE è una risorsa che è stata rilasciata come file di testo o .json, un registro digitale che usa un linguaggio semplice per scrivere informazioni in modo che i computer le possano capire e interpretare. Più tecnicamente, è una rappresentazione testuale di dati strutturati organizzati secondo una sintassi chiara e leggibile. È costituito da coppie chiave-valore, dove le chiavi sono stringhe e i valori possono essere stringhe, numeri, booleani, array, oggetti JSON o null. Parliamo quindi di un file creato per i computer più che per le persone, ma che può essere liberamente utilizzato da chi si intende di programmazione per verificare i propri modelli e settare i parametri nel migliore dei modi e dai ricercatori che studiano il greco antico grazie all’intelligenza artificiale. Se si sbaglia a settare i parametri o se si sceglie un tipo di modello che non si adatta ai dati in possesso, non si otterranno dei buoni risultati quando si cerca di studiare il significato delle parole.
AGREE è un bechmark che permette di comparare gli output ottenuti da un sistema automatico: “Noi – racconta Stopponi – dovevamo addestrare un modello di lingua su un insieme di testi e questo modello li avrebbe processati e avrebbe trattenuto informazioni su come le parole si combinavano tra di loro e quindi su come funziona la lingua dal punto di vista strutturale, grammaticale, lessicale e semantico. A quel punto però ci siamo accorte che non c’era una risorsa che ci permettesse di valutare la qualità dei risultati di questo tipo di lavoro e abbiamo provato a crearla”.
Ci sono state due principali sfide da affrontare, prima fra tutte, come accennavamo, l’impossibilità di trovare dei parlanti nativi, perché di solito quando si addestra un modello vengono utilizzati i giudizi dei parlanti. Per far fronte a questo problema si è deciso di ricorrere a due tipologie di persone, a seconda del compito assegnato. In un questionario si trattava di attribuire un giudizio di similarità alle coppie di lemmi proposte. Questo compito è stato assegnato a persone con una conoscenza accademica del greco antico, quindi ai laureati nella materia. Il secondo compito, primo in ordine cronologico, prevedeva invece di proporre attivamente delle parole correlate a un primo lemma proposto dalle ricercatrici, e ci sono state delle condizioni più stringenti nella selezione dei partecipanti, che dovevano essere professori, dottorandi o post-dottorandi. Per dare un’idea delle competenze, la media degli anni di esperienza dei partecipanti al primo compito è 23.6, mentre per i partecipanti al secondo compito la media è di 27.3 anni.
“ Se si sbaglia a settare i parametri o se si sceglie un tipo di modello che non si adatta ai dati in possesso, non si otterranno dei buoni risultati quando si cerca di studiare il significato delle parole
L’altra sfida, meno difficoltosa, è stata quella di rintracciare i partecipanti che corrispondessero al profilo con più esperienza. “Esperti di questo tipo – spiega Stopponi – non si trovano ovunque, e li abbiamo cercati in varie università del mondo. Alla fine abbiamo distribuito i nostri sondaggi a livello mondiale sia tramite conoscenze comuni sia tramite mailing list di altre persone che si occupano di lingue antiche, e devo dire che queste persone sono state molto disponibili: la prima sfida era stata più impegnativa”.
Un altro problema era la carenza di dati, cioè di testi antichi con cui addestrare il modello. Qui uno studente di liceo classico probabilmente storcerà il naso, con tutti i testi che ha studiato e le versioni che ha dovuto tradurre, ma quando parliamo di intelligenza artificiale l’ordine di grandezza è diverso. OpenAI non ha mai dichiarato quanti testi ha utilizzato per addestrare chatGPT, ma ha parlato di miliardi di parole, e se si insiste un po’ con chatGPT stessa lei (lui?) dichiara: “Sì, è possibile dire che il mio addestramento coinvolge (sic) centinaia di migliaia di testi. Questi testi sono stati selezionati da una vasta gamma di fonti per garantire la diversità e la completezza del mio addestramento linguistico”. Nel caso del greco antico, non erano disponibili così tanti testi, e anche per questo era importante costruire un benchmark il più efficiente possibile, utilizzando modelli meno recenti di chatGPT.
Per quanto riguarda la scelta delle parole per cui gli esperti dovevano proporre altri termini associati, ci si è concentrati su termini non troppo controversi (non sempre la semantica delle parole antiche è chiara e univoca per tutti) e per quanto possibile con un solo significato, esistente anche nelle lingue contemporanee, e ai partecipanti è stato concesso di utilizzare il vocabolario.
Come dicevamo, l’individuazione delle parole correlate è avvenuta in due modi: i partecipanti più esperti hanno fornito parole correlate a una prima parola suggerita, mentre tutti potevano stabilire il grado di correlazione tra due parole proposte dagli studiosi più esperti o estratte da modelli di lingua o, ancora, tra due parole non correlate fornite dalle ricercatrici come controllo. Per evitare un pregiudizio in favore dei modelli di lingua si sono combinate le due vie. Questo approccio è stato utile anche per poter paragonare i processi delle macchine con i ragionamenti umani.
A questo punto viene naturale chiedersi se umani e macchine concordavano sulle coppie di parole correlate. “Scoprirlo è stato molto interessante – racconta Stopponi – anche se non era il nostro obiettivo primario. C’è sicuramente un’area di concordanza tra esseri umani e modelli linguistici, con coppie di parole proposte sia dagli esperti sia dai sistemi automatici. Queste hanno ricevuto un punteggio di similarità più alto di quelle proposte solo dalle macchine. In ogni caso, i punteggi più elevati in assoluto sono stati attribuiti alle coppie di parole proposte da esseri umani, in particolare se erano più di uno. Questo conferma che modelli e umani apprendono in modo diverso (uso apprendono tra virgolette, perché l’apprendimento è tipicamente umano), e la nostra conclusione è che questo tipo di modelli non potranno sostituire gli esseri umani, ma potranno essere di supporto e fornirci spunti a cui non abbiamo pensato. Un esempio di mancata concordanza è la parola πατήρ, patēr, che significa padre. Gli esseri umani hanno proposto parole come μήτηρ, mētēr (madre), υἱός, uios (figlio), θυγάτηρ, thygatēr (figlia), γαμέω, gameō (sposare). Se andiamo a vedere i primi risultati di un modello addestrato da noi, troviamo di nuovo parole come madre figlia e nonno, ma anche altre parole non menzionate dagli esseri umani, come κληρονόμος, klēronoms (erede)”.
Sembrerebbe che questi modelli abbiano un atteggiamento piuttosto impostato, con predilezione per parole più burocratiche. Ma siccome l’intelligenza artificiale non ha ancora la possibilità di manifestare preferenze, è più probabile che nel corpus dei testi utilizzati per l’addestramento ce ne fossero alcuni con toni più burocratici e solenni rispetto agli esseri umani. Sì, anche se questi ultimi erano professori universitari!
