Gli studenti del politecnico presentano la loro tesi sull'intelligenza artificiale alla rivista Q1.

Gli studenti dell'Università di Tecnologia (Università Nazionale del Vietnam di Ho Chi Minh City) hanno sviluppato una tecnica per rendere l'intelligenza artificiale più stabile durante i test e hanno pubblicato i loro risultati su una rivista internazionale di categoria Q1.

Gli autori del lavoro pubblicato a livello internazionale sulla rivista Computers and Education: Artificial Intelligence - Foto: fornita dall'autore

Sulla base di una tesi di laurea di uno studente dell'Università di Tecnologia (Università Nazionale del Vietnam di Ho Chi Minh City), è stato pubblicato su una rivista internazionale di categoria Q1 uno studio su una nuova tecnica per aiutare l'intelligenza artificiale a rispondere in modo più coerente alle domande a risposta multipla.

Il lavoro di ricerca svolto da docenti e studenti del dipartimento di informatica e ingegneria di questa università, nato da una tesi di laurea, è stato pubblicato su un'importante rivista internazionale sull'intelligenza artificiale (IA) in ambito educativo , dopo aver superato diverse fasi di revisione paritaria.

Oltre due anni dedicati alla pubblicazione a livello internazionale.

L'articolo "Enhancing Large Language Model Performance for Automatic Zero-Shot Multiple-Choice Question Answering via Single-Token Logit Prompting", scritto da un gruppo di autori vietnamiti, è stato pubblicato sulla rivista Computers and Education: Artificial Intelligence.

Si tratta di una rivista ad accesso aperto pubblicata da Elsevier, attualmente classificata Q1, leader nella categoria Istruzione, quarta in Applicazioni di Informatica e quinta in Intelligenza Artificiale (IA), secondo SCImago.

Il team di autori comprende Dang Phu Quoc, ex studente dell'Università di Tecnologia (co-autore principale), Tran Truong Tuan Phat, docente presso l'Università di Tecnologia (co-autore principale), il Dott. Vu Duc Ly (docente presso l'Università Internazionale Orientale), Nguyen Song Thien Long e Vo Thi Nhu Quynh, entrambi studenti del terzo anno presso l'Università di Tecnologia, sotto la guida del Prof. Associato Dott. Quan Thanh Tho, Capo del Dipartimento di Informatica e Ingegneria dell'Università di Tecnologia (Università Nazionale del Vietnam di Ho Chi Minh City).

Questo lavoro si concentra sulla proposta di una nuova tecnica di prompting chiamata Single-Token Logit (STL) per migliorare l'accuratezza e la stabilità di modelli linguistici di grandi dimensioni (LLM) nella risposta automatica a domande a scelta multipla (MCQ). L'autore Dang Phu Quoc ha affermato che la ricerca ha avuto origine dalla sua tesi di laurea.

"Inizialmente, il mio unico obiettivo era risolvere un problema professionale su larga scala nella modellazione del linguaggio, senza aspettarmi di pubblicare su una rivista di alto livello. Dopo circa 28 mesi dall'inizio della ricerca, nel marzo 2026, il lavoro è stato pubblicato sulla rivista Computers and Education: Artificial Intelligence", ha raccontato Quoc.

Inoltre, Tran Truong Tuan Phat ha affermato che il gruppo si è sottoposto a diverse fasi di revisione paritaria a porte chiuse e bidirezionale. Ogni fase ha richiesto miglioramenti significativi, come l'aggiunta di esperimenti, la chiarificazione delle interpretazioni, il rafforzamento della direzione della ricerca e la ristrutturazione del manoscritto.

Il gruppo ha scelto la piattaforma di pubblicazione su suggerimento della casa editrice Elsevier. Solo dopo l'accettazione hanno scoperto che si trattava della rivista leader a livello mondiale nel campo dell'istruzione. "È stato un risultato straordinario, che nemmeno gli autori si aspettavano", ha aggiunto il professore associato Quan Thanh Tho.

Tre membri del team di ricerca (da sinistra): Nguyen Song Thien Long, Tran Truong Tuan Phat (co-autore principale) e Vo Thi Nhu Quynh - Foto: N. QUYNH

Ottimizzare l'IA attraverso piccole modifiche.

Sulla base della nostra ricerca, il team ha scoperto che un fenomeno chiamato Multiple-Choice Symbol Binding (MCSB) riduce significativamente l'affidabilità del modello LLM, soprattutto quando applicato alla valutazione o alla creazione di banche dati di domande in ambito educativo. Pertanto, il team propone la tecnica Single-Token Logit (STL).

Invece di fornire tutte le risposte e chiedere al modello di scegliere A - B - C - D come di consueto, STL separa ogni risposta e chiede al modello di valutare ciascuna opzione come vera o falsa.

Il sistema chiede sequenzialmente: "Questa risposta è corretta?" e utilizza la probabilità della risposta "sì" per valutare il grado di adeguatezza. "Questo meccanismo aiuta il modello a verificare ogni opzione in modo indipendente, senza essere influenzato dalla posizione o dall'etichetta della risposta, superando direttamente i limiti del vincolo MCSB", ha affermato Phát a proposito dei vantaggi della ricerca.

Lo studio incorpora anche tecniche di Retrieval-Augmented Generation (RAG), che consentono al modello di accedere a conoscenze esterne quando necessario, migliorando l'accuratezza contestuale e testando la stabilità della soluzione in diverse condizioni.

Testato su tre set di dati scientifici standard (ARC, OpenBookQA e SciQ), STL ha fornito risultati pari o superiori a molti metodi diffusi, con miglioramenti fino a 11 punti percentuali in alcune configurazioni, riducendo al contempo in modo significativo i costi computazionali.

In termini di potenziali applicazioni, la tecnologia STL può aiutare gli insegnanti a rivedere le domande d'esame, a suggerire automaticamente le risposte alle domande senza risposta, a supportare la valutazione e a sviluppare sistemi di apprendimento intelligenti in grado di interpretare i risultati delle valutazioni.

Secondo il professore associato Quan Thanh Tho, la pubblicazione non solo apporta un contributo eccezionale in termini di valore accademico alla ricerca nel campo dei modelli di apprendimento automatico (LLM), ma dimostra anche che il miglioramento dell'affidabilità dell'IA non deriva necessariamente da modelli più grandi o architetture complesse. "A volte, anche una piccola modifica al modo in cui vengono progettati i prompt può fare una grande differenza nelle applicazioni pratiche", ha affermato il professor Tho.

Perché l'IA ha cambiato la sua risposta?

Secondo il team di ricerca, il lavoro si concentra sul miglioramento della capacità di modelli di linguaggi di programmazione open-source su larga scala, come LLaMA, DeepSeek e Mistral, di elaborare automaticamente domande a risposta multipla senza istruzioni specifiche (zero-shot).

Anche cambiando semplicemente l'ordine delle risposte A - B - C - D, pur mantenendo inalterato il contenuto della domanda, il modello può produrre risultati diversi. Questo fenomeno suggerisce che il modello non comprenda appieno la natura della domanda a risposta multipla, ma possa essere influenzato dalla posizione o dal simbolo della risposta.

Il problema risiede nella natura stessa dei modelli LLM: questi modelli sono ottimizzati per prevedere il token successivo, il che li rende sensibili alla posizione o all'etichetta della risposta piuttosto che valutare effettivamente la semantica.

TRAN HUYNH

Fonte: https://tuoitre.vn/sinh-vien-bach-khoa-dua-luan-van-ai-len-tap-chi-q1-20260412080023156.htm