Polytekniske studerende indsender AI-afhandling til Q1-tidsskriftet.

Studerende fra University of Technology (Vietnam National University Ho Chi Minh City) har udviklet en teknik til at gøre AI mere stabil i udførelse af tests og har offentliggjort deres resultater i et internationalt Q1-tidsskrift.

Forfatterne til det internationalt publicerede arbejde i tidsskriftet Computers and Education: Artificial Intelligence - Foto: Leveret af forfatteren

Baseret på en afgangsspeciale af en studerende fra University of Technology (Vietnam National University Ho Chi Minh City) er en undersøgelse af en ny teknik, der kan hjælpe AI med at besvare multiple choice-spørgsmål mere ensartet, blevet offentliggjort i et internationalt tidsskrift i første kvartal.

Forskningsarbejdet, der stammer fra en universitetsafhandling, er udført af fakultetet og studerende fra datalogi- og ingeniørfaget på dette universitet og er blevet offentliggjort i et førende internationalt tidsskrift om kunstig intelligens (AI) i uddannelse efter at have gennemgået flere runder af fagfællebedømmelse.

Over to år med international publicering.

Artiklen "Enhancing Large Language Model Performance for Automatic Zero-Shot Multiple-Choice Question Answering via Single-Token Logit Prompting" af en gruppe forfattere fra Vietnam er blevet offentliggjort i tidsskriftet Computers and Education: Artificial Intelligence.

Dette er et open access-tidsskrift udgivet af Elsevier, der i øjeblikket er rangeret som nummer 1 i kategorien Uddannelse, nummer 4 i Datalogi- applikationer og nummer 5 i Kunstig Intelligens (AI) ifølge SCImago.

Forfatterholdet omfatter Dang Phu Quoc - tidligere studerende ved University of Technology (medforfatter), Tran Truong Tuan Phat - lektor ved University of Technology (medforfatter), Dr. Vu Duc Ly (lektor ved Eastern International University), Nguyen Song Thien Long og Vo Thi Nhu Quynh, begge tredjeårsstuderende ved University of Technology, under vejledning af lektor Dr. Quan Thanh Tho - leder af Institut for Datalogi og Ingeniørvidenskab, University of Technology (Vietnam National University Ho Chi Minh City).

Dette arbejde fokuserer på at foreslå en ny promptteknik kaldet Single-Token Logit (STL) for at forbedre nøjagtigheden og stabiliteten af ​​store sprogmodeller (LLM'er) ved automatisk besvarelse af multiple-choice-spørgsmål (MCQ'er). Forfatter Dang Phu Quoc udtalte, at forskningen stammer fra hans bachelorafhandling.

"I starten havde jeg kun til formål at løse et storstilet professionelt problem inden for sprogmodellering, uden at forvente at blive publiceret i et toprangeret tidsskrift. Omkring 28 måneder efter forskningsstart, i marts 2026, blev arbejdet offentliggjort i tidsskriftet Computers and Education: Artificial Intelligence," delte Quoc.

Derudover udtalte Tran Truong Tuan Phat, at gruppen havde gennemgået flere runder med lukket, tovejs peer review. Hver runde krævede betydelige forbedringer, såsom tilføjelse af eksperimenter, præcisering af fortolkninger, styrkelse af forskningsretningen og omstrukturering af manuskriptet.

Du vil måske også synes om

Hjælper underprivilegerede elever med at opfylde deres uddannelsesdrømme.I løbet af optagelsessæsonen i 2026 implementerede universiteterne i Ho Chi Minh City proaktivt mange praktiske støttepolitikker for at hjælpe studerende med at forfølge viden med selvtillid og realisere deres karrieredrømme.

Gruppen valgte publikationsplatformen baseret på et forslag fra Elsevier Publishing House. Først efter accept fandt gruppen ud af, at det var verdens førende tidsskrift inden for uddannelse. "Det var et ekstraordinært resultat, som selv forfatterne ikke havde forventet," tilføjede lektor Quan Thanh Tho.

Tre af forskerholdets medlemmer (fra venstre): Nguyen Song Thien Long, Tran Truong Tuan Phat (medforfatter) og Vo Thi Nhu Quynh - Foto: N. QUYNH

Optimering af AI gennem små ændringer.

Baseret på vores forskning fandt teamet, at et fænomen kaldet Multiple-Choice Symbol Binding (MCSB) reducerer pålideligheden af ​​LLM betydeligt, især når det anvendes til karaktergivning eller opbygning af spørgsmålsbanker inden for uddannelsesområdet. Derfor foreslår teamet Single-Token Logit (STL) teknikken.

I stedet for at give alle svarene og bede modellen om at vælge A - B - C - D, som det typisk er, adskiller STL hvert svar og beder modellen om at evaluere hver mulighed som sand eller falsk.

Systemet spørger sekventielt: "Er dette svar korrekt?" og bruger sandsynligheden for "ja"-tokenet til at vurdere graden af ​​egnethed. "Denne mekanisme hjælper modellen med at verificere hver mulighed uafhængigt, uden at være påvirket af position eller svarmærke, og overvinder dermed direkte begrænsningerne i MCSB-begrænsningen," sagde Phát om fordelene ved forskningen.

Undersøgelsen inkorporerer også Retrieval-Augmented Generation (RAG) teknikker, der giver modellen adgang til ekstern viden, når det er nødvendigt, hvilket forbedrer kontekstuel nøjagtighed og tester løsningens stabilitet under forskellige forhold.

Ved test på tre standardiserede videnskabelige datasæt – ARC, OpenBookQA og SciQ – leverede STL resultater, der var lig med eller bedre end mange populære metoder, med forbedringer på op til 11 procentpoint i nogle konfigurationer, samtidig med at beregningsomkostningerne blev reduceret betydeligt.

Med hensyn til potentielle anvendelser kan STL-teknologi hjælpe lærere med at gennemgå eksamensspørgsmål, automatisk foreslå svar på ubesvarede spørgsmål, understøtte karaktergivning og udvikle intelligente læringssystemer, der er i stand til at fortolke vurderingsresultater.

Ifølge lektor Quan Thanh Tho yder publikationen ikke blot et enestående bidrag med hensyn til akademisk værdi til forskning inden for LLM-feltet, men viser også, at forbedring af AI-pålidelighed ikke nødvendigvis kommer fra større modeller eller komplekse arkitekturer. "Nogle gange kan blot en lille ændring i, hvordan prompts er designet, gøre en stor forskel i praktiske anvendelser," udtalte professor Tho.

Du vil måske også synes om

Lovende startups dukker op på Bach Khoa Innovation 2024

Hvorfor ændrede AI'en sit svar?

Ifølge forskerholdet fokuserer arbejdet på at forbedre evnen hos store open source-programmeringssprogsmodeller som LLaMA, DeepSeek og Mistral til automatisk at behandle multiple-choice-spørgsmål uden specifikke instruktioner (zero-shot).

Blot at ændre rækkefølgen af ​​svarene A - B - C - D, selvom spørgsmålsindholdet forbliver nøjagtigt det samme, kan få modellen til at producere forskellige resultater. Dette fænomen antyder, at modellen ikke rigtig forstår multiple-choice-spørgsmålets natur, men kan være påvirket af svarets position eller symbol.

Problemet ligger i LLM'ernes natur: disse modeller er optimeret til at forudsige det næste token, hvilket gør dem modtagelige for svarets position eller betegnelse i stedet for rent faktisk at evaluere semantik.

TRAN HUYNH

Kilde: https://tuoitre.vn/sinh-vien-bach-khoa-dua-luan-van-ai-len-tap-chi-q1-20260412080023156.htm