Nữ kỹ sư Zalo đưa công nghệ Việt đến hội thảo AI hàng đầu thế giới

6 năm gắn bó với Zalo là khoảng thời gian để Bùi Thị Cúc tiếp tục phát triển niềm đam mê với trí tuệ nhân tạo. Từ công việc khoa học dữ liệu thuở mới ra trường, Cúc đã trở thành kỹ sư trí tuệ nhân tạo cấp cao tại Zalo, đại diện đội ngũ phát triển VMLU giới thiệu công trình nghiên cứu tại hội nghị ACL (Association for Computational Linguistics) diễn ra tại Vienna, Áo trong mùa hè 2025.

Đây được đánh giá là hội nghị học thuật hàng đầu về xử lý ngôn ngữ tự nhiên, thu hút hơn 2.000 nhà nghiên cứu mỗi năm. Nhiều công trình nền tảng về NLP từng được trình bày tại đây trước khi trở thành chuẩn mực cho ngành.

“Ngay ngày đầu tới hội nghị, tôi choáng ngợp trước quy mô và cách mọi người trao đổi học thuật rất cởi mở”, Cúc hồi tưởng. Không khí nghiên cứu diễn ra liên tục từ sáng tới tối, với rất nhiều poster được trưng bày, những buổi thảo luận kỹ thuật kéo dài và sự hiện diện của các phòng lab đến từ Meta, Google, Apple…

Từ Việt Nam tới Vienna, Áo

Công trình nghiên cứu Bùi Thị Cúc mang đến có tên "ACL VMLU Benchmarks: A comprehensive benchmark toolkit for Vietnamese LLMs", hướng tới giải quyết vấn đề thiếu công cụ đánh giá dành cho mô hình ngôn ngữ lớn tiếng Việt.

Ra mắt vào tháng 11/2023 bởi Zalo AI và Viện Khoa học & Công nghệ Tiên tiến Nhật Bản (JAIST), VMLU đã mang tới một bộ tiêu chuẩn chung giúp các đơn vị phát triển mô hình ngôn ngữ lớn (gọi tắt là LLM) hướng tới người dùng Việt có căn cứ đánh giá và chiến lược huấn luyện mô hình phù hợp.

Bùi Cúc cho biết trong quá trình phát triển VMLU, các thành viên gặp rất nhiều thách thức, từ việc xây dựng benchmark đến đảm bảo chất lượng dữ liệu. Song, giai đoạn căng thẳng nhất là quá trình nộp nghiên cứu. Tỷ lệ chấp nhận nghiên cứu của ACL chỉ khoảng 25% và phải cạnh tranh với rất nhiều đơn vị nghiên cứu AI lớn trên toàn thế giới.

“Khi nhận được kết quả ở mức Borderline Conference - tức được chấp nhận nhưng ở findings - cả team đã vui mừng hơn mong đợi. Sau đó, tôi tập hợp toàn bộ phản hồi của hội đồng đánh giá, thảo luận với quản lý trực tiếp và cuối cùng thuyết phục được các đánh giá viên nâng điểm để bài nghiên cứu được chấp nhận ở hội nghị chính”, Cúc nhớ lại.

Chị Bùi Thị Cúc đại diện đội ngũ phát triển VMLU giới thiệu công trình nghiên cứu tại hội nghị ACL

Đây là bộ benchmark đầu tiên được thiết kế để đánh giá khả năng hiểu ngôn ngữ tiếng Việt của các mô hình ngôn ngữ lớn. Bộ benchmark này bao gồm 4 tập dữ liệu với 17.000 câu hỏi để đánh giá các khả năng về: Kiến thức tổng quát (general knowledge), đọc hiểu (reading comprehension), lập luận (reasoning) và hội thoại (dialog).

Theo các kỹ sư Zalo, phần lớn benchmark hiện nay được thiết kế cho tiếng Anh, vốn không phản ánh đầy đủ đặc trưng cú pháp, ngữ nghĩa và bối cảnh văn hóa của tiếng Việt. Việc dịch trực tiếp các bộ câu hỏi tiếng Anh sang tiếng Việt thường tạo ra sai lệch hoặc mất sắc thái ngữ nghĩa.

Để giải thích về bộ đánh giá LLM một cách dễ hiểu, hãy tưởng tượng AI giống như một học sinh cần thi để kiểm tra khả năng. Hiện tại, hầu hết bài thi đều bằng tiếng Anh, nhưng các thành viên Zalo AI muốn tạo ra bộ đề thi bằng tiếng Việt để kiểm tra AI có thực sự hiểu và sử dụng tiếng Việt tốt không.

Anh Nguyễn Trường Sơn, Giám đốc khoa học Zalo AI, khẳng định:“Bộ đánh giá VMLU đưa ra một 'thước đo' chung để đánh giá các mô hình ngôn ngữ lớn tiếng Việt. Sau khi công bố, chúng tôi nhận được rất nhiều phản hồi tích cực từ cộng đồng nghiên cứu AI trong và ngoài nước. Trong tương lai, tôi kỳ vọng VMLU sẽ trở thành một chuẩn mực đánh giá phổ biến và được ứng dụng rộng rãi, không chỉ trong cộng đồng học thuật mà còn trong các doanh nghiệp phát triển sản phẩm AI”.

Ứng dụng vào sản phẩm AI của Zalo

Ngoài giá trị học thuật, VMLU có nhiều khả năng ứng dụng trong quá trình phát triển sản phẩm AI tại Zalo.

Theo Cúc, đầu tiên, bộ benchmark giúp đánh giá mức độ chính xác và khả năng hiểu ngôn ngữ của các mô hình dùng trong sản phẩm Kiki Info, Trợ lý công dân số. Nhờ đó, đội ngũ có thể phát hiện điểm hạn chế của mô hình ở từng kỹ năng cụ thể.

Thứ hai, VMLU được dùng như công cụ kiểm thử trước khi triển khai các tính năng AI mới, chẳng hạn tóm tắt tin nhắn, gợi ý trả lời tự động hoặc hỗ trợ chăm sóc khách hàng.

Cuối cùng, với khả năng đánh giá hội thoại, VMLU giúp Zalo phát triển chatbot phục vụ doanh nghiệp có chất lượng giao tiếp tự nhiên, phù hợp văn hóa giao tiếp của người Việt.

“Mục tiêu lớn nhất của chúng tôi là tạo ra những mô hình AI hiểu tiếng Việt một cách tự nhiên và chính xác,” Cúc nói.

Nữ kỹ sư trẻ kỳ vọng VMLU sẽ tiếp tục được mở rộng.

Trở về từ Vienna, nữ kỹ sư trẻ kỳ vọng VMLU sẽ tiếp tục được mở rộng và trở thành nền tảng để nhiều nhóm nghiên cứu trong nước so sánh, đánh giá mô hình một cách thống nhất.

“Tôi mong bộ dữ liệu này là bước khởi đầu để cộng đồng AI tiếng Việt phát triển mạnh mẽ hơn trong những năm tới. Chúng tôi muốn góp phần nhỏ vào việc đưa tiếng Việt trở thành ngôn ngữ mà các mô hình AI toàn cầu hiểu đúng và xử lý hiệu quả”.