(vfo.vn) Ngày 16/12 vừa qua, tại AI Summit 2023, Zalo giới thiệu mô hình ngôn ngữ lớn (Large Language Model – LLM) đang được phát triển, hướng tới việc xây dựng ứng dụng AI tạo sinh văn bản tương thích và phục vụ tốt hơn cho người Việt Nam.
Tại Zalo AI Summit 2023, Zalo lần đầu trình diễn mô hình ngôn ngữ lớn là phiên bản đang trong giai đoạn phát triển, có khả năng hiểu và trả lời các câu hỏi về nhiều lĩnh vực khác nhau bằng tiếng Việt.
Để thử thách khả năng của mô hình ngôn ngữ mới, mô hình được tích hợp vào Kiki để thi đấu kiến thức qua game Kahoot. Cùng tham gia trò chơi là các giải pháp ra mắt trước đó như GPT-3.5, GPT-4, Llama22, QWen và một LLM Việt Nam ra mắt gần đây và cả người thật. Bộ đề thi gồm 20 câu hỏi ở nhiều lĩnh vực, được đặt ra bởi con người và không chia sẻ trước với Zalo.
Trong quá trình thử thách, mô hình ngôn ngữ lớn của Zalo thể hiện khá tốt ở các câu hỏi thường thức, kiến thức chung. Kiki cùng GPT-4 là hai công cụ trả lời đúng câu hỏi liên quan đến ca khúc Wish you were here của ban nhạc Pink Floyd.
Một số câu hỏi khác liên quan đến chủ đề trong nước như nguồn gốc của rượu Bàu Đá, Kiki và GPT-4 cũng trả lời chính xác. Trong khi đó, các LLM khác lại gặp khó khăn. Đồng thời, cả 6 AI tham gia thử thách đều không vượt qua các câu hỏi về tốc độ tối đa trong đô thị hay con giáp của năm 2024.
Kết thúc thử thách, các mô hình ngôn ngữ lớn đều không thể vượt qua người chơi thật với bộ câu hỏi bằng tiếng Việt. Tuy nhiên, GPT-4 và Kiki là hai công cụ có sự thể hiện tốt. Mô hình ngôn ngữ lớn của Zalo AI tỏ ra không thua kém những LLM khác trên thế giới.
Theo TS Nguyễn Trường Sơn - Giám đốc Khoa học tại Zalo AI - dù có hàng chục nghìn mô hình ngôn ngữ lớn đang được phát triển, nhưng số sản phẩm hỗ trợ tốt cho tiếng Việt rất hiếm. Trong khi đó, việc phụ thuộc vào các giải pháp quốc tế cũng tiềm ẩn nhiều nguy cơ về bảo mật hay tốn kém chi phí do ngôn ngữ không tối ưu.
Phiên bản Kiki tham gia Kahoot được phát triển trên mô hình ngôn ngữ lớn của Zalo AI. Mô hình dựa theo kiến trúc transformer, được huấn luyện bằng các kỹ thuật như Flash Attention với dữ liệu hướng dẫn chất lượng cao. Mô hình của Zalo AI đang hướng đến mục tiêu xử lý đa tác vụ, như: dịch văn bản, sáng tạo và viết nội dung, trích xuất thông tin trong văn bản và trả lời câu hỏi...
Hiện nay, Zalo đang phát triển mô hình ngôn ngữ lớn của mình trên nhiều kích cỡ mô hình khác nhau, từ 1B đến 30B tham số. Phiên bản được được trình diễn tại Zalo AI Summit được huấn luyện trên mô hình 7B tham số.
