(vfo.vn) Ngày 16/12/2023, mô hình ngôn ngữ lớn (Large Language Model - LLM) của Zalo AI đã có màn chào sân tại Zalo AI Summit 2023 thông qua thử thách game Kahoot.
“Thử thách Kahoot của các Mô hình ngôn ngữ lớn” có sự tham gia của con người và các LLMs hiện có trên thị trường. Cụ thể: chatbot Kiki dựa trên LLM của Zalo AI, GPT-4, GPT-3.5 (OpenAI), QWen (Alibaba), LLaMA (Meta) và một mô hình khác của Việt Nam vừa được ra mắt gần đây. Tham gia thử thách, các LLMs phải vượt qua 20 câu hỏi trắc nghiệm thuộc nhiều lĩnh vực khác nhau như đời sống - xã hội, khoa học thường thức, văn học, lịch sử, địa lý và tiếng Anh... trong thời gian chỉ 10 giây/câu hỏi.
Kết quả trung bình các LLMs đã trả lời đúng 8/20 câu hỏi. Trong đó, nhiều câu có độ thử thách cao, mà một người bình thường khó có thể trả lời chính xác chỉ trong vòng 10 giây. Kết thúc trò chơi, vị trí dẫn đầu thuộc về con người (người chơi). Riêng Kiki xếp hạng 3 chung cuộc chỉ sau một mô hình ngôn ngữ lớn là GPT-4 của OpenAI và người chơi.
Phiên bản Kiki tham gia Kahoot được phát triển trên mô hình ngôn ngữ lớn của Zalo AI. Mô hình dựa theo kiến trúc transformer, được huấn luyện bằng các kỹ thuật như Flash Attention và Llama với dữ liệu hướng dẫn chất lượng cao. Mô hình của Zalo AI đang hướng đến mục tiêu xử lý đa tác vụ, như: dịch văn bản, sáng tạo và viết nội dung, trích xuất thông tin trong văn bản và trả lời câu hỏi... Trước đó, LLM này cũng đã từng được thử nghiệm để tạo ra hàng triệu bài thơ nhân dịp 8/3 và 20/10.
Hiện Zalo đang phát triển mô hình ngôn ngữ lớn của mình trên nhiều kích cỡ mô hình khác nhau, từ 1B đến 30B tham số. Phiên bản chatbot Kiki được trình diễn tại Zalo AI Summit được huấn luyện trên mô hình 7B tham số. Trong tương lai, Zalo sẽ tiếp tục cải tiến mô hình của mình trước khi ra mắt người dùng và cung cấp nền tảng cho các ứng dụng hữu ích như chatbot, chăm sóc khách hàng, trình sáng tạo nội dung...
Trong một đánh giá khác thực hiện trên VMLU - Bộ tiêu chuẩn đánh giá năng lực tiếng Việt cho các mô hình ngôn ngữ lớn, được hợp tác phát triển bởi Zalo AI và Viện khoa học Công nghệ Tiên tiến Nhật Bản (JAIST), cho thấy mô hình của Zalo xếp thứ hai chỉ sau GPT-4 trong hầu hết mục đánh giá.
Zalo AI Summit 2023 lấy chủ đề “In the era of Generative AI – Trong kỷ nguyên trí tuệ nhân tạo tạo sinh”. Diễn giả đồng hành cùng sự kiện năm nay là chuyên gia tại các tập đoàn công nghệ và các đơn vị nghiên cứu AI hàng đầu trên thế giới, như Nvidia, ĐH Warwick (Anh Quốc), Viện khoa học và Công nghệ Tiên tiến Nhật Bản (JAIST). Tại sự kiện, các diễn giả đã lần lượt cập nhật về những bước tiến mới nhất trong lĩnh vực trí tuệ nhân tạo tạo sinh, đặc biệt là về mô hình ngôn ngữ lớn (LLMs) cả trong và ngoài nước.
Sự kiện Zalo AI Summit năm nay còn có phần công bố và trao giải cho các đội thi xuất sắc của Zalo AI Challenge 2023. Cuộc thi đã diễn ra gần 1 tháng qua với sự tham gia của hơn 1.000 đội thi, giải quyết 3 bộ đề thử thách từ Ban tổ chức: Elementary Maths Solving - yêu cầu xây dựng mô hình tự giải toán, Advertising Banner Generation - thiết kế hình ảnh và Background Music Generation - sáng tác nhạc. Theo đó, ba đội Quán Quân tại ba bộ đề thi tương ứng gồm: đội NguyenLe, đội T-Sharp và đội Berlin. Ba đội giành giải Á Quân gồm: đội 4F, đội Invisible và đội AQN. Ngoài ra, Top 5 chung cuộc tại 3 bộ đề thi cũng nhận được quà từ nhà tài trợ Intel.
