Microsoft Research đã giới thiệu Phi-4, một mô hình ngôn ngữ nhỏ với 14 tỷ tham số, được thiết kế để nâng cao trình độ trong lĩnh vực suy luận toán học. Mô hình này ban đầu được cung cấp trên Azure AI Foundry và gần đây đã được mở trên Hugging Face theo giấy phép MIT.
Những Đổi Mới của Phi-4
Theo Microsoft, Phi-4 vượt trội hơn các mô hình tương tự và lớn hơn về khả năng suy luận toán học nhờ một số kỹ thuật đổi mới được sử dụng trong quá trình huấn luyện, bao gồm:
- Huấn luyện trước và huấn luyện giữa kỳ bằng dữ liệu tổng hợp: Sử dụng dữ liệu tổng hợp cho huấn luyện trước và huấn luyện giữa kỳ, cung cấp một lộ trình học tập có cấu trúc hơn cho mô hình.
- Quản lý dữ liệu hữu cơ: Lựa chọn và sàng lọc cẩn thận dữ liệu hữu cơ để đảm bảo chất lượng dữ liệu huấn luyện.
- Phương pháp hậu huấn luyện mới: Áp dụng các phương pháp hậu huấn luyện mới để nâng cao hiệu suất của mô hình.
Những đổi mới này giúp Phi-4 vượt trội hơn mô hình giáo viên GPT-4o về khả năng trả lời các câu hỏi tập trung vào STEM, chứng minh rằng các kỹ thuật tạo dữ liệu và hậu huấn luyện của Microsoft không chỉ đơn thuần là chắt lọc kiến thức.
Ưu Điểm Độc Đáo của Dữ Liệu Tổng Hợp
Việc sử dụng dữ liệu tổng hợp trong huấn luyện các mô hình ngôn ngữ lớn (LLM) không phải là mới, và các mô hình Phi cũng đã sử dụng phương pháp này. Microsoft chỉ ra rằng dữ liệu tổng hợp không phải là một sự thay thế rẻ tiền, nó ưu việt hơn dữ liệu hữu cơ ở những điểm sau:
- Lộ trình học tập tiến bộ hơn: Dữ liệu tổng hợp có thể hướng dẫn LLM học tập từng bước, từ việc đưa ra vấn đề ban đầu đến giải pháp cuối cùng, giúp mô hình dễ dàng hiểu quá trình suy luận.
- Phù hợp hơn với môi trường suy luận: Không giống như dữ liệu hữu cơ chứa các vấn đề và giải pháp cuối cùng, dữ liệu tổng hợp có thể cung cấp quá trình suy luận từng bước chi tiết hơn, phù hợp hơn với các tình huống suy luận thực tế.
Dữ Liệu Hữu Cơ Được Lựa Chọn Cẩn Thận
Ngoài dữ liệu tổng hợp, Microsoft còn sử dụng dữ liệu hữu cơ được lựa chọn cẩn thận, bao gồm hàng chục triệu bài toán và giải pháp toán học chất lượng cao được thu thập từ các trang web công cộng và tập dữ liệu bên ngoài. Đối với những trường hợp không cung cấp giải pháp chính xác, họ sử dụng phương pháp bỏ phiếu đa số để tổng hợp tạo ra giải pháp, nhằm nâng cao độ chính xác. Ngoài ra, họ còn thu thập các bài báo khoa học, diễn đàn giáo dục và hướng dẫn lập trình.
Microsoft nhấn mạnh vai trò quan trọng của dữ liệu tự nhiên chất lượng cao trong việc tạo dữ liệu tổng hợp, chỉ ra rằng ngay cả những lỗi nhỏ cũng có thể làm giảm nghiêm trọng chất lượng của các tài liệu tổng hợp phái sinh. Do đó, họ đã đầu tư rất nhiều công sức để hoàn thiện việc quản lý dữ liệu web.
Giai Đoạn Hậu Huấn Luyện của Phi-4
Giai đoạn hậu huấn luyện của Phi-4 được thiết kế để biến nó thành một trợ lý AI đáng tin cậy. Giai đoạn này bao gồm các bước sau:
- Tinh chỉnh: Sử dụng dữ liệu chất lượng cao được tạo ra từ các lĩnh vực khác nhau như toán học, mã hóa, suy luận, đối thoại, nhận dạng mô hình và an toàn để tinh chỉnh mô hình.
- Tối ưu hóa sở thích trực tiếp (DPO): Thực hiện hai bước DPO để làm cho mô hình phù hợp hơn với sở thích của con người và loại bỏ các hành vi xấu.
- Tìm kiếm Token Quan Trọng: Trong bước đầu tiên, Microsoft sử dụng một kỹ thuật mới có tên là Tìm kiếm Token Quan Trọng để tạo ra các cặp kết quả mong muốn/không mong muốn.
- GPT-4o làm người đánh giá: Trong bước thứ hai, họ sử dụng GPT-4o làm người đánh giá để gắn nhãn tích cực hoặc tiêu cực cho mỗi cặp kết quả.
Đánh Giá Phi-4
Phi-4 được đánh giá bằng khung SIMPLE-EVALS của OpenAI và đã vượt qua Llama-3.1-405B trong nhiều bài kiểm tra chuẩn. Ngoài ra, nó cũng vượt qua mô hình giáo viên GPT-4o trong các bài kiểm tra chuẩn GPQA (câu hỏi và trả lời STEM cấp độ sau đại học) và MATH (cuộc thi toán học).
Chi Tiết Dữ Liệu Huấn Luyện của Mô Hình Phi-4
Microsoft đã sử dụng một chiến lược dữ liệu được thiết kế cẩn thận khi huấn luyện mô hình Phi-4, chiến lược này chủ yếu xoay quanh dữ liệu tổng hợp và dữ liệu thực được chọn lọc. Phương pháp kết hợp này nhằm mục đích tối ưu hóa quá trình học tập của mô hình và giúp nó hoạt động xuất sắc trong suy luận toán học.
Tạo Dữ Liệu Tổng Hợp
Dữ liệu tổng hợp đóng vai trò quan trọng trong quá trình huấn luyện Phi-4. Nhóm Microsoft không coi dữ liệu tổng hợp là sự thay thế đơn giản cho dữ liệu thực, mà coi nó như một công cụ có thể hướng dẫn mô hình học tập từng bước. Quá trình tạo dữ liệu tổng hợp thường tuân theo các bước sau:
- Tạo vấn đề: Đầu tiên, các vấn đề toán học khác nhau được tạo ra dựa trên các quy tắc và mẫu được xác định trước. Các vấn đề này bao gồm các lĩnh vực toán học và mức độ khó khác nhau để đảm bảo mô hình học tập toàn diện.
- Giải pháp từng bước: Đối với mỗi vấn đề được tạo ra, một giải pháp từng bước được tạo ra, giải thích chi tiết quá trình suy luận từ việc đưa ra vấn đề đến câu trả lời cuối cùng. Giải pháp từng bước này không chỉ bao gồm câu trả lời cuối cùng mà còn bao gồm các bước trung gian và logic suy luận, giúp mô hình hiểu quá trình giải quyết vấn đề.
- Tăng cường dữ liệu: Để tăng tính đa dạng của dữ liệu, dữ liệu tổng hợp cũng được tăng cường, chẳng hạn như thay đổi cách diễn đạt vấn đề, điều chỉnh số hoặc sử dụng các phương pháp giải quyết khác nhau.
Dữ Liệu Thực Được Chọn Lọc
Ngoài dữ liệu tổng hợp, quá trình huấn luyện Phi-4 còn sử dụng một lượng lớn dữ liệu thực được chọn lọc. Dữ liệu này đến từ nhiều trang web công cộng, bài báo khoa học, diễn đàn giáo dục và hướng dẫn lập trình khác nhau, bao gồm các loại sau:
- Bài toán và lời giải toán học: Hàng triệu bài toán toán học chất lượng cao và lời giải của chúng được thu thập từ các trang web công cộng và tập dữ liệu bên ngoài. Các vấn đề này bao gồm các lĩnh vực toán học và mức độ khó khác nhau.
- Bài báo khoa học: Để nâng cao khả năng hiểu và suy luận của mô hình, một số lượng lớn các bài báo khoa học cũng được thu thập, cung cấp các khái niệm và lý thuyết toán học chuyên sâu.
- Diễn đàn giáo dục: Các câu hỏi do học sinh đặt ra và câu trả lời do các chuyên gia cung cấp được thu thập từ các diễn đàn giáo dục, cho phép mô hình hiểu các vấn đề toán học từ các góc độ khác nhau.
- Hướng dẫn lập trình: Để nâng cao khả năng lập trình của mô hình, một số lượng lớn các hướng dẫn lập trình cũng được thu thập, bao gồm các ngôn ngữ và thuật toán lập trình khác nhau.
Kiểm Soát Chất Lượng Dữ Liệu
Microsoft đã đầu tư rất nhiều công sức vào việc kiểm soát chất lượng dữ liệu để đảm bảo tính chính xác và nhất quán của dữ liệu huấn luyện. Họ đã thực hiện các biện pháp sau:
- Đánh giá thủ công: Đối với một số tập dữ liệu quan trọng, đánh giá thủ công sẽ được thực hiện để đảm bảo tính chính xác và chất lượng của dữ liệu.
- Bỏ phiếu đa số: Đối với các vấn đề không cung cấp giải pháp chính xác, phương pháp bỏ phiếu đa số sẽ được sử dụng để tạo ra giải pháp, từ đó nâng cao độ chính xác.
- Làm sạch dữ liệu: Tất cả dữ liệu sẽ được làm sạch để loại bỏ dữ liệu trùng lặp, dữ liệu sai và dữ liệu không liên quan.
Phân Tích Chi Tiết Chiến Lược Hậu Huấn Luyện
Giai đoạn hậu huấn luyện của Phi-4 được thiết kế để biến nó thành một trợ lý AI đáng tin cậy, giai đoạn này chủ yếu bao gồm tinh chỉnh và tối ưu hóa sở thích trực tiếp (DPO).
Giai Đoạn Tinh Chỉnh
Mục tiêu của giai đoạn tinh chỉnh là làm cho mô hình thích ứng với các nhiệm vụ và lĩnh vực khác nhau. Trong giai đoạn này, Microsoft đã sử dụng dữ liệu chất lượng cao được tạo ra từ các lĩnh vực sau:
- Toán học: Bao gồm các bài toán và lời giải toán học khác nhau, nhằm nâng cao khả năng suy luận toán học của mô hình.
- Mã hóa: Bao gồm các bài toán và lời giải lập trình khác nhau, nhằm nâng cao khả năng tạo và hiểu mã của mô hình.
- Suy luận: Bao gồm các bài toán suy luận logic khác nhau, nhằm nâng cao khả năng tư duy logic của mô hình.
- Đối thoại: Bao gồm các dữ liệu đối thoại khác nhau, nhằm nâng cao khả năng hiểu và tạo ngôn ngữ tự nhiên của mô hình.
- Nhận dạng mô hình: Bao gồm các mô tả nhận dạng mô hình khác nhau, nhằm nâng cao khả năng hiểu về khả năng của chính mô hình.
- An toàn: Bao gồm các vấn đề và giải pháp an toàn khác nhau, nhằm nâng cao tính an toàn của mô hình.
Giai Đoạn Tối Ưu Hóa Sở Thích Trực Tiếp (DPO)
Mục tiêu của giai đoạn tối ưu hóa sở thích trực tiếp (DPO) là làm cho hành vi của mô hình phù hợp hơn với sở thích của con người và loại bỏ các hành vi xấu. Giai đoạn này bao gồm hai bước:
- Tìm kiếm Token Quan Trọng: Trong bước đầu tiên, Microsoft sử dụng một kỹ thuật mới có tên là Tìm kiếm Token Quan Trọng để tạo ra các cặp kết quả mong muốn/không mong muốn. Kỹ thuật này tìm kiếm không gian đầu ra của mô hình để tìm các token quan trọng có thể phân biệt giữa các hành vi mong muốn và không mong muốn.
- GPT-4o làm người đánh giá: Trong bước thứ hai, họ sử dụng GPT-4o làm người đánh giá để gắn nhãn tích cực hoặc tiêu cực cho mỗi cặp kết quả. GPT-4o có thể đánh giá đầu ra của mô hình dựa trên sở thích của con người, từ đó giúp mô hình học tốt hơn về sở thích của con người.
Đánh Giá Hiệu Suất của Phi-4
Để đánh giá hiệu suất của Phi-4, Microsoft đã sử dụng khung SIMPLE-EVALS của OpenAI, khung này bao gồm các bài kiểm tra chuẩn khác nhau có thể đánh giá hiệu suất của mô hình trong các nhiệm vụ khác nhau.
Bài Kiểm Tra Chuẩn
Phi-4 đã hoạt động xuất sắc trong các bài kiểm tra chuẩn sau:
- GPQA (Câu hỏi và trả lời STEM cấp độ sau đại học): Trong bài kiểm tra chuẩn này, Phi-4 đã vượt qua mô hình giáo viên GPT-4o, chứng minh khả năng trả lời câu hỏi trong lĩnh vực STEM rất mạnh.
- MATH (Cuộc thi toán học): Trong bài kiểm tra chuẩn này, Phi-4 cũng vượt qua mô hình giáo viên GPT-4o, chứng minh khả năng giải quyết các bài toán toán học phức tạp rất xuất sắc.
- So sánh với các mô hình khác: Trong nhiều bài kiểm tra chuẩn, Phi-4 đã vượt qua Llama-3.1-405B, chứng minh hiệu suất tổng thể rất mạnh.
Phân Tích Hiệu Suất
Thông qua việc đánh giá hiệu suất của Phi-4, có thể đưa ra các kết luận sau:
- Khả năng suy luận toán học mạnh mẽ: Phi-4 hoạt động rất xuất sắc trong suy luận toán học, nhờ các phương pháp đổi mới được sử dụng trong quá trình huấn luyện, bao gồm dữ liệu tổng hợp, dữ liệu thực được chọn lọc và chiến lược hậu huấn luyện.
- Vượt qua mô hình giáo viên: Trong nhiều bài kiểm tra chuẩn, Phi-4 đã vượt qua mô hình giáo viên GPT-4o, chứng minh hiệu suất của nó không chỉ đơn thuần là chắt lọc kiến thức.
- So sánh với các mô hình khác: Phi-4 đã vượt qua Llama-3.1-405B trong nhiều bài kiểm tra chuẩn, chứng minh hiệu suất tổng thể rất mạnh.
Tiềm Năng Ứng Dụng của Phi-4
Phi-4, với tư cách là một mô hình ngôn ngữ nhỏ được thiết kế đặc biệt cho suy luận toán học phức tạp, có tiềm năng ứng dụng rộng rãi. Nó có thể được áp dụng trong các lĩnh vực sau:
- Giáo dục: Có thể được sử dụng làm công cụ gia sư toán học, giúp học sinh giải quyết các bài toán và cung cấp trải nghiệm học tập cá nhân hóa.
- Nghiên cứu khoa học: Có thể được sử dụng làm công cụ nghiên cứu khoa học, giúp các nhà nghiên cứu thực hiện mô hình hóa toán học và phân tích dữ liệu.
- Kỹ thuật: Có thể được sử dụng làm công cụ kỹ thuật, giúp các kỹ sư thực hiện thiết kế và phân tích.
- Tài chính: Có thể được sử dụng làm công cụ tài chính, giúp các nhà phân tích tài chính thực hiện đánh giá rủi ro và quyết định đầu tư.
- Các lĩnh vực khác: Cũng có thể được áp dụng trong các lĩnh vực khác đòi hỏi suy luận toán học phức tạp, chẳng hạn như y tế, hậu cần và sản xuất.
Kết Luận
Sự xuất hiện của Microsoft Phi-4 đánh dấu một bước tiến lớn của các mô hình ngôn ngữ nhỏ trong lĩnh vực suy luận toán học. Chiến lược huấn luyện dữ liệu độc đáo và phương pháp hậu huấn luyện của nó đã giúp nó vượt qua các mô hình tương tự và lớn hơn về hiệu suất, đồng thời cung cấp những ý tưởng mới cho sự phát triển của AI trong tương lai. Với việc Phi-4 được mở nguồn trên Hugging Face, người ta tin rằng nó sẽ mang lại sự tiện lợi cho nhiều nhà nghiên cứu và nhà phát triển hơn, đồng thời thúc đẩy ứng dụng công nghệ AI trong các lĩnh vực khác nhau.