Thách thức về sự khan hiếm dữ liệu
Một trong những trở ngại chính để xây dựng các LLM y tế hiệu suất cao là sự hạn chế về dữ liệu đào tạo chất lượng cao. Việc truy cập vào dữ liệu như vậy thường bị hạn chế do những lo ngại chính đáng về quyền riêng tư và các rào cản pháp lý nghiêm ngặt. Bản thân các bộ dữ liệu y tế rất phức tạp, bao gồm cả thông tin có cấu trúc và không có cấu trúc, từ ghi chú lâm sàng và hồ sơ sức khỏe điện tử đến sách giáo khoa y tế và các bài báo nghiên cứu được bình duyệt. Tính không đồng nhất này làm cho việc đào tạo mô hình toàn diện trở thành một nỗ lực phức tạp. Nhiều phương pháp tiếp cận khác nhau đã được khám phá, chẳng hạn như tinh chỉnh các LLM chung trên các bộ dữ liệu y tế hiện có và sử dụng các kỹ thuật học chuyển giao. Tuy nhiên, những phương pháp này thường không nắm bắt được toàn bộ chiều sâu và bề rộng của kiến thức y học. Do đó, các mô hình được đào tạo theo cách này có thể thể hiện sự thành thạo trong một số nhiệm vụ cụ thể nhưng thiếu sự hiểu biết sắc thái, tổng thể cần thiết cho các yêu cầu y tế phức tạp. Điều này nhấn mạnh nhu cầu quan trọng về các chiến lược đào tạo tinh vi và tinh tế hơn.
Giới thiệu Baichuan-M1: Một phương pháp tiếp cận mới
Để giải quyết những thách thức này, các nhà nghiên cứu tại Baichuan Inc. đã phát triển Baichuan-M1, một loạt mô hình ngôn ngữ lớn đột phá được thiết kế rõ ràng cho các ứng dụng y tế. Baichuan-M1 thể hiện sự khác biệt so với các phương pháp tiếp cận truyền thống dựa vào việc điều chỉnh các kiến trúc hiện có thông qua đào tạo trước bổ sung hoặc đào tạo sau. Thay vào đó, Baichuan-M1 đã được xây dựng từ đầu, với sự nhấn mạnh đặc biệt vào việc trau dồi chuyên môn y tế sâu rộng. Mô hình này đã được đào tạo trên một bộ dữ liệu mở rộng bao gồm 20 nghìn tỷ token, bao gồm cả các nguồn dữ liệu chung và y tế cụ thể. Chế độ đào tạo toàn diện này nhằm mục đích tạo ra sự cân bằng tinh tế giữa hiểu ngôn ngữ rộng và độ chính xác theo miền cụ thể. Do đó, Baichuan-M1 thể hiện sự thành thạo không chỉ trong các nhiệm vụ chung, chẳng hạn như viết mã và suy luận toán học, mà còn vượt trội trong một loạt các ứng dụng y tế, bao gồm chẩn đoán và khuyến nghị điều trị. Tận dụng kiến trúc Transformer được tối ưu hóa, Baichuan-M1 sẵn sàng thiết lập một chuẩn mực mới cho những tiến bộ do AI thúc đẩy trong lĩnh vực chăm sóc sức khỏe.
Đổi mới kiến trúc và chiến lược đào tạo
Kiến trúc mô hình Baichuan-M1 lấy cảm hứng từ Llama và các framework đã được thiết lập khác, kết hợp các tính năng chính như pre-norm RMSNorm, kích hoạt SwishGlu trong lớp mạng truyền thẳng (FFN) và nhúng vị trí xoay. Để tối ưu hóa hiệu quả suy luận, nghiên cứu tích hợp cả cơ chế attention toàn cục và cửa sổ trượt. Kích thước đầu cho các lớp toàn cục được tăng lên 256, tăng cường khả năng của mô hình trong việc nắm bắt các phụ thuộc tầm xa. Hơn nữa, các tích chập ngắn hạn thời gian được áp dụng cho key-value attention, tăng cường khả năng học trong ngữ cảnh.
Mô hình sử dụng một tokenizer lai được thiết kế đặc biệt để xử lý cả văn bản y tế và văn bản chung một cách hiệu quả. Một chiến lược đào tạo dựa trên chương trình giảng dạy được áp dụng, tăng dần độ phức tạp của dữ liệu đào tạo để tạo điều kiện cho việc học mạnh mẽ hơn. Cắt gradient thích ứng được thực hiện để đảm bảo sự ổn định của quá trình đào tạo, giảm thiểu nguy cơ bùng nổ gradient. Tinh chỉnh có giám sát được sử dụng để tinh chỉnh cả kỹ năng suy luận chung và hiệu suất nhiệm vụ y tế cụ thể. Phương pháp tỉ mỉ này đảm bảo rằng Baichuan-M1 có khả năng hiểu ngôn ngữ mạnh mẽ, khả năng suy luận y tế phức tạp và khả năng xử lý các tài liệu dài một cách hiệu quả, đồng thời duy trì hiệu quả suy luận tối ưu.
Đánh giá hiệu suất và so sánh
Để đánh giá nghiêm ngặt khả năng của Baichuan-M1-14B-Base, các nhà nghiên cứu đã tiến hành một loạt các đánh giá bằng cách sử dụng nhiều tiêu chuẩn đã được thiết lập, tập trung chủ yếu vào khả năng tạo mã và suy luận toán học của nó. Hiệu suất của mô hình đã được so sánh với các mô hình dòng Qwen2.5.
Đối với việc tạo mã, framework EvalPlus và Bigcodebench đã được sử dụng. Các tiêu chuẩn này đánh giá khả năng của mô hình trong việc tạo mã chức năng dựa trên mô tả ngôn ngữ tự nhiên. Về trình độ toán học, các bộ dữ liệu MATH và CMATH đã được sử dụng. Các bộ dữ liệu này thách thức khả năng của mô hình trong việc giải quyết một loạt các bài toán, từ số học cơ bản đến giải tích nâng cao.
Mặc dù biến thể 14B-Instruct của Baichuan-M1 vẫn thể hiện khoảng cách hiệu suất so với các mô hình độc quyền như Claude-3.5-Sonnet và GPT-4o, khoảng cách này đã được thu hẹp đáng kể. Kết quả chỉ ra rằng Baichuan-M1-14B-Base thể hiện hiệu suất cạnh tranh trong các nhiệm vụ cụ thể, thể hiện thế mạnh của nó trong cả việc tạo mã và suy luận toán học khi so sánh với các mô hình tiên tiến khác.
Suy nghĩ lại cách tiếp cận với các LLM chuyên biệt
Việc phát triển các LLM cho các lĩnh vực chuyên biệt theo truyền thống phụ thuộc nhiều vào việc tinh chỉnh các mô hình đã có từ trước. Tuy nhiên, bằng chứng thực nghiệm cho thấy rằng việc đào tạo thêm trên các mô hình đã được đào tạo trên các bộ dữ liệu chung rộng lớn không phải lúc nào cũng mang lại kết quả tối ưu cho hiệu suất theo miền cụ thể, đặc biệt là không ảnh hưởng đến khả năng chung. Trong bối cảnh các ứng dụng y tế, việc tinh chỉnh một mô hình đa năng với dữ liệu y tế có thể kém hiệu quả hơn so với việc đào tạo một mô hình từ đầu, được điều chỉnh đặc biệt cho lĩnh vực y tế.
Dự án Baichuan-M1 áp dụng phương pháp thay thế này. Bằng cách đào tạo mô hình trên một bộ dữ liệu khổng lồ gồm 20 nghìn tỷ token, với một phần đáng kể dành riêng cho kiến thức y tế, các nhà nghiên cứu đã nhắm đến việc trau dồi chuyên môn y tế sâu rộng đồng thời duy trì khả năng ngôn ngữ chung mạnh mẽ. Việc mở nguồn Baichuan-M1-14B nhằm mục đích thúc đẩy nghiên cứu và phát triển hơn nữa trong lĩnh vực quan trọng này.
Giải quyết những thách thức còn lại
Mặc dù những tiến bộ đáng kể được thể hiện bởi Baichuan-M1, điều quan trọng là phải thừa nhận rằng những thách thức vẫn còn. Ví dụ, việc chẩn đoán các bệnh hiếm gặp thường đòi hỏi một mức độ kiến thức chuyên môn và nhận dạng mẫu mà ngay cả các LLM tiên tiến nhất cũng có thể gặp khó khăn để đạt được. Hơn nữa, việc ứng dụng thành công trong thế giới thực của các mô hình này đòi hỏi phải xem xét cẩn thận các tác động đạo đức, quyền riêng tư dữ liệu và tuân thủ quy định.
Sự phát triển liên tục của Baichuan-M1, được thúc đẩy bởi nghiên cứu liên tục và đóng góp của cộng đồng, có tiềm năng thúc đẩy đáng kể công nghệ tiên tiến trong việc ra quyết định y tế do AI thúc đẩy. Khả năng của các mô hình này trong việc hỗ trợ các chuyên gia chăm sóc sức khỏe cung cấp dịch vụ chăm sóc chính xác hơn, kịp thời hơn và được cá nhân hóa hơn có thể có tác động sâu sắc đến kết quả của bệnh nhân và hiệu quả tổng thể của hệ thống chăm sóc sức khỏe. Hành trình hướng tới AI y tế thực sự đáng tin cậy và đáng tin cậy chắc chắn là phức tạp và nhiều mặt, nhưng sự phát triển của các mô hình như Baichuan-M1 thể hiện một bước tiến đáng kể. Việc xem xét cẩn thận cả các khía cạnh kỹ thuật và đạo đức sẽ rất quan trọng trong việc đảm bảo rằng các công cụ mạnh mẽ này được sử dụng một cách có trách nhiệm và hiệu quả để cải thiện sức khỏe con người. Việc tiếp tục khám phá các kiến trúc mới, chiến lược đào tạo và phương pháp đánh giá sẽ rất cần thiết trong việc vượt qua các ranh giới của những gì có thể trong lĩnh vực đang phát triển nhanh chóng này.