KyutAI，一家位于法国的人工智能研究实验室，最近发布了 Helium 1，这是一款具有突破性的开源语言模型，其设计理念是高效性和多语言能力。这款紧凑型模型拥有20亿个参数，经过专门训练，可以支持欧盟所有24种官方语言。Helium 1 专为无缝的设备端集成而设计，擅长执行多语言任务，并利用通过 KyutAI 定制的 dactory 流程精心策划的高质量训练数据集。该模型现已在 Hugging Face 上提供，邀请开发人员和研究人员探索其潜力。
Helium 1：语言模型的新范式
Helium 1 代表着与日俱增的 AI 模型趋势的背离，它没有追求更大的规模，而是专注于以更小、更高效的封装提供强大的性能。与 GPT-4 或 Claude 3 等庞然大物不同，Helium 1 专为在智能手机和边缘硬件等资源受限的设备上运行而定制。这种对效率的关注为各种环境中的 AI 应用开辟了新的可能性，尤其是在高端计算基础设施受限的地区。
KyutAI 优先考虑多语言支持的决定反映了对包容性和可访问性的承诺。通过在所有 24 种欧盟官方语言上训练 Helium 1，该实验室正在解决对能够有效服务于不同语言社区的 AI 模型的迫切需求。这种方法有可能实现 AI 技术的普及，并赋予那些可能因语言障碍而被排除在外的人们权力。
Helium 1 的架构和训练
Helium 1 是 KyutAI 的首个基础模型，经过精心设计，旨在拥抱欧洲丰富的语言文化。该模型的训练方案涉及 Common Crawl 数据集的改进版本，该数据集使用 KyutAI 的专有 dactory 工具进行处理。此工具优先考虑数据质量和语言平衡，确保模型接受全面的教育。根据 KyutAI 的说法，大约 60% 的数据集由英语文本组成，其次是西班牙语、荷兰语和法语。这种分布反映了这些语言在网上的相对流行程度，同时仍然保持了所有 24 种欧盟语言的代表性。
该模型的架构基于 transformer 网络，这是一种在自然语言处理中广泛采用的框架。然而，KyutAI 融入了几种现代增强功能，例如分组查询注意力和旋转位置嵌入，以优化性能。这些调整提高了推理速度并降低了内存消耗，使 Helium 1 非常适合部署在资源有限的设备上。KyutAI 透露，Helium 1 是通过从 Google 的 Gemma 2 9B 模型中提炼知识，利用 64 个 H100 GPU 进行训练的。这个过程使 KyutAI 能够在保持 Helium 1 紧凑尺寸的同时，利用更大模型的专业知识。
数据去重：确保质量和可读性
为了减轻训练数据中重复或不相关内容的存在，KyutAI 采用了一种巧妙的行级去重技术，使用了 Bloom 过滤器。此方法有效地识别并删除包含超过 80% 重复内容的段落，从而产生更干净、更有用的数据集。由此产生的压缩数据集重达 770GB（未压缩时为 2TB），这证明了 KyutAI 去重工作的有效性。通过确保其训练数据的质量和可读性，KyutAI 为 Helium 1 的性能奠定了坚实的基础。
多语言能力：关键差异化因素
Helium 1 最引人注目的特性之一是其卓越的多语言能力。该模型已经过各种基准测试的欧洲语言变体的严格测试，包括 ARC、MMLU、HellaSwag、MKQA 和 FLORES。这些基准测试评估了模型执行一系列任务的能力，例如问题解答、常识推理和语言理解。Helium 1 在这些基准测试中的出色表现证明了其在处理各种语言挑战方面的熟练程度。
除了标准基准测试之外，KyutAI 还尝试了’模型汤’，这是一种涉及混合从在特定数据子集上训练的专门模型的权重的技术。这些子集包括维基百科文章、教科书和一般的’生活’内容。最终的 Helium 1 汤结合了一般模型和专注模型，以增强分布外泛化。这种方法使模型能够更有效地适应新的和未见过的数据，使其更强大和通用。
更小、更专业的模型崛起
Helium 1 的开发反映了 AI 研究中更广泛的趋势，即构建更小、更专业的模型，而不是追求大规模系统。这种转变是由人们越来越认识到效率和可访问性与原始能力同等重要所驱动的。较小的模型更易于部署在各种设备上，运行所需的能量更少，并且可以更容易地适应特定任务。
KyutAI 发布 Helium 1 及其附带的工具（例如 dactory）旨在证明高质量的多语言模型不需要是巨大的或云绑定的。通过为研究人员和开发人员提供构建自己的专用模型所需的资源，KyutAI 正在促进创新并实现 AI 技术的普及。
开放获取：促进协作和创新
在许多新的 AI 模型要么是闭源的，要么规模庞大的时代，Helium 1 以其透明和紧凑的设计脱颖而出。研究人员可以通过 GitHub 和 Hugging Face 自由访问模型和训练代码。这种开放的实验邀请对于欧洲从事区域语言应用程序开发的开发人员尤其有益。通过拥抱开放获取，KyutAI 正在促进协作并加速 AI 领域的创新步伐。
Helium 1 在 Hugging Face 等平台上的可用性使开发人员可以轻松地将该模型集成到自己的项目中。这种简化的访问降低了准入门槛并鼓励实验，从而导致更广泛的应用和用例。Helium 1 的开源性质还允许研究人员仔细审查该模型的架构和训练过程，从而更深入地了解其能力和局限性。
Helium 1 的潜在应用
Helium 1 独特地结合了多语言支持、效率和开放访问，使其非常适合各种应用。一些潜在的用例包括：
- **设备端翻译：**Helium 1 的紧凑尺寸使其非常适合集成到需要实时翻译功能的移动应用中。
- **多语言聊天机器人：**Helium 1 可用于为能够以多种语言与用户交流的聊天机器人提供支持，从而提供个性化的支持和信息。
- **教育工具：**Helium 1 可用于开发提供语言学习支持和个性化反馈的教育应用。
- **辅助工具：**Helium 1 可用于创建辅助工具，以帮助残疾人访问信息并更有效地进行沟通。
- **内容创作：**Helium 1 可用于为网站、社交媒体和其他平台生成多语言内容。
- **情感分析：**Helium 1 可用于分析多种语言的情感，从而深入了解公众舆论和客户反馈。
- **代码生成：**Helium 1 的语言理解能力可以应用于代码生成任务，从而帮助开发人员更有效地编写代码。
- **文档摘要：**Helium 1 可用于总结多种语言的文档，从而为用户提供关键信息的快速概览。
- **命名实体识别：**Helium 1 可用于识别和分类多种语言中的命名实体（例如，人物、组织、地点），从而为信息提取和分析提供有价值的见解。
- **问题解答：**Helium 1 可用于回答多种语言的问题，从而为用户提供来自各种来源的信息访问权限。
多语言人工智能的未来
Helium 1 代表着多语言 AI 模型开发方面的重要一步。通过优先考虑效率、可访问性和开放访问，KyutAI 正在为 AI 技术在世界各地更具包容性和赋权性的未来铺平道路。随着 AI 领域不断发展，我们可能会看到越来越多像 Helium 1 这样的模型，这些模型旨在解决不同语言社区中的特定需求和挑战。
多语言 AI 模型的开发不仅对于确保公平地获得技术至关重要，而且对于促进跨文化理解和交流也至关重要。通过使用户能够以他们的母语与 AI 系统交互，我们可以打破语言障碍并促进跨文化的更大协作和同情心。
Helium 1 的发布证明了开放协作的力量以及更小、更专业的 AI 模型的潜力。随着研究人员和开发人员继续在 KyutAI 的工作基础上再接再厉，我们可以期待在未来几年看到多语言 AI 更加创新和具有影响力的应用。Helium 1 不仅仅是一个语言模型；它象征着 AI 更具包容性和可访问性的未来。