Google 准备通过推出 SignGemma 来改变听力和言语障碍人士的沟通方式，这是一款开创性的人工智能 (AI) 模型，能够将手语翻译成口语文本。这款创新模型，计划加入备受推崇的 Gemma 系列，目前正在 Google 位于 Mountain View 的工程师处进行严格测试，预计将于今年晚些时候推出。
秉承 Gemma 系列的精神，SignGemma 将成为一款开源 AI 模型，将其可访问性扩展到个人和企业。它的潜力在 Google I/O 2025 主题演讲中首次亮相，展示了弥合精通手语和不精通手语的人之间沟通鸿沟的能力。
揭示 SignGemma 的能力：跟踪手部动作和面部表情
通过 Google DeepMind 的官方 X（前身为 Twitter）帐户分享了 SignGemma 功能的抢先预览，让人们瞥见了 AI 模型及其即将发布的版本。然而，这并非 SignGemma 的首次亮相。DeepMind 的 Gemma 产品经理 Gus Martin 在 Google I/O 活动上提供了更早的预览。
活动期间，Martin 强调了 SignGemma 提供手语实时文本翻译的能力，有效地简化了面对面的互动。该模型的训练涵盖了各种手语风格，其性能在将美国手语 (ASL) 翻译成英语时达到顶峰。
根据 MultiLingual 的说法，SignGemma 的开源性质使其能够离线运行，非常适合在互联网连接有限的地区使用。它基于 Gemini Nano 框架构建，利用视觉转换器来细致地跟踪和分析手部动作、形状和面部表情。除了向开发人员提供之外，Google 还可以选择将该模型集成到其现有的 AI 工具中，例如 Gemini Live。
DeepMind 称其为 Google “用于将手语翻译成口语文本的最强大的模型”，并强调其即将发布。这款面向可访问性的大型语言模型目前处于早期测试阶段，这家科技巨头已发起公开呼吁，邀请个人进行测试并分享反馈。
人工智能在弥合沟通鸿沟中的力量
SignGemma 代表着利用 AI 解决现实世界挑战的重大飞跃。准确有效地将手语翻译成口语文本的能力，对于打破沟通障碍和促进更大的包容性具有巨大的潜力。
- 增强沟通： SignGemma 使使用手语的人能够更有效地与不理解手语的人进行交流。这可以使日常情况下的互动更加顺畅，例如点餐、问路或参加会议。
- 提高可访问性： 通过提供实时翻译，SignGemma 使信息和服务对听力障碍人士更具可访问性。这可以包括教育材料、在线内容和客户支持服务。
- 更大的独立性： SignGemma 可以帮助听力障碍人士过上更独立的生活。借助这项技术，他们或许能够更轻松地适应新环境、获取信息和参与社交活动。
- 促进包容性： SignGemma 有潜力在社会中促进对手语的更大理解和接受。通过使手语更易于访问，它可以帮助打破陈规定型观念并促进包容性。
- 变革性影响： SignGemma 及其类似模型有能力通过扩大残疾人士的访问权限来改变包括教育、医疗保健、客户服务和娱乐在内的众多领域。
深入研究：SignGemma 的工作原理
SignGemma 将手语翻译成口语文本的能力依赖于先进技术的复杂相互作用，包括计算机视觉、自然语言处理 (NLP) 和机器学习。
- 计算机视觉： SignGemma 采用计算机视觉算法来捕获和分析来自手语者视频流的视觉信息。这包括跟踪手、手臂、面部和身体的动作。
- 特征提取： 计算机视觉系统从视觉数据中提取关键特征，例如手的位置、形状和方向，以及面部表情和身体姿势。
- 手语识别： 然后将提取的特征输入到手语识别模型中，该模型已经在大量手语视频数据集上进行了训练。该模型识别正在做出的特定手势。
- 自然语言处理： 一旦识别出手势，SignGemma 的 NLP 组件就会构建一个语法正确的口语文本句子，该句子代表手势的含义。
- 上下文理解： 为确保准确翻译，SignGemma 会考虑对话的上下文和周围环境，以消除歧义并选择最合适的措辞。
开源人工智能的意义
Google 决定将 SignGemma 设为开源 AI 模型具有重要意义，原因如下：
- 技术民主化： 开源 AI 促进了可访问性和可负担性，使资源有限的个人和组织能够利用 AI 的力量。
- 协作与创新： 通过使该模型开源，Google 鼓励开发人员和研究人员之间的协作，从而促进创新并加速新应用程序的开发。
- 定制和适应性： 开源模型可以根据特定需求和要求进行定制和调整，允许用户根据其独特的上下文定制技术。
- 透明度和信任： 开源模型提供更高的透明度，允许用户了解技术的工作原理并识别和解决潜在的偏差或限制。
手语翻译的未来
SignGemma 代表了手语翻译领域的重大里程碑，但这仅仅是开始。随着 AI 技术的不断进步，我们可以期待看到更复杂、更准确的手语翻译模型出现。
- 提高准确性： 未来的模型可能会结合更先进的机器学习技术，以提高手语翻译的准确性和流畅性。
- 实时翻译： 实时翻译将变得更加无缝和即时，从而实现更自然和流畅的沟通。
- 多语言支持： 未来的模型将支持更广泛的手语，使人们能够跨不同的语言和文化进行交流。
- 与可穿戴设备集成： 手语翻译技术可以集成到可穿戴设备中，例如智能眼镜或手表，为用户提供谨慎且方便的翻译服务访问。
- 个性化翻译： 未来的模型可以针对个人用户进行个性化设置，考虑到他们特定的沟通方式和偏好。
解决潜在的挑战和局限性
虽然 SignGemma 具有巨大的前景，但重要的是要承认潜在的挑战和局限性：
- 准确性和可靠性： 手语是一种复杂且细致的语言，即使是最先进的 AI 模型也并非总是能够准确地捕捉每个手势的含义。
- 上下文理解： AI 模型有时难以理解对话的上下文，从而导致翻译不准确。
- 区域差异： 手语因地区而异，在一种方言上训练的模型可能无法准确地翻译另一种方言。
- 隐私问题： 使用 AI 翻译手语会引发隐私问题，因为该技术会收集和分析有关个人的个人信息。
- 伦理考量： 重要的是要考虑使用 AI 翻译手语的伦理影响，例如存在偏见或歧视的可能性。
随着 SignGemma 和类似技术的进一步开发和部署，必须解决这些挑战和局限性，以确保该技术得到负责任和合乎道德的使用。
超越 SignGemma：AI 无障碍的更广阔前景
SignGemma 只是利用 AI 增强残疾人无障碍环境的日益壮大的运动的一个例子。其他值得注意的例子包括：
- AI 驱动的屏幕阅读器： 这些工具使用 AI 将屏幕上的文本转换为语音，使视力障碍人士能够访问数字内容。
- 基于 AI 的语音识别： 这项技术允许运动障碍人士使用语音控制计算机和其他设备。
- AI 驱动的图像识别： 这可以帮助盲人或视力障碍人士通过识别路径中的物体和障碍物来导航周围环境。
- AI 支持的字幕： AI 驱动的字幕服务可以自动为视频和实时活动生成字幕，从而提高听力障碍人士的无障碍性。
- AI 辅助的语言翻译： 除了手语之外，AI 还可以实时翻译口语，从而促进说不同语言的人的交流。
这些和其他 AI 驱动的无障碍工具都有潜力改变数百万残疾人的生活，使他们能够更充分地参与社会。随着 AI 技术的不断发展，我们可以 기대 볼 更多创新解决方案出现，以满足残疾人士的多样化需求。
结论：由包容性人工智能驱动的未来
Google 的 SignGemma 代表着在使用 AI 弥合沟通鸿沟和促进听力和言语障碍人士的包容性方面迈出了重要一步。其开源性质和先进的技术能力为改变沟通方式和改变各个领域带来了巨大的希望。随着 AI 技术的不断进步，至关重要的是要解决潜在的挑战和局限性，并确保以负责任和合乎道德的方式使用它。通过不断的创新和协作，AI 可以在创建一个对所有人来说更易于访问和更具包容性的世界中发挥变革性作用。
像 SignGemma 这样的 AI 驱动的无障碍工具的演进预示着一个未来，在这个未来，技术使残疾人能够克服障碍，更充分地参与社会，并充分发挥他们的潜力。弥合分歧和建立联系的潜力是真正具有变革性的，这是一个我们可以共同努力建设的未来。