Google 正準備透過推出 SignGemma，這款突破性的人工智慧 (AI) 模型，能夠將手語翻譯成口語文本，來轉變聽語障人士的溝通方式。這款創新模型，預計將加入備受推崇的 Gemma 系列，目前正在 Google 於 Mountain View 的工程師進行嚴格測試，並預計將於今年稍晚推出。
呼應 Gemma 系列的精神，SignGemma 將會是一款開放原始碼的 AI 模型，將其可及性擴展到個人和企業。它的潛力首先在 Google I/O 2025 的主題演講中被瞥見，當時展示了它能夠彌合懂手語和不懂手語人士之間的溝通鴻溝。
揭示 SignGemma 的能力：追蹤手部動作和面部表情
Google DeepMind 的官方 X (前身為 Twitter) 帳號分享了 SignGemma 能力的先睹為快，讓大家一窺 AI 模型及其即將發布的消息。然而，這並非 SignGemma 的首秀。DeepMind 的 Gemma 產品經理 Gus Martin 在 Google I/O 活動上提供了更早的預覽。
在活動中，Martin 強調 SignGemma 能夠提供手語的即時文字翻譯，有效地簡化了面對面的互動。該模型的訓練涵蓋了多種手語風格，其性能在將 American Sign Language (ASL) 翻譯成 English 時達到頂峰。
根據 MultiLingual 的說法，SignGemma 的開放原始碼性質使其能夠離線運行，非常適合在網路連線有限的地區使用。它基於 Gemini Nano 框架構建，利用視覺轉換器來仔細追蹤和分析手部動作、形狀和面部表情。除了向開發人員提供之外，Google 也可以選擇將該模型整合到其現有的 AI 工具中，例如 Gemini Live。
DeepMind 稱其為 Google「將手語翻譯成口語文本的最強大模型」，並強調其即將發布。這款以可及性為導向的大型語言模型目前正處於早期測試階段，這家科技巨頭已發起公開徵集，邀請個人測試並分享回饋。
AI 在彌合溝通鴻溝方面的力量
SignGemma 代表著在利用 AI 解決現實世界挑戰方面向前邁出的一大步。準確且有效地將手語翻譯成口語文本的能力，具有打破溝通障礙和促進更大包容性的巨大潛力。
- 增強溝通： SignGemma 使使用手語的人能夠更有效地與那些不了解手語的人溝通。這可以促使在日常情況下更順暢的互動，例如點餐、問路或參加會議。
- 提高可及性： 透過提供即時翻譯，SignGemma 使聽障人士更容易獲得資訊和服務。這可以包括教育材料、線上內容和客戶支援服務。
- 更大的獨立性： SignGemma 可以幫助聽障人士過上更獨立的生活。在該技術的幫助下，他們可能能夠更輕鬆地在新的環境中活動、獲取資訊以及參與社交活動。
- 促進包容性： SignGemma 有潛力在社會中促進對手語的更大理解和接受。透過使手語更易於使用，它可以幫助打破刻板印象並促進包容性。
- 變革性影響： SignGemma 及其同類模型有能力透過擴大殘疾人士的可及性，來改變包括教育、醫療保健、客戶服務和娛樂在內的眾多領域。
深入探討：SignGemma 的運作方式
SignGemma 將手語翻譯成口語文本的能力，依賴於包括電腦視覺、自然語言處理 (NLP) 和機器學習在內的高級技術之間的複雜相互作用。
- 電腦視覺： SignGemma 採用電腦視覺演算法來捕捉和分析來自手語人士視訊來源的視覺資訊。這包括追蹤手、手臂、臉部和身體的動作。
- 特徵提取： 電腦視覺系統從視覺資料中提取關鍵特徵，例如手的位置、形狀和方向，以及面部表情和身體姿勢。
- 手語識別： 然後將提取的特徵輸入到手語識別模型中，該模型已根據大量手語視訊資料集進行了訓練。該模型識別正在做出的特定手勢。
- 自然語言處理： 一旦識別出手勢，SignGemma 的 NLP 元件就會在口語文本中構建一個語法正確的句子，代表手勢的含義。
- 情境理解： 為了確保準確的翻譯，SignGemma 會考慮對話的情境和周圍環境，以消除歧義並選擇最合適的措辭。
開放原始碼 AI 的重要性
Google 決定將 SignGemma 作為開放原始碼 AI 模型具有重要意義，原因如下：
- 技術民主化： 開放原始碼 AI 促進了可及性和可負擔性，使資源有限的個人和組織能夠利用 AI 的力量。
- 協作與創新： 透過使該模型成為開放原始碼，Google 鼓勵開發人員和研究人員之間的協作，促進創新並加速新應用程式的開發。
- 自訂和適應性： 開放原始碼模型可以自訂並適應特定需求和要求，從而使用戶可以根據其獨特的情境客製化技術。
- 透明度和信任： 開放原始碼模型提供更高的透明度，使用戶可以了解技術的工作原理，並識別和解決潛在的偏差或限制。
手語翻譯的未來
SignGemma 代表著手語翻譯領域的一個重要里程碑，但這僅僅是個開始。隨著 AI 技術的不斷發展，我們可以預期會出現更複雜和準確的手語翻譯模型。
- 提高準確性： 未來的模型可能會納入更先進的機器學習技術，以提高手語翻譯的準確性和流暢性。
- 即時翻譯： 即時翻譯將變得更加無縫且即時，從而實現更自然和流暢的溝通。
- 多語言支援： 未來的模型將支援更廣泛的手語，使人們可以跨不同的語言和文化進行交流。
- 與穿戴式裝置整合： 手語翻譯技術可能會整合到穿戴式裝置中，例如智慧眼鏡或手錶，從而使用戶可以謹慎且方便地存取翻譯服務。
- 個人化翻譯： 未來的模型可以針對個別用戶進行個人化，同時考慮到他們特定的溝通風格和偏好。
解決潛在的挑戰和限制
儘管 SignGemma 具有巨大的潛力，但重要的是要承認潛在的挑戰和限制：
- 準確性和可靠性： 手語是一種複雜而細微的語言，即使是最先進的 AI 模型也可能無法始終準確地捕捉到每個手勢的含義。
- 情境理解： AI 模型有時可能難以理解對話的情境，從而導致不準確的翻譯。
- 區域差異： 手語因地區而異，在某種方言上訓練的模型可能無法準確地翻譯另一種方言。
- 隱私問題： 使用 AI 翻譯手語會引發隱私問題，因為該技術會收集和分析有關個人的個人資訊。
- 道德考量： 重要的是要考慮使用 AI 翻譯手語的道德影響，例如潛在的偏見或歧視。
隨著 SignGemma 和類似技術的進一步開發和部署，必須解決這些挑戰和限制，以確保該技術得到負責任和合乎道德的使用。
超越 SignGemma：AI 可及性的更廣闊前景
SignGemma 只是利用 AI 來增強殘疾人士可及性運動的一個例子。其他值得注意的範例包括：
- AI 驅動的螢幕閱讀器： 這些工具使用 AI 將螢幕上的文字轉換為語音，使視障人士能夠存取數位內容。
- 基於 AI 的語音識別： 該技術使有運動障礙的個人能夠使用他們的聲音控制電腦和其他設備。
- AI 驅動的圖像識別： 這可以幫助盲人或視障人士透過識別路徑中的物體和障礙物來導航周圍環境。
- AI 支援的字幕： AI 驅動的字幕服務可以自動為視訊和現場活動產生字幕，從而提高聽障人士的可及性。
- AI 促進的語言翻譯： 除了手語之外，AI 可以在口語之間進行即時翻譯，從而促進說不同語言的個人之間的交流。
這些和其他 AI 驅動的可及性工具有可能改變數百萬殘疾人士的生活，使他們能夠更充分地參與社會。隨著 AI 技術的不斷發展，我們可以預期會出現更多創新的解決方案，以滿足殘疾人士的多樣化需求。
結論：由包容性 AI 驅動的未來
Google 的 SignGemma 代表著在使用 AI 彌合溝通鴻溝和促進聽語障人士包容性方面向前邁進的一大步。其開放原始碼的性質和先進的技術能力為徹底改變溝通和改變各個領域帶來了巨大的希望。隨著 AI 技術的不斷發展，至關重要的是要應對潛在的挑戰和限制，並確保其得到負責任和合乎道德的使用。透過不斷的創新和協作，AI 可以在創造一個對所有人更易於使用和更具包容性的世界中發揮變革性作用。
像 SignGemma 這樣由 AI 驅動的可及性工具的發展，預示著一個技術使殘疾人士能夠克服障礙、更充分地參與社會並充分發揮其潛力的未來。彌合分歧和建立聯繫的潛力是真正的變革性，這是我們都可以努力共同建設的未來。