前言：醫療領域語言模型的演進
近年來，大型語言模型 (LLMs) 的快速發展徹底改變了許多領域，包括醫療保健。 這些複雜的人工智慧系統，經過大量數據集的訓練，在自然語言處理方面展現出卓越的能力，使其能夠以越來越高的準確性和流暢度理解、生成和操作人類語言。 隨著 LLM 越來越多地整合到醫療保健環境中，評估它們在不同語言和文化背景下的表現至關重要。
近視是一種普遍的屈光不正，影響著全球數百萬人，尤其是在東亞。 解決與近視相關的問題需要對該病症、其危險因素和各種管理策略有細緻的了解。 鑑於人們越來越依賴 LLM 來獲取資訊和決策支持，因此有必要評估它們提供準確、全面和富有同情心的回應的能力，尤其是在具有獨特文化和語言特徵的地區。
本文深入探討了全球和中國領域 LLM 在解決特定於中文的近視相關問題方面的比較效能分析。 透過評估不同 LLM 生成的回應的準確性、全面性和同理心，本研究旨在闡明這些人工智慧系統在解決特定文化背景下的醫療保健問題方面的優勢和局限性。
方法論：嚴謹的評估框架
為了進行徹底且客觀的評估，我們採用了全面的方法，包括選擇適當的 LLM、制定相關查詢以及建立嚴格的評估標準。
大型語言模型的選擇
研究中包含了各種各樣的 LLM，代表了全球和中國領域的模型。 全球 LLM，例如 ChatGPT-3.5、ChatGPT-4.0、Google Bard 和 Llama-2 7B Chat，主要在西方數據的大量數據集上進行訓練。 中國領域的 LLM，包括 Huatuo-GPT、MedGPT、阿里通義千問、百度文心一言和百度文心 4.0，專門用中文數據進行訓練，這可能使它們能夠更深入地了解特定於中文的細微差別和文化背景。
特定於中文的近視問題的制定
我們仔細制定了一組 39 個特定於中文的近視問題，涵蓋了與該病症相關的 10 個不同領域。 這些問題旨在解決近視的各個方面，包括其原因、危險因素、預防策略、治療方案和潛在併發症。 這些問題經過量身定制，以反映中國人群的獨特特徵和疑慮，確保其在中國醫療保健環境中的相關性和適用性。
評估標準：準確性、全面性和同理心
LLM 生成的回應基於三個關鍵標準進行評估：準確性、全面性和同理心。
- 準確性： 回應的準確性使用 3 點量表進行評估，根據其事實正確性以及與已建立的醫學知識的對齊程度，將回應評為「良好」、「尚可」或「差」。
- 全面性： 額定為「良好」的回應使用 5 點量表進一步評估其全面性，考慮到它們解決查詢所有相關方面的程度，並提供對該主題的透徹解釋。
- 同理心： 額定為「良好」的回應也使用 5 點量表評估其同理心，評估它們對用戶情感和心理需求的敏感程度，並傳達理解和支持的感覺。
專家評估和自我糾正分析
三位近視專家仔細評估了回應的準確性，根據他們的臨床經驗和專業知識提供了他們的獨立評估。 對於被評為「差」的回應，我們進一步進行了自我糾正提示，鼓勵 LLM 重新分析查詢並提供改進的回應。 然後分析這些自我糾正嘗試的有效性，以確定 LLM 從錯誤中學習並提高其效能的能力。
結果：揭示效能概況
比較效能分析的結果揭示了關於全球和中國領域 LLM 在解決特定於中文的近視相關問題方面的能力的幾個關鍵發現。
準確性：頂端競爭激烈
在準確性方面，排名前三的 LLM 是 ChatGPT-3.5、百度文心 4.0 和 ChatGPT-4.0，它們展現出可比較的效能，並具有高比例的「良好」回應。 這些 LLM 展現出提供關於近視的準確和可靠資訊的強大能力，表明它們有潛力成為醫療保健資訊檢索的寶貴資源。
全面性：全球 LLM 領先
在全面性方面，ChatGPT-3.5 和 ChatGPT-4.0 脫穎而出，成為表現最佳者，其次是百度文心 4.0、MedGPT 和百度文心一言。 這些 LLM 展現出提供對近視相關主題的透徹和詳細解釋的卓越能力，解決了查詢的所有相關方面，並提供了對該主題的全面理解。
同理心：以人為本的方法
在同理心方面，ChatGPT-3.5 和 ChatGPT-4.0 再次領先，其次是 MedGPT、百度文心一言和百度文心 4.0。 這些 LLM 展現出對用戶情感和心理需求表現出更大敏感性的能力，並在他們的回應中傳達出理解和支持的感覺。 這突顯了在開發用於醫療保健應用程式的 LLM 時，納入以人為本的設計原則的重要性。
自我糾正能力：有改進空間
雖然百度文心 4.0 沒有收到任何「差」評級，但其他 LLM 展現出不同程度的自我糾正能力，改進範圍從 50% 到 100%。 這表明 LLM 可以從錯誤中學習，並透過自我糾正機制提高其效能，但需要進一步研究來優化這些能力，並確保一致和可靠的改進。
討論：解讀發現
這個比較效能分析的發現提供了關於全球和中國領域 LLM 在解決特定於中文的近視相關問題方面的優勢和局限性的寶貴見解。
全球 LLM 在中文環境中表現出色
儘管主要使用非中文數據和英語進行訓練，但全球 LLM（例如 ChatGPT-3.5 和 ChatGPT-4.0）在中文環境中表現出最佳效能。 這表明這些 LLM 具有顯著的能力來泛化其知識並適應不同的語言和文化背景。 它們的成功可以歸因於其龐大的訓練數據集，其中包含廣泛的主題和語言，使其能夠有效地處理和生成中文回應。
中國領域 LLM 提供上下文理解
雖然全球 LLM 展現出強勁的效能，但中國領域 LLM（例如百度文心 4.0 和 MedGPT）也在解決近視相關問題方面展現出顯著的能力。 這些 LLM 專門使用中文數據進行訓練，可能更深入地了解特定於中文的細微差別和文化背景，使其能夠提供更相關和文化敏感的回應。
準確性、全面性和同理心的重要性
準確性、全面性和同理心的評估標準在評估 LLM 的整體效能方面發揮了關鍵作用。 準確性在醫療保健應用程式中至關重要，因為不準確的資訊可能會產生嚴重的後果。 全面性確保用戶對該主題有透徹的了解，使他們能夠做出明智的決定。 同理心對於與用戶建立信任和融洽關係至關重要，尤其是在敏感的醫療保健環境中。
未來方向：加強用於醫療保健的 LLM
本研究的發現突顯了 LLM 作為醫療保健資訊檢索和決策支持的寶貴資源的潛力。 然而，需要進一步的研究和開發來加強它們的能力並解決它們的局限性。
- 擴展訓練數據集： 擴展 LLM 的訓練數據集以包括更多樣化和文化相關的數據可以提高它們在特定語言和文化背景下的效能。
- 納入醫學知識： 將醫學知識和指南整合到 LLM 的訓練過程中可以提高它們的準確性和可靠性。
- 改進自我糾正機制： 優化自我糾正機制可以使 LLM 從錯誤中學習並隨著時間的推移提高其效能。
- 加強同理心和以人為本的設計： 納入以人為本的設計原則可以加強 LLM 的同理心和用戶友好性，使其更易於訪問和有效地用於醫療保健應用程式。
結論
這個比較效能分析提供了關於全球和中國領域 LLM 在解決特定於中文的近視相關問題方面的能力的寶貴見解。 結果表明，全球和中國領域 LLM 都可以提供對近視相關問題的準確、全面和富有同情心的回應，儘管主要使用非中文數據進行訓練，但全球 LLM 在中文環境中表現出色。 這些發現突顯了 LLM 作為醫療保健資訊檢索和決策支持的寶貴資源的潛力，但需要進一步的研究和開發來加強它們的能力並解決它們的局限性。 隨著 LLM 的不斷發展，評估它們在不同語言和文化背景下的效能至關重要，以確保它們在各種醫療保健環境中的有效性和適用性。