微软最近增强了其小型语言模型 (SLM) Phi Silica，使其具备了“视觉”能力，从而实现了多模态功能。这一增强将 Phi Silica 定位为驱动 Recall 等 AI 功能的智能核心，显著提升了其能力。
多模态彻底改变人工智能能力
通过整合视觉理解能力，微软已将 Phi Silica 转变为多模态系统。这一进步使 SLM 能够更成熟地理解图像，为创新型生产力和可访问性功能铺平了道路。这代表着人工智能如何与各种形式的数据交互并对其进行解释的重大进步。
理解 Phi Silica：本地 AI 背后的引擎
Phi Silica 是微软精心打造的小型语言模型 (SLM)。作为大型 AI 模型的简化版本，它专门设计用于在 Copilot+ PC 中无缝集成和运行。它的本地运行意味着更快的响应时间和减少对云资源的依赖。
作为本地 AI 引擎，Phi Silica 为 Windows 中的许多功能提供支持，包括 Windows Copilot Runtime。它擅长在本地执行文本摘要，从而最大限度地降低能耗，因为它直接在设备上执行任务，而不是依赖云处理。这种效率对于移动设备和电力节约至关重要的系统至关重要。
Phi Silica 还在 Windows Recall 功能中发挥着关键作用，捕获显示内容的屏幕截图，并充当记忆辅助工具。这允许用户通过自然语言查询检索基于过去视觉内容的信息。将此功能直接集成到操作系统中，展示了微软通过 AI 增强用户体验的承诺。
通过再利用实现高效成果
微软的成就尤其值得关注，因为它有效地利用了现有组件，而不是创建全新的组件。小型’投影仪’模型的引入促进了视觉功能，而没有显着的资源开销。这种方法强调了 AI 开发中对优化和足智多谋的战略重视。
这种对资源的高效利用转化为降低功耗，这是用户非常赞赏的一个因素，尤其是移动设备上的用户。如前所述，Phi Silica 的多模态能力有望推动各种 AI 体验，例如图像描述，从而为用户交互和可访问性开辟新的途径。
扩展可访问性和功能
目前提供英语版本，微软计划将这些增强功能扩展到其他语言，从而扩大系统的用例和全球可访问性。这种扩展是确保更广泛的受众能够获得 AI 收益的关键一步。
目前，Phi Silica 的多模态功能仅限于配备骁龙芯片的 Copilot+ PC。但是，微软计划在未来将其可用性扩展到由 AMD 和英特尔处理器驱动的设备，从而确保更广泛的兼容性和采用。
微软的成就是其创新方法应得的认可。最初，Phi Silica 只能理解单词、字母和文本。微软没有开发新的组件来充当新的’大脑’，而是选择了一种更具创造性和高效性的解决方案。这一决定突出了对足智多谋的创新和战略发展的关注。
视觉理解背后的巧妙方法
为了使其更简洁，微软向图像分析方面的系统专家展示了大量照片和图像。因此，该系统擅长识别照片中最关键的元素。这种训练过程使系统能够对视觉内容进行复杂的理解。
随后，该公司创建了一个翻译器，能够解释系统从照片中提取的信息，并将其转换为 Phi Silica 可以理解的格式。该翻译器充当桥梁，使 SLM 能够处理和集成视觉数据。
然后，Phi Silica 接受了掌握这种新的照片和图像语言的训练，从而使其能够将这种语言与其单词数据库和知识联系起来。这种视觉和文本数据的集成可以更全面地理解信息。
Phi Silica：详细概述
如前所述，Phi Silica 是一种小型语言模型 (SLM)，这是一种旨在理解和复制自然语言的 AI，很像它的大型语言模型 (LLM) 对应物。但是，它的主要区别在于其相对于参数数量而言的较小尺寸。这种减小的尺寸允许在本地设备上高效运行，从而减少了对基于云的处理的需求。
微软的 SLM，Phi Silica，是 Recall 和其他智能功能等功能背后的智能核心。它最近的增强使其能够成为多模态，除了文本之外还能感知图像，从而扩展了它的效用和应用场景。这标志着朝着创建更通用和用户友好的人工智能系统迈出的重要一步。
微软分享了 Phi Silica 的多模态功能解锁的可能性示例，主要侧重于用户的辅助工具。这些示例突出了 SLM 在改善残疾人士和需要认知任务帮助的人们的生活方面的潜力。
彻底改变用户的可访问性
一个重要的应用是帮助有视觉障碍的人。例如，如果视障用户在网站或文档中遇到照片，微软的 SLM 可以自动生成该图像的文本和详细描述。然后可以通过 PC 工具大声朗读此描述，使用户能够理解图像的内容。此功能代表着使所有人都可以访问视觉内容的重大进步。
此外，这种增强功能对有学习障碍的人也很有帮助。SLM 可以分析屏幕上显示的内容，并为用户提供上下文和详细的解释或帮助。这可以显着改善学习成果，并为那些在传统学习方法中挣扎的人提供支持。
Phi Silica 还可以帮助识别设备网络摄像头上显示的对象、标签或阅读文本。这种对微软小型语言模型的增强的应用非常多，并且在以各种方式帮助用户方面具有巨大的潜力。这展示了微软致力于创建既强大又可访问的人工智能。
跨各个领域的应用
除了可访问性之外，Phi Silica 的多模态功能还扩展到各个其他领域。例如，它可以在教育中使用，以提供复杂图表或插图的详细解释，从而增强学习体验。在医疗保健中，它可以帮助分析医学图像，例如 X 射线，以帮助医生做出更准确的诊断。
在商业领域，Phi Silica 可用于自动化从发票或收据中提取信息等任务，从而节省时间并减少错误。它还可以通过根据视觉提示提供对客户查询的自动响应来增强客户服务。
将多模态功能集成到 Phi Silica 中，标志着 AI 发展中的一个重要里程碑。通过使 SLM 能够理解文本和图像，微软解锁了大量新的可能性和应用。随着微软继续改进和扩展 Phi Silica 的功能，它有望在塑造 AI 的未来方面发挥越来越重要的作用。
通过 AI 改变用户交互
转向像 Phi Silica 这样的多模态 AI 系统不仅仅是添加新功能，而是从根本上改变用户与技术的交互方式。通过理解和响应视觉和文本输入，AI 可以变得更加直观，并响应用户的各种需求。
在日益数字化的世界中，这种转变尤为重要，在这种世界中，用户不断受到来自各种来源的信息的轰炸。通过提供可以帮助用户过滤、理解和处理此信息的 AI 系统，我们可以使他们能够提高生产力、知情度和参与度。
多模态 AI 的未来
展望未来，多模态 AI 的未来一片光明。随着 AI 模型变得越来越复杂，数据变得越来越丰富，我们可以预期在各个领域看到更多创新的多模态 AI 应用。这包括机器人技术、自动驾驶汽车和增强现实等领域。
在机器人技术中，多模态 AI 可以使机器人能够以更自然和直观的方式理解和与其环境进行交互。例如，配备多模态 AI 的机器人可以使用视觉提示来导航复杂的环境，同时还可以使用文本命令来响应人类指令。
在自动驾驶汽车中，多模态 AI 可以使车辆能够以更可靠和安全的方式感知其周围环境并做出反应。例如，配备多模态 AI 的自动驾驶汽车可以使用来自摄像头和激光雷达传感器的视觉数据，以及来自交通报告的文本数据，从而就导航和安全性做出明智的决策。
在增强现实中，多模态 AI 可以使用户能够以更身临其境和引人入胜的方式与数字内容进行交互。例如，配备多模态 AI 的 AR 应用程序可以使用视觉提示来识别现实世界中的对象，同时还可以使用来自在线数据库的文本数据来为用户提供有关这些对象的相关信息。
应对挑战和伦理考虑
与任何新兴技术一样，多模态 AI 的开发和部署也引发了重要的挑战和伦理考虑。一个关键的挑战是确保多模态 AI 系统的公平和公正。AI 模型有时会延续或放大它们所训练的数据中存在的偏差，从而导致不公平或歧视性的结果。
为了应对这一挑战，至关重要的是要仔细地策划和审计用于训练多模态 AI 系统的数据。开发用于检测和缓解 AI 模型中的偏差的技术也很重要。另一个重要的挑战是确保多模态 AI 系统使用的数据的隐私和安全性。AI 模型有时可能会无意中泄露有关个人的敏感信息，例如他们的身份、偏好或活动。
为了应对这一挑战，至关重要的是要实施健全的数据治理策略和安全措施。开发用于匿名化和保护敏感数据的技术也很重要。最后，重要的是要确保多模态 AI 系统的透明和负责任。用户应该能够了解 AI 系统如何做出决策，并且能够让他们对自己的行为负责。
为了应对这一挑战，至关重要的是要开发可解释的 AI (XAI) 技术，使用户能够理解 AI 决策背后的推理。建立明确的 AI 系统问责制也很重要。
总之，微软通过多模态功能增强 Phi Silica 代表着 AI 发展中的一个重要进步。通过使 SLM 能够理解文本和图像，微软解锁了大量新的可能性和应用。随着微软和其他组织继续开发和改进多模态 AI 系统，解决与该技术相关的挑战和伦理考虑因素至关重要。通过这样做，我们可以确保多模态 AI 以对整个社会有益的方式使用。