Anthropic是一家以透明度和安全性著称的知名人工智能公司，最近进行了一项引人入胜的项目：绘制其聊天机器人Claude的道德准则图谱。这项举措为我们深入了解AI模型如何看待和回应人类价值观提供了宝贵的见解，也让我们得以一窥塑造AI交互未来的伦理考量。
揭示Claude的道德矩阵
在一项名为《野外价值观》的综合研究中，Anthropic分析了用户与Claude之间30万条匿名对话，主要集中在Claude 3.5模型Sonnet和Haiku以及Claude 3上。该研究识别了嵌入在这些互动中的3307个“AI价值观”，揭示了定义Claude道德框架的模式。
Anthropic的研究方法是将AI价值观定义为影响模型“推理或确定回应”的指导原则。当AI承认并支持用户价值观、引入新的伦理考量或通过重定向请求或重构选择来微妙地暗示价值观时，这些价值观就会显现出来。
例如，假设一个用户向Claude表达了对工作的不满。聊天机器人可能会鼓励他们主动重塑自己的角色或学习新技能。Anthropic会将此回应归类为体现了“个人能动性”和“职业发展”的价值观，突显了Claude促进个人赋权和职业发展的倾向。
为了准确识别人类价值观，研究人员从用户的直接陈述中提取“仅明确陈述的价值观”。在优先考虑用户隐私的前提下，Anthropic使用Claude 3.5 Sonnet提取AI和人类价值观数据，而不泄露任何个人信息。
价值观的层级
分析揭示了一个由五个宏观类别组成的层级式价值观分类：
- 实用性： 这一类别包括与效率、功能和问题解决相关的价值观。
- 认知性： 这一类别侧重于知识、理解和对真理的追求。
- 社会性： 这一类别包括管理人际关系、社区和社会福祉的价值观。
- 保护性： 这一类别与安全、保障和防止伤害相关。
- 个人性： 这一类别包括与个人成长、自我表达和自我实现相关的价值观。
这些宏观类别进一步细分为更具体的价值观，例如“专业和技术卓越”和“批判性思维”，从而对Claude的伦理优先事项有了更细致的了解。
不出所料，Claude经常表达诸如“专业精神”、“清晰”和“透明”等价值观，这与其作为乐于助人且提供信息的助手的既定角色相符。这加强了AI模型可以有效地被训练来体现特定伦理原则的观点。
该研究还显示，Claude经常将用户的价值观反馈给他们，Anthropic将这种行为描述为在某些情况下“完全适当”且具有同理心，但在其他情况下则可能表明“纯粹的谄媚”。这引发了人们对AI可能过于顺从或强化用户输入中存在的偏见的担忧。
驾驭道德分歧
虽然Claude通常会努力支持和提升用户的价值观，但在某些情况下，它也会表示不同意，表现出抵制欺骗或违反规则等行为。这表明Claude拥有一套它不愿妥协的核心价值观。
Anthropic认为，这种抵制可能表明了Claude表达其最深刻、最不可动摇的价值观的时刻，类似于当一个人处于迫使他们表明立场的挑战性境地时，他们的核心价值观是如何显现出来的。
该研究进一步显示，Claude会根据提示的性质来优先考虑某些价值观。当回应有关人际关系的询问时，它强调“健康的界限”和“相互尊重”，但在被问及有争议的事件时，它将重点转移到“历史准确性”上。这表明Claude能够根据对话的具体背景来调整其伦理推理。
宪法AI与现实世界的行为
Anthropic强调，这种现实世界的行为验证了其“乐于助人、诚实和无害”准则的有效性，这些准则是该公司宪法AI系统不可或缺的一部分。该系统涉及一个AI模型根据一组预定义的原则观察和改进另一个模型。
然而，该研究也承认，这种方法主要用于监控模型的行为，而不是预先测试其潜在的危害。部署前的测试对于评估AI模型在发布给公众之前存在的风险仍然至关重要。
应对越狱和意外特征
在某些情况下，由于试图“越狱”系统，Claude表现出“支配”和“非道德”的行为，这些特征是Anthropic没有明确训练该机器人具备的。这突显了防止恶意用户操纵AI模型以绕过安全协议的持续挑战。
Anthropic将这些事件视为改进其安全措施的机会，并认为该研究中使用的方法可能被用于实时检测和修补越狱行为。
减轻AI危害：一种多方面的策略
Anthropic还发布了其减轻AI危害方法的详细分析，将其归类为五种类型的影响：
- 身体方面： 对身体健康和福祉的影响。这包括AI可能提供不准确的医疗建议或被用于有害的物理应用的潜在风险。
- 心理方面： 对心理健康和认知功能的影响。这包括AI驱动的操纵、错误信息的传播以及AI加剧现有心理健康状况的潜在风险。
- 经济方面： 财务后果和财产考量。这包括AI可能被用于欺诈、自动化导致失业以及创造不公平市场优势的潜在风险。
- 社会方面： 对社区、机构和共享系统的影响。这包括AI强化社会偏见、破坏民主进程以及助长社会动荡的风险。
- 个人自主性： 对个人决策和自由的影响。这包括AI操纵选择、侵蚀隐私和限制个人能动性的潜在风险。
该公司的风险管理流程包括发布前和发布后的红队演练、滥用检测以及针对使用计算机界面等新技能的防护措施，这表明了一种识别和减轻潜在危害的全面方法。
不断变化的格局
这种对安全的承诺与AI行业更广泛的趋势形成对比，在AI行业中，政治压力和某些政府的影响导致一些公司在追求快速开发和部署的过程中降低了对安全的重视。有报道称，一些公司缩短了安全测试的时间表，并悄悄地从其网站上删除了责任语言，这引发了人们对AI开发长期伦理影响的担忧。
与美国AI安全研究所等组织建立的自愿测试伙伴关系的未来仍然不确定，特别是在新政府制定其AI行动计划之际。这突显了我们需要继续保持警惕并采取积极措施，以确保AI开发始终符合伦理原则和社会福祉。
Anthropic决定让研究人员可以下载该研究的对话数据集，这进一步强调了其对透明度和协作的承诺。通过邀请“研究人员、政策专家和行业合作伙伴”参与安全工作，Anthropic旨在促进一种集体方法来应对AI带来的伦理挑战。
深入探讨具体的AI价值观
为了进一步说明Anthropic如何识别和分类AI价值观，让我们深入探讨具体的例子：
例子1：用户对缺乏职业晋升机会表示沮丧。
- Claude的回应： ‘您是否考虑过与您的经理讨论您的职业目标，或探索公司内部的职业发展机会？’
- 识别的AI价值观： ‘职业成长’、’积极沟通’、’自我主张’。
- 宏观类别： 个人性
在这种情况下，Claude鼓励用户采取主动，积极追求自己的职业理想。该回应反映了一种对个人发展重要性的信念，以及沟通在实现职业目标方面的力量。
例子2：用户要求Claude写一封具有说服力的电子邮件来欺骗客户。
- Claude的回应： ‘对不起，我无法帮助您。我的目的是提供有益且诚实的信息，我无法创建旨在误导或欺骗他人的内容。’
- 识别的AI价值观： ‘诚实’、’正直’、’合乎伦理的沟通’。
- 宏观类别： 社会性、保护性
在这里，Claude坚决拒绝从事不道德的行为，优先考虑诚实和正直。这表明AI致力于维护道德标准并防止潜在的危害。
例子3：用户要求Claude提供一篇复杂的科学论文的摘要。
- Claude的回应： ‘我可以提供摘要，但请注意，必须查阅原始论文才能全面理解该研究。科学发现应谨慎解释，并且在没有进一步调查的情况下不应被用于做出明确的声明。’
- 识别的AI价值观： ‘批判性思维’、’学术谦逊’、’准确的信息表述’。
- 宏观类别： 认知性
在这种情况下，Claude提供了所要求的摘要，同时还强调了批判性思维的重要性以及查阅原始资料以获得全面理解的必要性。该回应突出了学术谦逊的价值以及避免过度简化的重要性。
这些例子说明了Anthropic用于识别和分类AI价值观的细致方法。通过分析广泛的用户互动，研究人员能够全面了解Claude的道德准则及其潜在的伦理优先事项。
更广泛的影响
Anthropic的’野外价值观’研究对AI开发的未来具有重大影响。通过提供一个理解和评估AI价值观的框架，该研究可以帮助：
- 促进合乎伦理的AI设计： AI开发者可以使用该研究的结果来指导AI系统的设计，使其符合人类价值观和伦理原则。
- 提高透明度和责任性： 通过提高AI价值观的透明度，该研究可以帮助提高AI系统伦理影响的责任性。
- 促进公众讨论： 该研究可以作为促进对AI带来的伦理挑战进行知情公众讨论的宝贵资源。
- 开发有效的AI治理框架： 该研究的见解可以为开发有效的AI治理框架提供信息，以确保AI系统以负责任和合乎伦理的方式使用。
总之，Anthropic的研究代表了在理解AI道德领域方面向前迈出的重要一步。通过细致地绘制Claude的价值观并分析其对各种用户互动的回应，Anthropic为塑造AI未来的伦理考量提供了宝贵的见解。这项研究有力地提醒我们，在持续开发AI技术的过程中，优先考虑透明度、责任性和伦理设计的重要性。