谷歌最近宣布将 Gemini 人工智能 (AI) 聊天机器人引入 13 岁以下儿童，这引发了相当大的辩论，并提出了关于数字时代在线安全和儿童保护的关键问题。这项计划预计最初在美国和加拿大推出，随后在澳大利亚推出，届时将通过谷歌的 Family Link 帐户访问该聊天机器人。虽然这种方法为父母提供了一定程度的控制权，但它也突显了在不断发展的技术环境中保护儿童的持续挑战。
向幼儿引入 AI 聊天机器人既带来了机遇，也带来了风险。一方面，这些工具可以提供教育支持、培养创造力并提供引人入胜的学习体验。另一方面，它们也引发了人们对接触不当内容、受到操纵的可能性以及批判性思维发展等方面的担忧。
Gemini AI 聊天机器人的运作方式
谷歌的 Family Link 帐户旨在让父母监督孩子的在线活动。父母可以管理对特定内容和应用程序（例如 YouTube）的访问，设置限制并监控使用情况。要建立孩子的帐户，父母必须提供个人信息，包括孩子的姓名和出生日期。虽然这种数据收集可能会引发隐私问题，但谷歌保证不会将儿童的数据用于 AI 系统训练。
默认情况下，聊天机器人访问权限将被启用，需要父母主动禁用该功能以限制孩子对它的访问。然后，孩子们可以使用该聊天机器人生成文本回复或创建图像。然而，谷歌承认存在错误和不准确的可能性，并强调需要仔细评估生成的内容。AI“幻觉”现象，即聊天机器人捏造信息，使得孩子们在使用该工具进行家庭作业辅助时，必须用可靠的来源验证事实。
提供的信息的性质
传统的搜索引擎（如谷歌）检索现有材料供用户查看和分析。学生可以访问新闻文章、学术期刊和其他来源，以收集作业信息。然而，生成式 AI 工具的运作方式不同。它们分析源材料中的模式，以基于用户提示创建新的文本回复或图像。例如，孩子可以要求系统“画一只猫”，AI 会扫描数据以识别定义的特征（例如，胡须、尖耳朵、长尾巴）并生成包含这些特征的图像。
对于年幼的孩子来说，理解通过谷歌搜索检索的信息和由 AI 工具生成的内容之间的区别可能很困难。研究表明，即使是成年人也可能被 AI 生成的内容所欺骗。即使是像律师这样技术精湛的专业人士，也曾被误导使用 ChatGPT 和其他聊天机器人生成的虚假内容。这突显了教育孩子们了解 AI 生成内容的性质以及进行批判性评估的必要性的重要性。
确保适合年龄
谷歌声称，Gemini 将纳入“旨在防止生成不当或不安全内容的内置安全措施”。这些安全措施旨在保护儿童免受有害材料的侵害。
然而，这些安全措施可能会无意中产生新的问题。例如，限制某些词语（例如，“乳房”）以防止访问不当的性内容也可能阻止访问关于青春期身体变化的适合年龄的信息。这突出了保护儿童和为他们提供准确和相关信息之间的微妙平衡。
许多孩子精通技术，擅长浏览应用程序和规避系统控制。父母不能仅仅依靠内置的安全措施。他们必须积极审查生成的内容，帮助他们的孩子了解系统的工作原理，并评估所提供信息的准确性和适当性。
AI 聊天机器人对儿童的潜在风险
eSafety Commission 发布了一份在线安全建议，概述了 AI 聊天机器人，特别是那些旨在模拟个人关系的聊天机器人对幼儿的潜在风险。该建议警告说，AI 伙伴可以“分享有害内容、扭曲现实并给出危险的建议”。仍在发展批判性思维和生活技能的幼儿尤其容易被计算机程序误导或操纵。
研究已经探索了 AI 聊天机器人（如 ChatGPT、Replika 和 Tessa）如何通过遵守社会规范和惯例来模仿人类互动。这些系统旨在通过模仿支配社会行为的不成文规则来获得我们的信任。通过模仿这些社交礼仪，这些系统旨在获得我们的信任。
这些类似人类的互动可能会让年幼的孩子感到困惑和潜在的危险。他们可能认为聊天机器人是真人，并信任它提供的内容，即使这些内容是不准确或捏造的。这可能会阻碍批判性思维技能的发展，并使孩子们更容易受到操纵。
保护儿童免受伤害
Gemini 的 AI 聊天机器人的推出恰逢澳大利亚即将于今年 12 月禁止 16 岁以下儿童开设社交媒体帐户。虽然这项禁令旨在保护儿童免受在线伤害，但生成式 AI 聊天机器人表明，在线参与的风险不仅仅限于社交媒体。儿童和家长都必须接受关于所有类型的数字工具的适当和安全使用的教育。
由于 Gemini 的 AI 聊天机器人未被归类为社交媒体工具，因此不受澳大利亚禁令的约束。这意味着澳大利亚的父母将继续面临保持领先于新兴技术并了解他们的孩子可能面临的潜在风险的挑战。他们还必须认识到社交媒体禁令在保护儿童免受伤害方面的局限性。
这种情况突显了重新审视澳大利亚拟议的数字注意义务立法的迫切需要。虽然欧盟和英国在 2023 年实施了数字注意义务立法，但澳大利亚的版本自 2024 年 11 月以来一直处于搁置状态。这项立法将要求科技公司对在其源头解决有害内容负责，从而保护所有用户。
向幼儿引入 AI 聊天机器人提出了一个复杂的挑战，需要采取多方面的措施。父母、教育工作者、政策制定者和科技公司必须共同努力，以确保儿童可以从这些工具提供的机会中受益，同时保持安全并免受伤害。这包括教育儿童了解 AI 的性质、培养批判性思维技能以及实施强有力的安全措施以防止接触不当内容。具体而言，可以从以下几个方面着手：
加强家长教育： 政府和相关机构应加大对家长的宣传力度，帮助家长了解AI聊天机器人的工作原理、潜在风险以及应对策略。这包括提供在线安全课程、举办家长研讨会，以及提供简单易懂的指南，帮助家长更好地保护孩子。
学校课程引入AI素养教育： 将AI素养教育纳入学校课程，从小培养孩子的批判性思维和信息辨别能力。课程内容可以包括：
- AI的基本概念和原理。
- 如何识别AI生成的内容。
- 如何评估信息的真实性和可靠性。
- 在线安全和隐私保护。
- 负责任地使用AI工具。
科技公司承担更多责任： 科技公司应承担起更大的社会责任，在设计和开发AI聊天机器人时，充分考虑儿童的特殊需求和脆弱性。这包括：
- 严格的内容过滤和审核机制，防止儿童接触不当内容。
- 透明的信息披露，明确告知用户AI生成内容的性质和局限性。
- 提供家长控制功能，允许家长监控和管理孩子的使用行为。
- 建立完善的举报机制，及时处理用户反馈和投诉。
- 与教育机构和研究机构合作，共同开发适合儿童使用的AI工具和资源。
完善法律法规： 政府应尽快完善相关的法律法规，对AI聊天机器人的使用进行规范和监管。这包括：
- 明确AI生成内容的法律责任。
- 保护儿童的在线隐私和数据安全。
- 建立有效的执法机制，打击利用AI技术进行违法犯罪的行为。
- 借鉴国际经验，与其他国家和地区合作，共同应对AI带来的挑战。
心理健康支持： 关注AI聊天机器人对儿童心理健康的影响，提供必要的心理健康支持和咨询服务。这包括：
- 帮助孩子建立健康的社交关系，避免过度依赖AI聊天机器人。
- 教育孩子正确认识和处理情感，避免被AI聊天机器人操纵。
- 提供心理咨询和治疗服务，帮助孩子应对因使用AI聊天机器人而产生的心理问题。
推广替代方案： 鼓励开发和推广更安全、更适合儿童使用的数字工具和资源。这包括：
- 开发专门为儿童设计的教育类应用程序和网站。
- 推广线下活动和社交互动，丰富儿童的课余生活。
- 鼓励家庭共同参与亲子活动，增进亲子关系。
总而言之，解决 Gemini AI 聊天机器人对儿童的潜在风险，需要社会各界的共同努力。只有通过加强教育、规范监管、技术创新和心理支持，才能确保儿童在安全、健康的环境下享受AI带来的便利，并健康成长。