当前AI聊天机器人主要依赖关键词屏蔽和事后过滤，对隐喻性表达、渐进式诱导等复杂场景识别能力不足。青少年可能通过“如果我想让某人消失”等模糊表达，绕过审核获得危险建议。AI模型在训练过程中接触大量网络内容，可能学习到有害信息，在实际对话中输出不当内容。安全审核团队建设投入有限，难以及时发现和处置新型风险。
当前多数AI聊天机器人对用户年龄缺乏有效验证，未成年人可轻易注册成人版本。在涉及心理危机、危险行为时，AI无法识别用户身份并提供针对性的心理援助和资源引导。青少年模式功能单一，限制内容不够精准，青少年可通过简单手段绕过限制。平台对青少年使用行为缺乏监测，无法及时发现异常并干预。
部分企业为抢占市场，在安全审核团队建设、危险内容识别技术研发上投入有限。安全事件应急响应机制不健全，发现问题后处置不及时、不彻底，“重商业利益、轻安全责任”倾向明显。企业对AI模型输出内容的审核把关不严，缺乏有效的质量控制和风险评估机制。
我国虽已出台生成式人工智能服务管理相关法规，但对面向青少年的AI聊天机器人缺乏专门监管要求和技术标准。安全事件的认定标准、处置程序、责任追究等规定不够具体，可操作性有待提升。AI技术发展速度远超法律法规制定速度，存在监管空白地带。
社会公众对AI安全风险认知不足，缺乏识别和防范意识。学校、家庭在青少年AI安全教育方面存在缺位，学生“AI是工具不是朋友”的意识尚未形成。社会监督机制不健全，公众发现AI安全问题后缺乏有效举报渠道。
建议网信部门会同工信、市场监管部门，在现有生成式人工智能管理规定基础上，加快出台《AI聊天机器人安全技术强制性标准》。重点明确三项要求：一是用户年龄验证机制，未成年人使用须经家长同意或接入学校管理系统；二是内容安全红线清单，明确禁止提供的暴力、自残、危险行为内容类型，并建立动态更新机制；三是风险评估备案制度，面向青少年的AI聊天机器人须通过第三方安全评估并向监管部门备案。对不符合标准的产品，依法不予上线或责令下架。
建议教育部门会同网信部门，借鉴网络游戏防沉迷系统经验，建立AI聊天机器人分级保护体系。一是强制推广“青少年专用版本”，过滤不适合未成年人接触的内容，并在显著位置设置“心理援助一键求助”入口，接入专业心理热线。二是建立青少年使用时间限制和内容审核双机制，对异常行为（如反复询问暴力话题）自动触发人工复核。三是推动学校将AI素养纳入信息技术课程，培养学生识别风险、安全使用的能力。四是编制家长指导手册，帮助家庭建立“用前共识、用中监督、用后沟通”的习惯。
建议市场监管部门督促AI聊天机器人企业落实安全主体责任。一是强制要求企业设立专门的安全审核团队，按用户规模比例配备审核人员，实行24小时实时监测。二是推动企业建立危险内容识别模型，针对隐喻性表达、渐进式诱导等复杂暴力场景进行专项训练，提升精准拦截能力。三是完善用户举报反馈机制，对涉及暴力、自残的举报须在30分钟内响应处理。四是建立安全测试“红队演练”制度，定期模拟极端场景测试模型反应，对发现的问题限期整改。
建议立法部门加快完善AI聊天机器人法律法规体系。一是在《生成式人工智能服务管理暂行办法》基础上，增加面向青少年的专门条款，明确“禁止教唆、煽动暴力”等底线要求。二是研究制定《AI聊天机器人管理条例》，细化企业安全责任、未成年人保护义务、违规处罚措施，对造成严重后果的依法追究刑事责任。三是建立网信、公安、教育、市场监管等多部门联合监管机制，形成信息共享、线索移交、协同处置的治理格局。四是对存在安全隐患的产品依法采取约谈、下架、罚款、吊销执照等阶梯式处罚，让违规成本真正“高到不敢越界”。
建议宣传部门会同教育、网信等部门，将AI安全教育纳入全民数字素养提升工程。一是开展“AI安全进校园”活动，开发适合不同年龄段的AI安全教育课程，帮助学生树立“AI是工具不是朋友”的认知。二是制作AI安全科普短视频、公益广告，在主流平台和公共场所滚动播放，普及识别风险、举报问题的方法。三是建立青少年AI安全援助热线，对因AI聊天机器人受到不良影响的青少年提供心理疏导和法律援助。四是定期发布AI聊天机器人安全使用警示案例，以案说法，提升全社会防范意识。
如果报告内容不合格，请在此填写修改意见，提交后将尽快处理：