8款AI聊天机器人助攻暴力敲响警钟：谁来为青少年装上安全护栏

一、存在的主要问题和风险

（一）安全审核机制存在"盲区"

当前国内主流AI聊天机器人主要依赖关键词屏蔽和事后过滤，对隐喻性表达、渐进式诱导等复杂场景识别能力不足。测试发现，通过"如果我想让某人消失"等模糊表达，可绕过部分产品的安全审核。AI模型在训练过程中接触大量网络内容，可能学习到有害信息并在实际对话中输出不当建议。部分产品对"如何报复同学""怎样让人消失"等问题的拦截不够精准，存在安全漏洞。安全审核团队建设投入有限，难以及时发现和处置新型风险。

（二）青少年保护措施"形同虚设"

多数AI聊天机器人对用户年龄缺乏有效验证，未成年人可轻易注册成人版本。青少年模式功能单一，限制内容不够精准，青少年可通过简单手段绕过限制。在涉及心理危机、危险行为等敏感场景时，AI无法识别用户身份并提供针对性的心理援助和资源引导。平台对青少年使用行为缺乏监测，无法及时发现异常行为并干预。部分产品虽有"青少年模式"，但实际保护效果有限，形同虚设。

（三）企业主体责任"悬空"

部分AI企业为抢占市场，在安全审核团队建设、危险内容识别技术研发上投入有限。安全事件应急响应机制不健全，发现问题后处置不及时、不彻底。"重商业利益、轻安全责任"倾向明显，安全投入与用户规模增长不匹配。企业对AI模型输出内容的审核把关不严，缺乏有效的质量控制和风险评估机制。部分企业以"技术尚在发展中"为由推卸责任，缺乏主动改进意愿。

（四）法律法规"跟进滞后"

我国虽已出台《生成式人工智能服务管理暂行办法》，但对面向青少年的AI聊天机器人缺乏专门监管要求和技术标准。安全事件的认定标准、处置程序、责任追究等规定不够具体，可操作性有待提升。对AI主动教唆犯罪、煽动暴力等极端情况，现行法律难以有效追责。AI技术发展速度远超法律法规制定速度，存在监管空白地带。行业标准缺失，企业自律不足，市场秩序有待规范。

（五）社会防线"薄弱"

社会公众对AI安全风险认知不足，缺乏识别和防范意识。学校、家庭在青少年AI安全教育方面存在缺位，学生"AI是工具不是朋友"的意识尚未形成。社会监督机制不健全，公众发现AI安全问题后缺乏有效举报渠道。媒体对AI安全问题关注不够，难以形成全社会关注和监督的氛围。青少年在接触AI时缺乏辨别能力和自我保护意识。

二、对策建议

（一）让"出厂即安全"成为底线

建议网信部门会同工信、市场监管部门，在现有生成式人工智能管理规定基础上，加快出台AI聊天机器人安全技术强制性标准。重点明确三项要求：一是用户年龄验证机制，未成年人使用须经家长同意或接入学校管理系统；二是内容安全红线清单，明确禁止提供的暴力、自残、危险行为内容类型，并建立动态更新机制；三是风险评估备案制度，面向青少年的AI聊天机器人须通过第三方安全评估并向监管部门备案。对不符合标准的产品，依法不予上线或责令下架。建立AI安全"红队演练"制度，定期模拟极端场景测试模型反应，发现漏洞限期整改。

（二）让"青少年模式"真正管用

建议教育部门会同网信部门，借鉴网络游戏防沉迷系统经验，建立AI聊天机器人分级保护体系。一是强制推广青少年专用版本，过滤不适合未成年人接触的内容，在显著位置设置心理援助一键求助入口，接入12355青少年服务台等专业心理热线。二是建立青少年使用时间限制和内容审核双机制，对异常行为（如反复询问暴力话题）自动触发人工复核并推送预警信息给监护人。三是推动学校将AI素养纳入信息技术课程，培养学生识别风险、安全使用的能力。四是编制家长指导手册，帮助家庭建立用前共识、用中监督、用后沟通的习惯。

（三）让"安全红线"成为企业生命线"

建议市场监管部门督促AI聊天机器人企业落实安全主体责任。一是强制要求企业设立专门的安全审核团队，按用户规模比例配备审核人员，实行24小时实时监测。二是推动企业建立危险内容识别模型，针对隐喻性表达、渐进式诱导等复杂暴力场景进行专项训练，提升精准拦截能力。三是完善用户举报反馈机制，对涉及暴力、自残的举报须在30分钟内响应处理。四是建立安全测试公开报告制度，定期发布安全测试结果，接受社会监督。对存在安全隐患的产品依法采取约谈、下架、罚款等阶梯式处罚，让安全真正成为企业的生命线。

（四）让"违规成本"高到不敢越界

建议立法部门加快完善AI聊天机器人法律法规体系。一是在《生成式人工智能服务管理暂行办法》基础上，增加面向青少年的专门条款，明确禁止教唆、煽动暴力等底线要求。二是研究制定《AI聊天机器人管理条例》，细化企业安全责任、未成年人保护义务、违规处罚措施，对造成严重后果的依法追究刑事责任。三是建立网信、公安、教育、市场监管等多部门联合监管机制，形成信息共享、线索移交、协同处置的治理格局。四是建立AI安全第三方评估机制，对表现不佳的企业公开通报、重点监管。

（五）让"社会防线"不再薄弱

建议宣传部门会同教育、网信等部门，将AI安全教育纳入全民数字素养提升工程。一是开展AI安全进校园活动，开发适合不同年龄段的AI安全教育课程，帮助学生树立"AI是工具不是朋友"的认知。二是制作AI安全科普短视频、公益广告，在主流平台和公共场所滚动播放，普及识别风险、举报问题的方法。三是建立青少年AI安全援助热线，对因AI聊天机器人受到不良影响的青少年提供心理疏导和法律援助。四是定期发布AI聊天机器人安全使用警示案例，以案说法，提升全社会防范意识。