← 返回报告列表

需关注AI托管账号治理问题推动平台内容生态健康发展

📝 摘要
近日,小红书发布公告称将严格打击AI托管类账号,引发社会对AI生成内容治理的广泛关注。当前,AI托管账号批量生成内容导致平台内容同质化严重,AI生成内容可能存在虚假信息损害用户权益,平台治理能力不足难以有效识别AI生成内容,相关法律法规滞后难以规范AI生成内容。建议网信部门牵头制定AI生成内容标识标准,出台AI内容识别技术标准指导平台提升治理能力,建立跨平台信息共享机制联合打击违规行为,完善相关法律法规明确AI生成内容法律责任。
农工党广西区委科技专委会主任、南宁师范大学人工智能学院副院长欧启忠:3月10日,小红书“薯管家”官方账号公告称,小红书坚定维护社区的真实底色,严格禁止任何利用技术手段模拟真人、进行非真实内容创作或虚假互动的行为,将对采用AI托管模式运营的账号进行治理。小红书的用户黏性与商业价值均建立在UGC内容的真实性基础上,而AI托管账号的无差别批量创作,不仅会导致内容同质化、降低用户体验,更会动摇平台的信任根基。当前,AI生成内容治理面临诸多挑战,需要引起高度重视并采取有效措施加以解决。

一、存在的主要问题和风险

(一)AI托管账号批量生成内容扰乱平台内容生态

当前,部分MCN机构和运营者利用AI托管技术批量生产内容,以追求流量和变现为目的,大量生成同质化、低质量的内容。这类内容往往缺乏原创性和深度,仅通过模板化生产快速填充平台,导致用户刷到大量相似内容,降低用户体验和平台价值。小红书等平台的核心竞争力在于真实用户分享的真实体验,AI托管账号的泛滥严重侵蚀了这一根基,长此以往将动摇用户对平台的信任。同时,批量生成的低质内容也挤占了优质原创内容的曝光空间,形成“劣币驱逐良币”的负面效应,不利于平台内容生态的健康发展。

(二)AI生成内容可能存在虚假信息损害用户权益

AI托管账号在内容生成过程中,可能因算法偏差或刻意操纵,产生虚假信息、误导性内容。特别是在健康、消费、理财等敏感领域,AI生成的虚假推荐可能对用户决策产生负面影响,造成经济损失或健康风险。部分AI托管账号为追求点击率,不惜编造虚假故事、夸大产品功效,严重损害用户权益。由于AI生成内容的隐蔽性强,普通用户难以辨别真伪,增加了信息甄别的难度。这类行为不仅侵害消费者权益,也损害了平台的公信力和品牌形象,可能引发消费纠纷和社会矛盾。

(三)平台治理能力不足难以有效识别AI生成内容

当前,AI技术快速发展,生成内容的质量越来越高,传统的文本识别、图像识别等技术难以有效区分AI生成内容与人工创作内容。部分平台在AI内容识别技术方面投入不足,缺乏专业的技术团队和检测工具,难以对海量内容进行实时监测和识别。同时,AI托管账号运营者不断更新技术手段规避平台检测,形成“道高一尺魔高一丈”的攻防态势。平台治理能力的滞后,使得AI托管账号问题日益严重,亟需加强技术能力建设。监管部门在技术监测、数据分析等方面也存在短板,难以对平台治理情况进行有效监督。

(四)相关法律法规滞后难以规范AI生成内容

当前,针对AI生成内容的法律法规尚不完善,存在监管空白。现有法律主要针对传统网络内容进行规制,对AI托管账号、批量生成内容等新现象缺乏明确的法律界定和处罚标准。这导致监管部门在执法过程中面临无法可依的困境,平台在处理违规账号时也缺乏充分的法律依据。同时,AI生成内容的版权归属、责任认定等问题尚无明确答案,给行业健康发展带来不确定性。法律法规的滞后,使得AI托管账号治理缺乏有力的法律支撑,难以形成有效的震慑作用。

二、对策建议

(一)建议网信部门牵头制定AI生成内容标识标准和管理规范

建议网信部门会同相关部门,组织专家研究制定AI生成内容标识标准,明确AI生成内容的标识方式、位置、格式等要求。可参考欧盟《人工智能法案》等国际经验,建立AI生成内容的强制标识制度,要求平台对AI生成内容进行明确标注,帮助用户识别内容来源。同时,制定AI内容管理规范,明确AI创作工具的使用边界,禁止利用AI进行虚假内容创作、批量账号运营等违规行为。对违反标识要求和管理规范的主体,建立相应的处罚机制,提高违法成本,推动平台内容生态规范发展。

(二)建议网信部门出台AI内容识别技术标准督促平台提升治理能力

建议网信部门组织技术专家和科研机构,研究制定AI内容识别技术标准和评估体系,为平台开展AI内容治理提供技术指引。可建立AI内容识别技术能力评估机制,定期对主要平台的AI内容检测能力进行评估和通报,督促平台加大技术投入。同时,支持第三方技术机构开发AI内容识别工具,为中小平台提供技术服务支持。建立AI内容治理专项督查机制,对治理不力的平台进行约谈和处罚,压实平台主体责任,推动平台内容生态持续净化。

(三)建议建立跨平台信息共享机制联合打击AI托管账号违规行为

建议由网信部门牵头,联合主要内容平台建立AI托管账号信息共享机制。各平台定期共享AI托管账号的违规线索、处理记录、黑名单信息等,形成协同治理合力。可建立统一的AI托管账号违规信息数据库,各平台可实时查询和比对,避免违规账号在不同平台间流窜。同时,建立跨平台联合执法机制,对严重违规的AI托管账号运营者,各平台统一采取封禁措施,提高违规成本。通过跨平台协作,形成对AI托管账号违规行为的有效震慑,维护网络内容生态秩序。

(四)建议完善相关法律法规明确AI生成内容法律责任

建议立法部门加快完善AI生成内容相关法律法规,明确AI生成内容的法律地位、版权归属、责任认定等问题。可在《网络安全法》《数据安全法》等法律框架下,增设AI生成内容管理的专门条款,明确平台、创作者、AI技术服务提供者等各方责任。对利用AI托管账号进行虚假内容创作、批量账号运营等违规行为,明确处罚标准和执法程序。同时,建立AI生成内容监管的执法协调机制,加强网信、公安、市场监管等部门的协同配合,形成监管合力,为AI托管账号治理提供有力的法律保障。

⬇️ Word 📂 返回报告列表

✏️ 修改意见反馈

如果报告内容不合格,请在此填写修改意见,提交后将尽快处理: