以ChatGPT为引领，AI大模型成为了全球科技公司的“练兵场”。技术迭代的速度超乎想象，但还来不及惊叹，由此衍生的各类乱象已先行一步。

近期，先是多地警方提醒新型“AI诈骗”案件受到关注，随后，AI换“明星脸”直播带货引发侵权争议，而AI生成的虚假小作文致科大讯飞股价“闪崩”，也颠覆了对AI虚假信息商业影响力的预判。

(资料图片仅供参考)

可以预见，AI技术的发展和应用会持续带来争议与治理难题。深度伪造、虚假信息、不良信息、抄袭侵权、传播伦理等问题集中涌现，对包括内容治理在内的网络空间秩序治理构成挑战，对于治理工具、方式和手段也提出了更新更高的要求。

回看网络内容生态治理领域，对AI的监管和治理走到了哪一步？平台又有哪些经验值得借鉴？

发布深度合成管理规定

首次明确主体义务

对AI生成内容的风险论断并非一朝一夕。2017年，Deepfake（深度伪造）技术面世，各色AI换脸色情视频及生成虚假信息开始涌现。2019年，一款名为“ZAO”的App曾因用户协议涉嫌过度收集用户信息及隐私安全引发巨大争议。

关于深度伪造技术带来的风险，今年一月起生效的《互联网信息服务深度合成管理规定》首次从法规层面作出了回应，明确了服务提供者、使用者、技术支持者等相关主体的义务。

细研规定发现，对深度合成的监管大致明确了几个方向，杜绝违法信息和虚假信息传播、数据安全与个人信息保护、以及避免用户的混淆或误认。

譬如，要求深度合成服务提供者和技术支持者对使用者有必要的提示义务，即告知同意被编辑的个人；要求采取技术措施添加不影响用户使用的标识，尤其是在文本生成、语音生成、人脸生成，沉浸式拟真等场景中。

中国社会科学院大学互联网法治研究中心执行主任刘晓春认为，这一规定有两个治理举措十分值得关注，一是将内容治理义务拓展到为生产者和传播者提供技术支持的主体，要求真正对技术拥有掌控能力的相关主体切实承担起治理义务，从源头采取措施；二是在现有内容治理手段基础上，明确规定了通过添加技术“标识”的方式，帮助用户有效识别人工智能生成内容，并根据风险程度分级分类在内容治理中加以落实。

生成式人工智能服务管理办法征求意见

明确内容规制范围

伴随ChatGPT等应用的火热，今年4月，国家网信办又发布了《生成式人工智能服务管理办法（征求意见稿）》（下称《意见稿》），在监管同时，为鼓励AIGC健康发展传递了积极信号。

《意见稿》共21条，明确生成式人工智能是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术，并对利用生成式人工智能产品或服务做出具体规制。

如在内容规制层面，特别提到虚假信息、歧视、不公平竞争、侵犯他人权益等行为。此外，该《意见稿》还对服务提供者在防范引导层面提出更高要求，包括具体标注规则、对用户过度沉迷的防范、以优化训练数据影响用户选择、指导用户科学认识和理性使用等。

中国人民大学交叉科学研究院、高瓴人工智能学院李铭轩博士长期关注生成式人工智能算法规制，其认为，《意见稿》不但重视人工智能风险的防范治理，而且也强调人工智能技术的创新发展。例如在第三条特别提到“国家支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作，鼓励优先采用安全可信的软件、工具、计算和数据资源”。

实践与难点：

内容标识已有技术标准

模型训练规避造假难度大

不过，研究者认为，现有技术条件下，上述法规中的相关要求能否落地，实践路径如何，仍值得探讨。例如，相关要求都涉及到内容标识的问题，不过，是否所有的AIGC内容都能够进行标识？如何对AIGC内容进行标识？这需要更加细化和完善的规定，也需要平台去探索最佳的实践路径。

今年5月，抖音发布了《AI生成内容的平台规范暨行业倡议》，为行业提供人工智能内容标识等技术能力和标准，为监管措施落地提供了行业实践的样本。

在刘晓春看来，从这一行业实践可以看出，对于人工智能生成内容的监管和治理，通过添加水印标签帮助用户直观分辨内容属性和来源，相对于其他治理手段，是成本较低而效果明显的技术方式，而且只要设计得当，标识添加可以兼顾用户体验和内容美观，并不会影响创意和内容呈现。

就其他治理手段而言，例如，可以要求算法和人工智能服务提供者通过优化数据和模型训练来影响输出内容或者规避造假，这也是一种治理方式，但是这种方式实现成本高昂，难度很大，效果也难言理想。

李铭轩告诉南都记者，综合一些人工智能领域专家的意见，诸如“利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息”“对于运行中发现、用户举报的不符合本办法要求的生成内容应在3个月内通过模型优化训练等方式防止再次生成”等要求，在现有条件下可能难以实际执行。

“从内容传播和行业发展的角度，人工智能生成内容和深度合成内容的精准有效治理，除了内容传播平台的积极作为之外，还需要行业内各个环节各方主体的全面参与。”刘晓春表示。

全球进展：

首部人工智能法案或将出台

今年以来，全球也在加速探索对AI的监管，目前来看，各国对于人工智能的态度不一。

4月30日在日本举行的七国集团（G7）数字与技术部长会议上，参会者同意“基于风险”推出一项针对人工智能的监管法案，根据联合声明，G7重申监管也应该为人工智能（简称AI）技术“保持一个开放有利的环境”。

欧洲则更早支持对人工智能监管。欧盟人工智能监管法案的制定工作已经持续数年，5月11日，欧洲议会两个委员会通过《人工智能法案》提案的谈判授权草案，据悉，这一草案将于6月中旬提交欧洲议会全会表决，欧洲议会声明称，一旦获得批准，这将成为全世界首部有关人工智能的法规。

美国方面，5月4日，白宫宣布拨款1.4亿美元用于研究制定指导AI监管方针。美国议会近年来先后提出《2018年恶意伪造禁令法案》《2019年深度伪造报告法案》《识别生成对抗网络法案》，都提出要求在人工智能生成的虚假内容中应当包含嵌入的数字水印、清楚标识更改的音频或视频内容。

“从目前来看，无论是技术发展和商业应用，还处在发展的初期，应持更加包容审慎的态度，给予企业以更多的信任和发展空间。”李铭轩表示，对规制者而言，应当密切关注和充分了解AIGC技术和商业应用的现状，在确定治理原则和划定规则红线的基础上，规制者目前不宜出台过于刚性、细化的人工智能立法，应更多地鼓励企业去自主探索平衡商业利益和风险合规的商业模式。而针对现有的较为重要和急迫的问题，可通过出台行政规章，探索有针对性的规制模式。

出品：南都大数据研究院

网络内容生态治理研究中心