据澎湃新闻报道，大模型时代，生成式内容传播呈现碎片化和不可复现性，治理变得更加复杂；经过大模型处理和输出的信息可能会在全网范围内产生二次污染，内容治理不容忽视。

在大模型时代，企业面临的治理难度和挑战也更大。

随着大模型企业集聚发展，网络安全和价值观对齐也面临更加严峻的防范压力。在技术发展与内容规范之间，如何取舍和平衡，是一个需要思考的问题。

7月25日下午，一场围绕“AIGC时代的信息真相：识别与应对价值观偏见”在上海徐汇区模速空间举办，本次活动系上海市委网信办“清朗e企来”系列惠企沙龙2024年首场活动，旨在探讨交流AIGC时代信息安全建设有效路径。

大模型时代，治理难度更大

在新的技术背景下，网络安全的治理正在发生巨大变化，要保证大模型生成内容真实且与人类价值观对齐，存在更大挑战。

百度安全副总经理冯景辉负责百度搜索内容检测系统，多年来致力于改善搜索生态健康度。冯景辉坦言，大模型时代的真实信息辨别相较互联网时代变得更加复杂，一方面大模型产品自身存在“幻觉”缺陷，很多错误的生成信息并不是人类有意为之，而“幻觉”问题目前还没有技术手段可以彻底解决。

另一方面，黑灰产业通过利用AI技术产品生成违法内容，使得违法犯罪的表现更加隐晦。网络安全公司 Darktrace于2023年4月公布的研究报告指出，ChatGPT等生成式AI导致网络钓鱼邮件攻击增长135%。

北京开普云信息科技有限公司（以下简称“开普云”）是AI产品服务提供商。该公司副总裁王瑛告诉澎湃科技(www.thepaper.cn)，根据他们的观察，大模型时代生成式内容具有以下几类明显特征：一是生成式内容传播呈现碎片化和不可复现性，比如在不同终端上提出相同的问题，由于环境差异，得到的答案也不同，导致对生成式内容传播效果的度量变得更加复杂；二是经过大模型处理和输出的信息，可能会在全网范围内产生二次污染。王瑛称，这一趋势伴随着大模型使用日趋广泛表现得日益明显。

冯景辉坦言，在大模型时代，企业面临的治理难度和挑战也更大。“在互联网传统搜索引擎时代，用户使用搜索引擎，搜索结果会将用户的问题引导至相关资源，搜索结果和责任主体并不完全归属于搜索企业，内容主体也要承担责任；但到了AI搜索时代，搜索企业成为了责任主体最前沿，甚至可能承担高达80%的主体责任。”

此外，当前，面向消费者（To C）的大模型产品已经不仅限于语言模型，多模态大模型技术的发展提升了安全治理难度，譬如对于图像中文字内容的合规审核等。

做好数据清洗很关键

冯景辉介绍说，大模型构建过程一般被划分为三个关键阶段，即训练阶段、部署阶段以及业务运营阶段，在各业务阶段都面临安全风险，且挑战不同。冯景辉认为，大模型企业需要针对这三个不同阶段采取措施来确保大模型价值观对齐：一是通过数据清洗与安全对齐，实现模型内生安全；二是内生安全与外层防护互相配合，实现纵深安全；三是企业应关注Agent安全，通过弱点分析发现问题。

其中，在大模型训练阶段，数据清洗尤为关键，“数据是大模型核心竞争力的基础，好的数据决定了大模型有好的问答能力。”冯景辉介绍说，在文心大模型训练过程中，百度花费了大量的人力、物力和财力来清洗数据，来确保最后生成的内容质量。

冯景辉补充介绍称，目前他们还通过检索增强和小模型代答敏感问答来降低安全风险。“小模型因为语料较少，且数据干净，不容易产生幻觉，可控性更高，适合部分代答场景。”

开普云副总裁、首席技术官杨春宇则表示，从模型层面来说，大模型企业可以通过调整模型来加强安全措施；从系统层面来看，对模型输入和输出进行检测可能是一种性价比更高、更可控的方法，但仍然需要包括监管部门进行抽检或自检方法来确保模型安全可控。

治理与提升模型能力同步发展

当前，生成式AI伦理和安全治理，已经成为全球AI领域的共同议题。聚焦国外，欧盟已批准的《人工智能法案》是世界上首部对AI进行全面监管的法案。法案根据AI使用方法，对AI施加不同程度的监管要求。

中国自开始大模型技术发展之初，已将治理提升到重要位置。相关部门出台的法律法规为行业发展设定了底线，包括2023年7月发布的《生成式人工智能服务管理暂行办法》指出，采取有效措施鼓励生成式人工智能创新发展，对生成式人工智能服务实行包容审慎和分类分级监管。

杨春宇认为，促进大模型生态系统的健康发展，需在治标和治本两个层面上共同努力。具体来说，大模型企业需要从语料的质量入手，同时在应用环节进行改进和提升。此外，企业还需与网络监管部门合作参与大模型治理。大模型时代的安全治理需要社会各界共同投入。

冯景辉表示，AI能力与AI治理应当呈螺旋发展，技术的发展离不开规范的治理，治理也能够促进AI技术的发展。在内容审核和治理方面，同样需要技术不断迭代和更新。目前看来，技术发展还有很大的空间；就监管而言，也还需要大家在监管细节方面取得进一步的共识。