《生成式人工智能服务 安全基本要求（征求意见稿）》的解读与建议｜mhp君悦评论

2024年05月23日全国网络安全标准化技术委员会发布了《网络安全技术 生成式人工智能服务安全基本要求》（以下简称“征求意见稿”），旨在帮助服务提供者明确生成式人工智能服务网络安全基线、提高服务安全水平。征求意见稿作为支撑《生成式人工智能服务管理暂行办法》（以下简称“暂行办法”）的国家标准，其适用范围和定义与暂行办法基本一致，并可能在生效后替代TC260-003技术文件《生成式人工智能服务安全基本要求》作为生成式人工智能服务提供者（以下简称“服务提供者”）满足基本安全要求，进行安全评估及办理备案手续时的参考依据。可以注意到，征求意见稿较技术文件有较为明显的改进：1.提高了对知识产权的管理要求，提出应新增知识产权负责人；2.对应用于模型训练的数据提出了更高更全的过滤要求，全部训练数据都应当进行过滤，并去除违法不良信息；3. 应定期对所使用的开发框架、代码等进行安全审计，关注开源框架安全及漏洞相关问题，识别和修复安全漏洞；4. 新增了对模型安全的要求，如模型检测要求、模型更新升级要求、软硬件环境要求等；5. 将安全评估参考要点作为资料性附录置于标准正文之后。本文将结合合规要求及实践困惑展开解读，供读者参考；表格部分将对征求意见稿提出修改建议，供标委会及工作组参考。一得之见，难免存在各种错误和不足，请大家批评指正。

适用范围

在全球范围内，世界各国均对人工智能可能引致的安全问题提出了规范要求，联合国教科文组织于2021年11月发布《人工智能伦理问题建议书》，旨在为和平使用人工智能系统、防范人工智能危害提供基础；2024年5月，5月21日，欧洲理事会正式批准欧盟《人工智能法案》，采用基于风险占比的方法，为欧盟内人工智能系统的开发、市场投放和使用制定了统一规则，禁止违背欧盟价值观、特别有害的人工智能做法。美国参议院、联邦政府、国防部、白宫等先后发布《算法问责法（草案）》《人工智能应用的监管指南》《人工智能道德原则》《人工智能权利法案》《国家网络安全战略》等文件，提出风险评估与风险管理方面的原则，指导政府部门与私营企业合作探索人工智能监管规则。

我国则坚持发展和安全并重、促进创新和依法治理相结合的原则，在《网络安全法》《数据安全法》《个人信息保护法》的基础上，分别于2023年1月、2023年8月施行了《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》。征求意见稿为支持国家法律法规的贯彻执行，针对生成式人工智能服务面临的网络安全、数据安全、个人信息保护等关键问题，从训练数据安全要求、模型安全要求以及安全措施要求三个方面入手，提出了安全措施要求和安全评估参考要点的指引，以期防范化解服务过程中的应用场景安全风险、软硬件环境安全风险、生成内容安全风险以及权益保障安全风险等问题，不断提升人工智能技术的安全性、可靠性、可控性、公平性。

术语和定义

征求意见稿将标准帮助的对象定义为生成式人工智能服务提供者，即以交互界面、可编程接口等形式向公众提供生成文本、图片、音频、视频等内容服务的组织或个人。从该定义来看，为人工智能产业链提供基础设施以便技术层和应用层能够开发和运行人工智能应用的供应商，如智能基础设施厂商、智能信息及数据提供商等基础设施供应商，通常不直接面向公众，因而不适用本标准。而直接面向公众或垂直领域、行业提供人工智能内容服务、解决方案的厂商，如提供智能机器人、智能运载工具、智能终端、生物特征识别产品、自然语言理解产品、计算机视觉产品等人工智能产品和服务的厂商，和为医疗、金融、教育、制造等垂直行业或场景提供人工智能技术具体应用和解决方案的智能应用解决方案提供商，以及为产业链提供算法模型、关键技术的智能技术服务厂商，如提供计算机视觉、自然语言理解、智能语音、决策树、人机交互等技术的厂商，均可使用本标准。

暂行办法将受到监管的生成式人工智能服务的对象限定为“向中华人民共和国境内公众”提供服务。这一限定有助于明确法规适用的地域范围和对象，确保法律法规能够在特定区域内有效实施。而征求意见稿作为提供指导和规范的普适性标准，不一定需要严格的地理限制，删除地理限制可以使标准在国际合作和交流中更具包容性。同时，利用生成式人工智能服务向公众提供新闻出版、影视制作、文艺创作等活动的服务，亦宜在参照本标准提出的各项安全要求和安全评估指引基础之上，适用特别规则及规定。

从实践来看，生成式人工智能的训练数据包括使用大规模数据使生成式人工智能模型获得通用知识的预训练数据以及使用专门领域或特定范围数据使生成式人工智能模型获得特定领域、特定范围服务能力的优化训练数据。值得注意的是，使用者输入的用来引导模型生成特定内容的提示词（prompts）及生成的内容均可能成为对人工智能模型进行训练的数据。两者若直接作为训练模型的数据，则同样需要遵守训练数据的各项安全要求。

在标准的定义方面，由于人工智能安全术语以及人工智能分级分类指引等标准的编纂尚未启动，征求意见稿正文除使用了生成式人工智能、服务提供者、训练数据之外，也使用了其他可能影响标准清晰性、准确性和一致性的词汇，如数据来源、开源训练数据、自采训练数据、数据标注等等。服务提供者在使用标准时，可参考以下解释。

1. 预训练数据（Pre-training Data）：使生成式人工智能模型在初始阶段获得通用知识的所有大规模数据。

2. 优化训练数据（Fine-tuning Data）：在预训练模型基础上，为特定任务或领域进行精细调整以提高模型在针对性应用场景中性能的所有数据。

3. 数据来源（Data Source）：用于模型训练的所有数据的来源，包括生成该训练数据的初始来源和获得该训练数据的上游来源。

4. 开源训练数据（Open Source Training Data）：可以被自由地访问、获取、使用、修改和分享，而未受到权利人限制的数据。

5. 商业训练数据（Commercial Training Data）：通过商业授权或交易而获得的数据。

6. 自采训练数据（Self-collected Training Data）：服务提供者自行采集的数据，包括通过互联网采集的数据和在运营过程中自行产生或采集的数据。

训练数据安全要求

征求意见稿明确了数据合规在生成式人工智能服务中的重要意义和价值。训练数据来源安全、训练数据内容安全、数据标注安全是模型研发过程中的重要内容，也是征求意见稿关注的重点问题。征求意见稿要求服务提供者对数据来源进行全过程管理，即在采集数据前应当进行安全评估，在采集数据的过程中和采集数据后，应当进行核验。如果数据内容中，有超过比例超过5%的违法信息，则该来源数据（及该数据来源）应当予以排除。实践中，企业获得训练数据的方式主要包括：通过授权采集得到的开源数据和公共数据，通过自身运营得到的数据，通过商业授权或交易获得的数据。而征求意见稿并未提及公共管理和服务机构在依法履行公共管理职责或提供公共服务过程中产生、处理的公共数据，企业在采集、处理公共数据时是否应将之视为合法数据，而不论其内是否包含对违法违规事实的描述，如行政处罚或刑事判决文书？同时，在进行数据来源管理时，如果该数据来源是持续性的提供数据，那数据总量和比例如何计算？如果按照附录B.2.1 训练数据安全评估中的结合关键词、分类模型等技术抽检，会不会存在对数据载有信息进行单纯仅以词素为基准的判断，以至于将负面新闻报道、刑事判决文书、行政处罚决定等排除在训练数据来源之外？

征求意见稿要求服务提供者采集、使用训练数据的全流程都需要关注数据来源的合法性、可靠性和多样性，以防范化解歧视、偏见、隐私泄露等问题，并提高模型的准确性、可靠性和泛化能力：文本（含代码）、图片、音频、视频及相同语言的文本等可视为同类型数据的，应有多个训练数据来源，使用境外来源数据的，应合理搭配境内来源数据。服务提供者应有多个合法的训练数据来源，并保存好数据来源的主体信息（如网页的统一资源定位符、组织名称、服务使用者的身份标识号码等）、授权内容（数据集名称、开源许可协议、交易合同、合作协议、许可协议、授权记录或相关授权文件等）、自行采集数据的记录、其他材料（如商业数据来源方的承诺、材料等）。

数据可追溯性的要求一般指的是在整个数据生命周期中，能够跟踪和记录数据的来源、处理过程和最终使用情况。这包括从数据收集、存储、处理、使用到最终删除的每一步骤都可以被记录和查询。征求意见稿贯彻落实了《生成式人工智能服务管理暂行办法》、《互联网信息服务算法推荐管理规定》的要求，提出了实现数据来源可追溯的具体方法。实践中，除征求意见稿提出的基础要求外，建议要做好数据采集、使用的留痕记录（亦可参考《生成式人工智能预训练和优化训练数据安全规范》的要求）：1.记录数据收集来源：每次数据收集活动都应详细记录数据的来源，包括数据提供者、收集时间和收集方式。2.使用唯一标识符：为每个数据集分配唯一标识符，以便在数据处理和使用过程中能够准确跟踪数据。3.数据处理日志：保持详细的数据处理日志，记录数据的每次处理操作，包括处理时间、处理人员和处理内容。4.使用数据溯源系统：使用数据溯源系统或工具，自动记录和管理数据的整个生命周期，从数据收集到最终删除。5.定期审查和更新：定期审查和更新数据追溯记录，确保其准确性和完整性。

数据内容安全

征求意见稿要求服务提供者应制订数据知识产权管理策略，并明确负责人。实操中，建议服务提供者可从以下几个方面设计明确的知识产权政策、流程设计和操作指南，促使所有相关人员了解并遵守知识产权管理要求，以涵盖数据采集、处理、存储、使用和共享的各个环节：1. 在采集、使用训练数据之前及过程中对所有数据来源、数据内容进行评估、筛查、核验，以保证数据的合法性和合规性。使用开源数据时，确保符合开源许可协议；使用商业数据时，确保具备合法的交易合同和相关授权文件。2. 对训练数据进行严格的内容审查，并采用自动化工具和手动检查相结合的方法，识别和过滤可能侵犯知识产权的内容，保证训练数据中不包含侵犯知识产权的内容。3. 实施加密、访问控制等技术措施，保护数据在存储、传输和处理过程中的知识产权。确保只有授权人员可以访问和处理受保护的数据。4. 建立数据溯源系统，记录数据的采集、处理和使用过程，确保在发生知识产权纠纷时能够追溯数据来源和处理记录。5. 定期培训数据处理人员、开发人员、项目经理等相关人员，促使他们了解并遵守知识产权管理政策和流程6. 建立合规检查和审计机制，定期评估知识产权管理体系的有效性，保持企业持续合规。

数据标注安全

当前，生成式人工智能服务提供者在数据标注和使用过程中往往面临着数据泄露、数据投毒、数据被盗，以及生成内容不当等问题。征求意见稿就相关风险提出了数据标注的基础安全要求，包括标注人员的培训、考核、管理，标注规则的建立，标注准确性要求，标注数据的隔离储存等四个方面。实践中，服务提供者可根据基础安全要求进一步细化标注流程的操作要求，包括明确标注人员的职能职责、工作流程、可用工具、功能性标注规则、安全性标注规则、内容抽检、不良信息处置、安全管理等各个方面。

模型安全要求

为了防范和化解实践中生成式人工智能服务面临的各类风险和问题，征求意见稿从模型训练、模型输出、模型监测、模型迭代、软硬件环境等方面对服务提供者提出了要求。数据泄露、篡改和滥用风险，训练数据中的个人隐私和敏感信息泄露风险；训练过程中的偏见和歧视问题，开源框架和代码中的漏洞和安全问题，恶意输入攻击问题（如注入攻击、后门攻击、数据窃取、对抗攻击等）；生成内容的准确性和可靠性不足，导致违法、不良或信息的生成与传播问题；训练和推理环境的安全性问题，包括硬件和软件的供应链安全风险；等等，均是试图防范和化解生成式人工智能主要风险的要求，更细致的评价方法和指标体系还需要服务提供者根据自身服务的领域和对象建立。实践中，服务提供者还应注意采用隐私保护技术，如差分隐私，确保训练数据中的个人信息安全；亦可考虑增加异常检测和自动化响应机制，提高监测和应急管理的效率；而在模型的更新、升级方面，可考虑建立详细的更新记录、测试和审计机制，使每次的更新更透明且可追溯。

安全措施要求

人员配置与岗位职责

HR应注意征求意见稿对服务提供者的人员配置、岗位职责、工作条件提出的具体要求以及为满足安全要求需设置的其他岗位：

（1）标注人员应参加安全培训，内容包括标注任务规则、标注工具使用方法、标注内容质量核验方法、标注数据安全管理要求等；通过考核获得标注上岗资格，定期接受重新培训考核，考核内容应包括标注规则理解能力、标注工具使用能力、安全风险判定能力、数据安全管理能力等；承担数据标注或数据审核的职能，不得在同一标注任务下同时承担多项职能；承担审核职能的标注人员应当负责对每一条安全性标注数据进行审核；执行每项标注任务时预留充足、合理的标注时间。

（2）监看人员应及时跟踪国家政策，收集和分析第三方投诉情况，提高生成内容的质量和安全。

（3）知识产权负责人管理训练数据和生成内容的知识产权，识别训练数据中的知识产权侵权风险，建立知识产权投诉举报渠道，在用户服务协议中告知使用者知识产权相关风险，并与使用者约定相关责任与义务。

（4）模型安全相关岗位的人员应负责模型训练过程中生成内容的安全性评价，进行模型输出内容的准确性和可靠性的技术措施实施，建立模型输入内容的持续监测和安全评估机制，处理和优化模型在提供服务过程中发现的安全问题。模型安全岗位的负责人应制定模型更新、升级时的安全管理策略，在模型重要更新、升级后，再次自行进行安全评估。

（5）数据安全相关岗位人员应建立和维护数据的安全评估机制，评估和管理训练数据的来源安全、内容安全和标注安全，对训练数据进行全面的安全过滤，确保训练数据中不含违法不良信息。

资料性附录与规范性附录

在国际标准中，标准的附录通常分为资料性附录与规范性附录。规范性附录是标准的一部分，一般包含对主文的补充说明或必要的规定，如具体要求、规则或指南，其内容是强制性的，且修改周期长，需遵循严格的审核和批准程序，通常需要通过技术委员会或相关标准制定机构的投票和批准。而资料性附录一般是为标准提供补充信息、示例、背景资料等，可以帮助使用者理解和适用标准的主文，但这些附录不是强制性的，使用者可以选择是否采纳其中的建议，且修改时间短，通常由相关技术委员会或工作组讨论并批准。

征求意见稿的两个附录，附录A训练数据及生成内容的主要安全风险及附录B安全评估参考要点，均为资料性附录，但其内容对我们理解和适用该标准具有重要的指导意义。标委会将之作为资料性附录的原因仅是为了能灵活、快速的修改，以便能够更快地反映新信息或改进建议。事实上，标准的正文部分直接要求“安全性标注规则应能指导标注人员围绕训练数据及生成内容的主要安全风险进行标注，对本文件附录A中全部31种安全风险均应有对应的标注规则”，即直接将资料性附录变为具有强制性的要求，因此在实践中，不论该标准最终如何描述该附录的性质，服务提供者宜将该附录视作规范性附录使用。