一、人工智能违规应用的场景
中央网信办于2025年4月启动的“清朗·整治AI技术滥用”专项行动，集中暴露了当前AI违规应用的主要场景与表现形式。从专项行动第一阶段处置违规AI产品3500余款，清理违法违规信息96万余条的实施效果观察，AI违规应用已呈现出类型多样、手段隐蔽、影响广泛的特征。
（一）技术滥用与产品违规场景
从技术应用层面观察，AI技术违规场景首先表现为基础合规要求的违反。第一，未履行备案登记程序，即利用生成式人工智能技术向公众提供内容服务，但未按《生成式人工智能服务管理暂行办法》规定履行大模型备案或登记程序。第二，提供违禁功能服务，部分AI产品直接提供“一键脱衣”等明显违背法律伦理的功能，或AI社交、陪聊软件提供低俗软色情对话服务。第三，制作传播仿冒产品，包括制作和传播仿冒、套壳AI网站和应用程序，以及传授、售卖违规AI产品教程和相关工具商品。
（二）内容造假与信息操控场景
从内容生成层面观察，AI产品违规场景主要体现为虚假信息的批量制造与传播。第一，政治敏感信息造假，无中生有、凭空捏造涉时事政治、公共政策、突发事件等谣言信息，或擅自妄测、恶意解读重大方针政策，冒充官方发布谣言信息。第二，专业领域不实内容，制作发布涉财经、教育、医疗卫生等专业领域的夸大、伪科学等不实内容，借助AI算命、AI占卜等传播迷信思想。第三，网络水军与流量操控，利用AI技术“养号”批量注册运营账号，通过AI内容农场批量生成低质同质化文案，使用AI群控软件刷量控评、制造虚假热点。
（三）身份冒用与权益侵害场景
从权益保护层面观察，AI产品违规场景呈现出对个人权益的直接侵害特征。第一，深度伪造技术侵权，通过AI换脸、声音克隆等技术假冒公众人物进行欺骗营销，对公众人物或历史人物进行恶搞、抹黑、歪曲，不当使用AI“复活逝者”滥用逝者信息。第二，色情暴力内容生成，利用AI脱衣、AI绘图等功能生成他人不雅图片、视频，制作血腥暴力、恐怖诡谲画面，生成性暗示意味明显的“小黄文”等内容。第三，诈骗欺诈行为，利用AI冒充亲友从事网络诈骗，通过深度伪造技术进行身份欺骗和财产诈骗等违法活动。
二、滥用AI技术法律风险
（一）刑事法律风险
利用AI制作发布谣言所面临的刑事法律风险最为严重，无中生有、凭空捏造涉时事政治、突发事件等各类谣言信息的行为，特别是擅自妄测、恶意解读重大方针政策的行为，直接违反了《生成式人工智能服务管理暂行办法》第四条第一款关于“不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象”等内容的禁止性规定，已然超越了言论自由的合理边界。更符合《刑法》第二百九十三条规定的寻衅滋事罪、第291条之一规定的编造、故意传播虚假信息罪等罪名的适用。
利用AI脱衣、AI绘图等功能生成合成色情内容或他人不雅图片、视频的行为，不仅构成对被害人人格尊严与肖像权的严重侵犯，亦直接违反了《生成式人工智能服务管理暂行办法》第四条关于禁止生成“暴力、淫秽色情”内容的明确规定。在刑事上，主要涉及《刑法》第三百六十三条规定的制作、复制、出版、贩卖、传播淫秽物品牟利罪和第364条规定的传播淫秽物品罪。
（二）行政法律风险
AI技术滥用面临的行政法律风险主要体现在网络安全、数据安全、算法治理等监管领域。未履行《生成式人工智能服务管理暂行办法》规定的安全评估程序的行为，直接违反了暂行办法的强制性规定，可能面临网信部门的责令改正、警告、罚款等行政处罚。
内容标识要求的缺失所面临的行政法律风险日益突出，不仅违反了《互联网信息服务深度合成管理规定》的明确要求，更直接违反了即将于2025年9月1日起施行的《人工智能生成合成内容标识办法》第三条关于显式标识和隐式标识的强制性规定。服务提供者未对深度合成内容添加隐式、显式内容标识，未向使用者提供或提示显式内容标识功能的行为，可能面临一万元以上十万元以下的行政罚款。
（三）民事法律风险
AI技术滥用面临的民事法律风险主要集中在侵权责任领域，涉及人格权、知识产权、隐私权等多个方面。利用AI制作发布不实信息的行为，主要面临民事侵权责任与声誉损害赔偿的法律风险。将无关图文、视频拼凑剪辑，生成虚实混杂信息的行为，往往涉及对他人《民法典》第一千零二十四条规定的名誉权、第990条规定的荣誉权的侵犯，需要承担相应的民事赔偿责任。
通过AI换脸、声音克隆等深度伪造技术假冒他人的行为，面临的民事法律风险主要体现在人格权侵权责任。根据《民法典》第一千零一十八条、第1019条关于肖像权的规定，第990条关于姓名权的规定，以及第1023条关于声音权的规定，前述行为不仅构成对被冒充者人格权的侵犯，亦可能因造成财产损失而承担相应的经济赔偿责任。不当使用AI“复活逝者”，滥用逝者信息的行为，则涉及《民法典》第九百九十四条关于死者人格利益保护的新型民事法律风险。
利用AI从事网络水军活动面临的民事法律风险，主要体现在对网络诚信与市场秩序的破坏所产生的不正当竞争责任。使用AI群控软件批量点赞跟帖评论，刷量控评的行为，直接违反了《反不正当竞争法》第十二条关于网络不正当竞争的规定和《网络反不正当竞争暂行规定》第四十三条的规定，可能面临竞争对手或相关利益主体的民事诉讼，承担停止侵害、消除影响、赔偿损失等民事责任。
三、AI产品侵犯个人信息权益风险
（一）个人信息非法收集的风险
根据《生成式人工智能服务管理暂行办法》第十一条的明确规定，提供者“不得收集非必要个人信息，不得非法留存能够识别使用者身份的输入信息和使用记录，不得非法向他人提供使用者的输入信息和使用记录”。AI产品在训练数据收集过程中的个人信息保护风险主要体现在未经同意收集个人信息、超范围收集个人信息、收集敏感个人信息等方面。
在未经同意收集个人信息方面，部分AI产品通过网络爬虫等技术手段，大规模收集互联网上的个人信息用于模型训练，前述行为往往缺乏个人信息主体的明确同意，直接违反了《个人信息保护法》第十三条关于个人信息处理应当取得个人同意的基本原则。
在超范围收集个人信息方面，部分AI产品在用户使用过程中，收集与其提供的服务不直接相关的个人信息，例如在提供文本生成服务时收集用户的地理位置信息、通讯录信息等，前述行为违反了《个人信息保护法》第六条关于个人信息处理应当具有明确、合理的目的，并应当与处理目的直接相关的基本要求。
（二）个人信息非法使用的风险
AI产品在个人信息使用过程中面临的法律风险主要体现在超出授权范围使用个人信息、将个人信息用于自动化决策、向第三方提供个人信息等方面。在超出授权范围使用个人信息方面，部分AI产品将用户在使用过程中输入的个人信息用于模型训练或产品改进，而前述用途往往超出了用户最初同意的范围，违反了《个人信息保护法》第十四条关于个人信息处理目的、处理方式和处理的个人信息种类发生变更的，应当重新取得个人同意的规定。
（三）个人信息安全保护的风险
AI产品在个人信息安全保护方面面临的法律风险主要体现在技术和管理措施不完善、数据泄露、违法向境外提供个人信息等方面。根据《个人信息保护法》第五十一条的规定，个人信息处理者应当根据个人信息的处理目的、处理方式、个人信息的种类以及对个人权益的影响、可能存在的安全风险等，采取相应的技术措施和其他必要措施，确保个人信息安全。
在技术和管理措施方面，部分AI产品未建立完善的个人信息安全管理制度，未采取相应的加密、去标识化等安全技术措施，未定期开展个人信息安全影响评估，前述行为可能导致个人信息泄露、篡改、丢失等安全事件的发生。根据《个人信息保护法》第六十六条的规定，情节严重的，由省级以上网信部门和有关部门在其职责范围内责令改正，没收违法所得，并处五千万元以下或者上一年度营业额5%以下罚款。
四、企业合规要点
（一）AI产品的备案和登记
法规要求企业严格按照《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》《互联网信息服务算法推荐管理规定》等法规要求，进行算法备案、大模型上线备案和模型调用登记，确保所有向公众提供内容服务的AI产品均履行相应的备案程序。
根据专项行动第一阶段的实施效果，腾讯等重点平台采取了提高准入门槛、优化巡查机制的合规管理手段，通过建立产品功能清单审核制度，严格审查涉及人脸识别、声音合成、图像生成等敏感技术的应用场景，有效防范了违规AI产品的出现，显著降低了企业的合规风险。
（二）训练数据合规管理体系
法规要求根据《生成式人工智能服务安全基本要求》技术标准，企业应当确保相关语料来源含违法不良信息不超过5%，在数据采集阶段建立严格的数据来源审查制度，确保所有训练数据均来自合法渠道，具备相应的使用授权。企业应当建立数据来源白名单制度，明确可以使用的数据源范围，禁止使用侵犯他人知识产权、隐私权等权益的信息。对于涉及个人信息的训练数据，企业应当严格按照《个人信息保护法》的要求，取得相应的同意或具备其他合法性基础。
根据专项行动第一阶段的实施效果，通义平台围绕数据生命周期建立安全管理体系，在数据采集、训练、使用等各个阶段均加强训练语料管理，建立了《生成式人工智能服务管理暂行办法》第四条第二款要求的防范歧视机制，为行业提供了可借鉴的实践模式。
（三）建立内容审核机制
根据《生成式人工智能服务管理暂行办法》第四条规定，提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，遵守以下规定：不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容。
根据专项行动第一阶段的实施效果，企业可以参考抖音建立“红蓝对抗”机制，模拟攻击案例，修复潜在安全漏洞，优化模型对虚假信息识别能力的做法，体现了主动防御、持续改进的合规管理理念。企业应当建立多层次的内容审核体系，包括技术审核、人工审核、专家审核等多个环节，根据《生成式人工智能服务安全基本要求》标准关于模型安全要求的规定，对算法设计、训练数据选择等环节提出防范歧视性内容的具体要求。
（四）建立重点领域专门保护机制
法规要求企业在医疗领域严格遵守《互联网诊疗管理办法（试行）》等专门法规，确保AI产品不提供具体的诊断、治疗建议，避免出现“AI开处方”等违规情况。在金融领域，企业应当严格遵守《证券法》等金融法规，确保AI产品不提供具体的投资建议，防范“诱导投资”等风险。在未成年人保护方面，企业应当严格遵守《未成年人保护法》《未成年人网络保护条例》等专门法规，建立未成年人专门保护机制，防范“AI幻觉”等问题误导学生。
根据专项行动第一阶段的实施效果，小红书在模型后置训练阶段输入专业领域数据，提升模型对医疗、金融、未成年人等重点领域问题理解能力，为企业建立行业专门合规机制提供了可行路径。该平台设置了未成年人模式，确保在该模式下AI产品提供的内容适合未成年人身心健康发展，有效落实了重点领域的专门保护要求。
作者简介
马军 主任、合伙人
宁人（北京）律师事务所
联系方式：majun@ningrenlaw.com
陕西省人工智能与大数据法学会理事
九三学社社员
马军律师团队专注于互联网、电信与高科技和数字医疗行业一体化法律服务，包括数据合规、知识产权、企业出海等法律服务。马军律师连续多年被钱伯斯、ALB和LEGALBAND榜单推荐，被榜单客户评价为具有创造商业价值的律师。
2020年，马军律师团队曾帮助英国客户办理国内数据出境安全评估第一案例，承办过艾法史密斯等十余家中外企业数据出境专项法律服务；2023年，马军律师团队曾助力国内第一批部分企业大模型企业算法备案、大模型上线备案，至今服务大模型企业算法备案和大模型上线备案合规服务二十余家，包括联想北京、中科创达、智谱AI、创业慧康等知名企业；曾承办智云健康等二十余家企业上市前数据合规、大模型知识产权纠纷、数据资产入表、数据交易服务，某大模型企业出海法律服务等。