【人工智能】AI犯罪治理与合规边界:新挑战下的法律应对
刘平 宋璇 竞天公诚律师事务所

引言

随着AI技术的飞速发展,其在各个领域的应用日益广泛,从智能语音助手到自动驾驶汽车,从图像识别技术到医疗诊断辅助系统,从自动生成图片到自动生成视频,AI技术为社会带来了巨大的便利与创新。然而,如同任何新兴技术一样,AI在带来机遇的同时,也伴随着诸多风险与挑战。近年来,利用AI工具实施的新类型、新手段犯罪行为不断涌现,给社会安全和法治秩序带来了严峻考验。对平台企业而言,了解这些问题不仅关系到企业自身的合法合规经营,更关系到企业在AI时代的可持续健康稳健发展。

本文将结合典型案例和实践经验,深入探讨利用AI工具实施新类型犯罪行为的新形态,以及不同使用场景下可能触犯的刑法罪名与司法认定难点。

一、利用AI实施犯罪行为的新形态及应用场景

新形态一:深度伪造(Deepfake)被滥用

深度伪造(Deepfake)是人工智能领域的一项核心技术,其基础在于生成式对抗网络(GAN)这一机器学习模型。该技术通过让神经网络学习海量的源素材(如图片或视频),能够将目标内容精准地合成并覆盖到原始素材之上。具体而言,深度伪造能够高度逼真地模拟个人的声音特征、面部表情以及身体动作,从而生成难以凭肉眼或听觉辨识真伪的虚假音视频内容。因此,深度伪造技术已被用于换脸、伪造语音、生成合成人脸及视频等多种应用,其核心突破在于大幅降低了篡改或凭空制造极具欺骗性多媒体内容的门槛。它的出现标志着利用AI大规模制造具有高度欺骗性的篡改或原创音视频内容成为可能,对内容的真实性构成了严峻挑战。

奇安信集团公布的《2024人工智能安全报告》指出,2023年,基于AI的深度伪造欺诈事件数量激增了惊人的30倍,同时基于AI的钓鱼邮件数量也大幅攀升,增长了高达10倍。[1]

2023年11月30日,公安部公布“打击黑客犯罪十大典型案例”,其中“广东汕头陈某财非法注册网络账号获利案”。2023年5月,汕头公安机关侦查发现1个利用境外AI软件绕过抖音人脸认证系统并非法大量注册实名认证的网络账号的线索。汕头网安对该线索研判,发现犯罪嫌疑人陈某财等人通过在网上购买公民个人信息,利用境外AI人脸技术软件将人脸头像制作成视频,绕过了真人核验环节。2023年7月5日,在广东省公安厅网警总队的统一指挥下,汕头网安在深圳、揭阳、汕头等地对该团伙开展统一收网行动,抓获犯罪嫌疑人7名,扣押涉案电脑、手机、移动硬盘、手机卡、银行卡等涉案物品一大批,查处涉案抖音账号1万余个,查明涉案金额60余万元,成功打掉利用App漏洞实施犯罪的黑客网络团伙。[2]

新形态二:AI自动生成违禁内容

人工智能自动生成违禁内容的技术基础主要依赖扩散模型和大语言模型,通过微调训练、提示词工程实现定向内容生成。其核心能力在于高拟真输出(如4K图像、带语音的深度伪造视频)和规避审查特性(如语义绕过、对抗性样本、分布式生成等)。该技术被广泛应用于非法领域:例如在淫秽物品制作中,犯罪团伙利用ControlNet插件控制人体姿态,配合Lora模型生成特定人物裸体影像;又如在伪造证件领域,AI可以精准合成防伪纹理;再如利用AI技术还可以催生虚假谣言、暴恐内容的规模化生成。

新形态三:AI驱动的算法操纵与欺诈

AI驱动的算法操纵与欺诈,其技术原理建立在机器学习与自动化系统的深度结合之上。其核心是通过训练AI模型模拟人类行为模式或者篡改数据输入,在数字环境中实施隐蔽欺诈。其技术基础包含三个层面:一是强化学习(RL)算法,使AI能够通过试错优化欺诈策略,如模拟用户点击路径规避风险;二是生成对抗网络(GAN),制造以假乱真的虚假数据,如伪造交易记录;三是自然语言处理(NLP),用于生成欺骗性文本,如伪造客服对话。

在表现形式上,AI驱动的算法操纵与欺诈主要体现为三大形态。一是行为模拟欺诈,即利用AI程序伪造真实用户操作,例如大量电商刷单案中,都使用AI程序自动完成“搜索-点击-付款-评价”全流程,伪造交易流水和优质评价。二是数据污染操纵,即利用AI向分析系统注入误导性数据,如证券领域利用AI生成虚假财报信号诱导股价波动。三是算法合谋垄断,即多个AI系统通过实时数据交换达成价格同盟,实现市场垄断地位。

AI驱动的算法操纵与欺诈已经渗透到多个关键经济场景的应用领域。例如在金融领域,生成式AI通过伪造虚假收入证明、资产证明等贷款申请文件,可以系统性绕过金融机构的初级风控审核,诱发精准化金融诈骗。此类诈骗不仅造成直接资金损失,更通过破坏信贷评估体系的可靠性,动摇金融市场稳定性的根基。又如在法律领域,滥用AI技术伪造证据材料可能会直接扭曲司法裁判的结果。此类行为不仅侵害个案正义,更将使司法系统的权威性从根本上崩塌。

新形态四:恶意数据“投毒”与模型破坏

恶意数据“投毒”与模型破坏本质上是通过对机器学习系统训练数据进行定向污染,诱导模型学习错误规律。训练数据对AI模型尤为重要,正是因为AI模型强烈依赖训练数据这一因素,导致在模型训练过程中训练数据质量好坏对模型性能有着深远影响。恶意数据“投毒”与模型破坏的技术原理就是建立在机器学习依赖数据驱动的特性之上,当攻击者向训练集注入精心设计的恶意样本,如篡改图像标签、插入错误特征的向量,模型在优化过程中会将这些“毒数据”内化为决策规则。简言之,数据投毒是指有意或恶意地向数据集中引入虚假、恶意或有害的数据,利用训练或者微调过程使得模型中毒,以操纵、损害或欺骗机器学习模型的性能和输出结果。[3]

此种类型常见的攻击方式主要有添加虚假数据、数据偏差、生成对抗性样本、数据污染、错误标记训练数据标签。其应用领域直指关键基础设施。例如在自动驾驶领域,通过路侧感知数据投毒,诱导车辆错误识别交通标志。近年来,全球范围内已经发生多起无人驾驶车祸事件,其中涉及到特斯拉、Uber、谷歌、福特等无人驾驶行业的头部企业。又如在金融风控领域,污染企业征信数据,可能使金融机构的贷款模型低估高风险客户,破坏金融市场的安全和秩序。恶意数据“投毒”与模型破坏的损害结果呈现高度隐蔽性和延迟性,遭受投毒数据的模型会导致系统安全防线瓦解,造成信任根据崩塌,且纠偏的成本畸高。

二、AI合理使用边界:常见风险场景及可能触犯的罪名与典型案例解析

AI技术的迅猛发展与广泛应用,正以前所未有的深度和广度重塑社会生产与生活方式,释放出巨大的创新动能与效率红利。然而,先进的技术犹如双刃剑,在赋能行业的同时,其潜在的滥用与误用也催生了新的风险场景,对法律秩序、公民权益乃至社会安全构成严重威胁和严峻挑战。囿于篇幅无法完全列举,本文仅讨论近年来常见的利用AI实施犯罪行为的常见类型。

场景一:运用AI技术大规模非法爬取或交易个人信息

实务中常见使用AI爬虫非法获取人脸、声纹等生物信息,或利用生成式AI合成他人信息进行贩卖。近年来“过脸”业务也频频发生。“过脸”业务就是将爬取到的人脸信息,通过AI技术生成模拟真人动态的视频。比如目前许多APP在人脸识别验证的环节中会要求“眨眨眼”“向左看”“向右看”“点点头”“张张嘴”等,这些都可以通过AI技术生成人脸动态视频的方式实现,只要视频中人脸的清晰度达到相应要求,系统就会判定为真人操作,从而顺利通过人脸验证环节。犯罪分子通过人脸验证后,进入他人微信、支付宝等APP账户,获取相关聊天记录、支付记录、行动轨迹等个人隐私和信息并继续向下家出售,或者进行其他违法犯罪活动。

【刑事法律风险】:该使用场景可能涉嫌《刑法》第二百五十三条之一规定的侵犯公民个人信息罪,AI换脸技术只是非法获取公民个人信息的一种手段和前端行为。

【典型案例】:2023年,广州互联网法院公布了一起伪造人脸识别认证买卖公民个人信息非法牟利的典型案例。涉案人员利用AI技术将人脸照片生成视频,伪造人脸识别认证,从而非法牟利。本案中,被告人郑某利用某即时通信软件组建群组,在该群组及微信群、QQ群中向不特定社会公众发布广告,称可提供所谓“查头”业务,即通过身份证号码查找个人高清身份证照片等个人信息。被告人任某、戴某、陈某通过郑某所组建的群组,以每张照片50至100元不等的价格先后向郑某购买公民个人信息,利用人工智能软件制作虚假人脸动态识别视频,可以完成点头、眨眼等动作,用于解封账号、验证一些App的实名认证,从中非法获利。经法院审理认定,涉案四人非法处理个人信息2000余条,违法所得10万余元,构成侵害公民个人信息罪,被判处有期徒刑一年二个月至一年不等,各并处罚金。[4]

实践中,侵犯公民个人信息通常是一个犯罪链条,包含以下三个关键环节:

一是信息非法获取。犯罪团伙利用黑客攻击、内部人员泄露、APP违规采集、欺骗或收买等手段,窃取各类个人信息。这些信息通常来源于即时通讯、邮件等应用的传输数据或者政务、商务、社交等平台的存储信息;甚至还有行业内部系统收集的数据以及公民个人持有的信息。

二是信息非法交易,被窃取的信息随即流向买卖中间商。这些中间商有的以“行业交流”为幌子组建群组,充当“查档”中介,按需倒卖信息;有的则搭建网络平台,专门倒卖微信、QQ、微博、小红书、抖音等各类账号,通过差价牟利。

三是信息下游滥用,这些非法获取的信息最终被用于下游犯罪。一方面,为网络水军、洗钱等犯罪提供银行卡、虚假身份等“物料”;另一方面,成为电信诈骗、敲诈勒索等犯罪精准定位受害者的“靶心”。总体而言,侵犯公民个人信息已成为众多网络犯罪的源头。

场景二:利用AI技术制作各种抢单软件

随着AI技术在自动化领域的深度应用,利用AI算法开发、销售抢单软件的行为已经从简单的效率工具演变为高技术含量的违法犯罪工具。此类软件一般是通过模拟用户操作、绕过平台安全机制、高频发送请求等技术手段,实现在电商、出行、票务等平台上的非法优先抢单。

【刑事法律风险】:此类软件已经远远超出技术中立范畴,其本质是通过非法技术手段侵入平台计算机信息系统,未经授权获取数据接口权限,破坏订单系统的正常运行逻辑,干扰平台正常的公平分配机制,将本应该开放给普通用户的订单定向劫持,最终实现非法控制平台资源的分配功能。使用软件者可能构成非法获取计算机信息系统数据罪,开发软件者可能构成,提供侵入、非法控制计算机信息系统程序、工具罪。

【典型案例】:2024年,上海市静安区人民法院审理一起制售网约车司机抢单软件的案件。被告人刘某根据客户提供的网约车账号、人脸验证样本视频、图片等素材,对手机进行刷机并安装相关“虚拟相机”的应用程序,后再结合AI换脸技术制作合成一段虚假动态验证视频上传,同时通过修改“虚拟相机”应用程序参数的方式,顺利将数据源更改为上述AI合成的验证视频。安装了“虚拟相机”程序的手机在遇到平台人脸识别时,摄像机就会自动调用后台预先合成的动态验证视频,实现无真人验证即可登录他人网约车账号,非法获取系统派单。经查,刘某陆续向他人有偿提供装有上述应用程序的手机11部,违法所得1万余元。法院认定刘某构成提供侵入、非法控制计算机信息系统程序、工具罪,判处其有期徒刑一年,缓刑一年,并处罚金5000元,没收违法所得及犯罪工具。[5]

场景三:利用AI技术实施新型网络攻击

在AI模型开发的数据预处理环节这一关键阶段,存在一种隐蔽而危害巨大的内部风险,即掌握数据访问权限或参与数据处理流程的公司内部员工或外包服务人员,可能利用职务之便,蓄意实施数据投毒攻击。具体的行为模式是,将精心设计的有毒数据混入训练数据集、恶意篡改数据标签以误导学习过程,甚至直接篡改原始训练数据的内容。

【刑事法律风险】:这些行为的核心目的已经不是简单的数据破坏,而是企图从根本上“劫持”或“控制”AI模型的内部运作机制,最终误导模型在运行阶段产生特定的、有害的输出结果,例如生成歧视性内容、泄露敏感信息、做出错误的关键决策等。

此类行为本质上是未经授权、通过技术手段对计算机信息系统,即AI模型及其训练环境的功能实施非法干预和操纵,已经明显超出了内部管理违规的范畴。其法益侵害性在于,从根源直接污染了模型的“智力”,将本应服务于社会的工具扭曲为潜在的、极具杀伤力的破坏性武器。

根据我国《刑法》第二百八十五条的规定,这种以控制模型输出为目的,对承载模型训练与运行的计算机信息系统实施非法侵入或操控的行为,极大可能会触犯“非法控制计算机信息系统罪”。

场景四:利用生成式AI技术批量生成淫秽物品

当前出现了一种利用AI技术制作非法内容的趋势:一方面,犯罪分子或恶意用户操纵 Stable Diffusion等扩散模型,输入特定提示词(Prompt)直接生成全新的淫秽图片或视频序列;另一方面,他们滥用基于深度学习的AI换脸(如 Deepfake)技术,将非法获取他人肖像数据精准地叠加、融合到现有的色情影像中,制作出以假乱真的、针对特定受害者的虚假色情视频或图片。这类技术生成的淫秽物品,因其逼真性和针对性,危害尤为严重。

【刑事法律风险】:可能涉嫌《刑法》分则第六章“妨害社会管理秩序罪”第九节“制作、贩卖、传播淫秽物品罪”。

【典型案例】:2023年11月,杭州市萧山区人民法院审理一起“AI换脸”案。从2021年6月开始,虞某以牟利为目的,在未取得被编辑人同意的情况下,利用“AI换脸”软件,将从互联网等渠道收集到的他人人脸信息与部分淫秽视频中的人脸信息进行替换合成,制作生成虚假的换脸视频,在网络社交软件上进行传播。与此同时,虞某还在社交软件上创建了多个群组为他人提供换脸视频定制服务,根据客户提供的视频或照片,制作换脸视频。此外,虞某在网络社交软件上销售“AI换脸”软件、提供换脸素材并传授使用教程。杭州市萧山区人民法院判决被告人虞某犯制作、传播淫秽物品牟利罪,判处有期徒刑七年三个月,并处罚金6万元。[6]

不仅如此,杭州市萧山区人民检察院认为:虞某作为“AI换脸”技术的使用者,不仅在互联网公共空间非法获取众多人脸信息,利用深度合成技术非法处理后,制作淫秽视频在超过2000人的网络社交软件群组中进行传播,违反了法律法规和社会公德,侵害了公共信息安全,破坏社会公共秩序,还在明知他人可能将“AI换脸”软件用于侵犯个人信息等不正当目的的情况下,向他人销售“AI换脸”软件、提供换脸素材并传授使用教程,传播侵犯公民个人信息的方法和手段,使得更多不特定主体个人信息被侵害的社会危险性进一步扩大。因此有必要提起民事公益诉讼。

场景五:滥用AI技术实施诈骗类犯罪

利用AI实施诈骗类犯罪的行为类型有很多,例如使用深度伪造(Deepfake)技术冒充他人身份,以人脸识别方式登录各类APP,或者直接冒充他人进行诈骗。当AI技术应用于电信网络诈骗场景中,其社会危害性将呈现指数级增长。

【刑事法律风险】:此种情形可能涉嫌《刑法》第二百六十六条规定的诈骗罪。

【典型案例】:最高检2023年发布的检察机关依法惩治电信网络诈骗及其关联犯罪典型案例中,有诈骗团伙利用AI技术实施电信网络诈骗。案情显示,2018年7月,李某成立声通公司,帮助诈骗团伙做网络贷款推广。李某按照诈骗团伙要求编写自动应答话术并录入应答语音,根据诈骗团伙提供的电话号码筛选有贷款、买房、教育需求的对象,从江苏A科技公司、济南B科技公司购买计费网络电话通话线路并充值话费后,利用AI语音机器人自动拨打电话形成语音和文本通话记录。诈骗团伙通过分析通话情况确定贷款意向强弱等级,并按照精心策划的自动应答话术套路,添加贷款意愿强的被害人联系方式,向他们推送诈骗团伙专门制作的虚假贷款APP。在申请贷款的过程中,APP会自动推送“办理会员”“缴纳解冻银行账户费用”“验证还款能力”等链接,被害人点击链接支付上述费用即被骗。经查,共有1437名被害人被骗取3586万余元。最终,法院判决李某构成诈骗罪、侵犯公民个人信息罪,数罪并罚决定执行有期徒刑十七年。[7]

场景六:滥用AI技术侵犯知识产权

实务中,滥用AI技术侵犯知识产权的犯罪行为类型主要有以下几种:一是利用生成式AI模型大规模剽窃并重组受到版权保护的文本、图像、音频和视频等内容,通过输入特殊指令,由AI自动输出实质相似的侵权作品,或者直接在原作品上进行微调后用于商业用途牟利。二是通过算法爬虫非法抓取商业秘密数据库、专利技术文档等敏感信息,利用自然语言处理技术提炼核心数据用于仿制竞品。三是训练AI 模型直接破解技术保护措施,实现盗版影视资源的自动解密与传播。

【刑事法律风险】:当利用AI对他人作品进行微调、大规模剽窃重组受到版权保护的作品,或者开发者故意训练AI突破版权保护技术,可能涉嫌《刑法》第二百一十七条侵犯著作权罪。若利用AI窃取商业秘密,根据2025年4月26日最新实施的《最高人民法院、最高人民检察院关于办理侵犯知识产权刑事案件适用法律若干问题的解释》,造成权利人经济损失或者违法所得30万元以上的,即符合《刑法》第二百一十九条侵犯商业秘密罪入罪标准。明知AI工具将用于违法犯罪仍提供技术支持的,根据《最高人民法院、最高人民检察院关于办理侵犯知识产权刑事案件适用法律若干问题的解释》第二十二条的规定,可能构成侵犯著作权犯罪的共犯。

【典型案例】:2025年6月13日,北京首例利用AI生成模型侵犯著作权的刑事保护案件宣判。北京市通州区人民检察院指控罗某某、姚某某等4人利用AI软件篡改网络原创作品,制成拼图销售3000余件、牟利27万余元。通州区人民法院以侵犯著作权罪判处多名被告人有期徒刑1年6个月至缓刑,并处罚金,涉案的福州市某电子商务有限公司被判处罚金10万元。[8]

场景七:利用AI生成虚假信息

利用人工智能技术生成并传播虚假信息已形成工业化黑产链条,其行为模式表现为:犯罪团伙通过微调大型语言模型(如GPT、Claude)或视觉生成模型(如Stable Diffusion、Sora),定向输出符合特定政治立场、商业诽谤或社会恐慌需求的虚假内容。例如伪造政府公文、生成明星丑闻图文、捏造上市公司财务造假报告,甚至批量生成“亲历者视角”的灾难事故视频。

【刑事法律风险】:上述行为根据虚假信息的不同类型可能触犯不同罪名。

如虚假信息涉及危害社会秩序,如伪造政策性文件,行为人明知可能引发社会动荡仍扩散,严重扰乱社会秩序的,可能涉嫌《刑法》第二百九十一条之一规定的“编造、故意传播虚假信息罪”。

如虚假信息涉及个人名誉的,可能涉嫌《刑法》第二百四十六条规定的“诽谤罪”。

如长期以利用AI洗稿生成虚假信息为主营业务的,可能构成《刑法》第二百二十五条规定的非法经营罪。

2025年初,中央网信办公布了2025年“清朗”系列专项行动整治重点,包括整治“自媒体”发布不实信息、整治AI技术滥用乱象、整治涉企网络“黑嘴”、整治恶意挑动负面情绪等八大重点,传递出2025年继续保持利剑高悬,严厉惩治各类造谣传谣的决心。

【典型案例1】:2024年,上海市宝山区人民法院审理一起上海“骨灰房”AI洗稿造谣案。2023年6月,徐某、罗某等人合伙买下一家信息科技公司,前期从事电商经营、视频剪辑等业务,但从2024年1月起,因收益低开始涉足自媒体运营。他们以“自媒体创业学习”为幌子招募学员,让学员注册网络平台账号,然后从网上截取热点文章,利用AI软件洗稿生成伪原创文章,自动分发到学员账户草稿箱,学员发布后根据平台点击量获取佣金,公司与学员“五五分成”。该团伙成员表示,他们并不会辨别文章真伪,只是为了博眼球获取流量变现。比如在“骨灰房”谣言发布时,正值清明节前后,热点相关文章较多,他们便截取后洗稿发布。截至案发,他们通过该手段在1100多个自媒体账户发布近10万篇虚假文章,非法获利人民币5万余元。最终法院认定构成非法经营罪,判处多名被告人有期徒刑一年十个月至缓刑。[9]

【典型案例2】:2023年5月以来,陈某宇在网上购买多个某网络平台账号供公司内部工作人员王某滕、徐某等人(均另案处理)使用,上述人员随意选取网络热点,复制热点新闻的标题、关键词并输入某软件中由AI自动生成文案,后将该文案放入某创作软件中自动生成AI视频,并将合成的视频、图文集1万余条发布至某网络平台上供人浏览。经查,该公司共发布虚假造谣视频20余条,累计阅读观看量超过167万次。其中部分内容造成恶劣社会影响。最终,法院以编造、故意传播虚假信息罪分别判处被告人张某伟、陈某宇有期徒刑一年一个月,缓刑一年六个月。[10]

三、利用AI实施犯罪行为的司法认定难点

AI技术的广泛运用引发犯罪行为的新形态、新手段,给司法机关认定犯罪带来了多重结构性困境,这些难点相互交织,共同对传统刑事法律框架体系提出深刻调整。

(一)技术中立抗辩在AI场景的特殊性

新技术的产生和运用是把双刃剑,用之为善可以造福社会,不当滥用则会造成社会风险和损害。例如自然语言处理技术可助力智能客服提升服务效率,却也能被用于生成虚假信息、编写诈骗话术。在利用AI实施犯罪行为的场景下,行为人通常会以“算法自主决策”“工具无主观故意”为由进行抗辩,声称其开发的技术或软件具有合法用途,无法预见用户利用AI具体生成的内容以及后续的实际用途。这便是典型技术中立抗辩。

技术中立抗辩在AI场景中的司法穿透难题首当其冲。技术中立原则是指技术本身是中立的,不应因为技术的应用而导致法律责任的产生。当AI技术被明显用于违法犯罪活动时,简单以技术中立抗辩是否合理,成为司法认定中的难题。若过度强调技术中立,可能使犯罪分子借助这一原则逃避法律制裁;若忽视技术中立原则,又可能抑制技术创新和正常应用。如何平衡保障技术发展与打击犯罪的现实需求,准确判断技术开发者或提供者在何种情况下需对技术被滥用承担责任,是司法实践面临的挑战。

在生成式AI场景中,如利用Deepfake进行诈骗,利用Stable Diffusion生成侵犯著作权的产品,需要精准区分工具开发的技术中立性与应用场景的非法主导性。例如某AI换脸软件开发者辩称“用户自行选择内容”,但司法实践通过调取其内置的“涉黄关键词响应优化模块”代码及营销话术(诸如“完美规避平台审核”),证明其技术设计实质服务于犯罪场景,从而击穿中立抗辩。

(二)多层级AI系统导致刑法因果关系断裂

AI系统颇具复杂性与自主性,其运行依托复杂算法和海量数据,其决策过程和输出结果通知受到多种因素影响,甚至可能超出人类直接控制。且AI犯罪通常呈现人机混合决策特征,从数据投毒导致模型偏见(上游),到算法生成虚假信息(中游),再到社交机器人扩散引发现实危害(下游),责任主体被技术黑箱割裂。

例如在自动驾驶汽车发生交通事故致人伤亡案例中,若事故由 AI 算法缺陷导致,确定因果关系需考量诸多方面:算法开发者对算法设计是否存在过错,数据提供者提供的数据是否准确、完整,汽车制造商在将 AI系统集成到汽车时是否进行了充分测试和安全评估,以及驾驶者在特定情况下是否正确操作或干预等。传统刑法理论要求“行为-结果”之间的直接因果链条,但这些因素相互交织,使得判断哪一环节的行为与事故损害结果之间存在直接、必然的因果关系变得困难。

又如在利用AI进行网络诈骗案件中,犯罪团伙利用生成式对抗网络(GAN)生成虚假营业执照,通过“AI换脸”技术获取海量个人信息,再通过AI客服群发钓鱼链接,最终导致被害人转账。该司法认定过程中需要运用相当因果关系理论,论证“算法欺诈与处置财产、财产损失”之间具备刑法上的相当因果关系,并通过技术鉴定意见重建“数据污染→模型输出欺诈内容→被害人错误认知→被害人处置财产→被害人遭受财产损失”之间的逻辑链路,该过程依赖跨学科专家协同。

(三)主观故意在AI场景中的证明困境

刑事案件中判断主观责任(故意与过失)一直是一个司法认定的难题,在犯罪过程中叠加了AI技术,使得这一判定过程难上加难。一方面,技术黑箱导致、深度神经网络的不可解释性导致的认知隔阂使得主观故意的认定愈发困难,开发者可辩称“无法预见用户利用AI模型及其生成的内容进行犯罪”。另一方面,黑产利用技术代理层,如AutoGPT自动执行犯罪指令,导致主观故意的证明面临断裂。

司法实践中可以关注以下几个方面:一是审查技术功能可责性,即通过源代码分析确认技术是否具备核心非法功能。二是评估使用场景的必然性,即犯罪工具是否仅在违法犯罪场所中具有价值,如专门针对某政务系统的抢票脚本,则可推定主观明知。三是通过客观行为推定主观心态,例如某虚拟货币诈骗案中,行为人多次调整AI话术模板以提高受害人转化率,被认定为“积极追求犯罪结果”。

(四)AI场景下证据收集与审查的客观障碍

AI犯罪证据具有独特性,证据收集与审查的科技鸿沟是程序法和证据法规则面临的根本挑战。传统电子证据规则难以应对动态模型参数(如投毒后自动更新的权重文件)、分布式训练数据(跨境服务器碎片化存储)、瞬时性指令(区块链加密的AI控制命令)等新型证据形式。

首先,在证据收集方面,AI 犯罪多发生在虚拟网络空间,证据形式多为电子数据,具有易篡改、易删除、存储分散等特点。犯罪分子利用 AI 实施犯罪后,可能迅速删除相关聊天记录、程序代码等电子数据。同时,AI 系统的大量数据存储在不同服务器甚至分布式节点中,收集完整证据难度极大。

其次,在证据的审查认定环节,AI 生成的证据其真实性、合法性和关联性认定困难。AI系统的“黑箱效应”,导致其决策过程难以完全解释,难以确定其是否经过篡改、生成过程是否符合法律规定,以及某一AI生成的数据是否与犯罪事实之间有刑法上的因果关系。

上述难点揭示司法现代化迫在眉睫:需构建“技术-法律”双轨审查框架,重视实体法和程序法的双重审查,既要在实体法上发展“功能主导型”归责理论,以技术设计的犯罪导向性替代主观故意机械判断;又要在程序法上确立 AI证据三阶认证标准,即数据完整性→算法可靠性→结论可解释性,方能应对AI犯罪的结构性挑战。

结语

AI的进化不会停歇,犯罪手段的“魔高一尺”呼唤法律与治理的“道高一丈”。从深度伪造的欺诈阴影到数据投毒的隐秘威胁,我们面临的不仅是对传统刑法框架的挑战,更是对法律人智慧与技术伦理的深度拷问。在算法与法律的交汇处,我们当以审慎而坚定的步伐,让人工智能的星河永远运行在人类文明的轨道之上。唯有平衡创新激励与风险防控,方能让技术之光真正照亮而非灼伤我们的未来。

作者简介


刘平 合伙人
竞天公诚律师事务所
liu.ping@jingtian.com

深圳办公室
业务领域:刑事辩护
刘律师专门从事刑事辩护、刑事控告、反舞弊反贿赂调查等业务,以办理职务犯罪案件、经济犯罪案件、金融证券期货犯罪案件、互联网犯罪案件等刑事案件为主。刘律师曾经入选2025 Benchmark Litigation中国排名榜单政府与监管“争议解决之星”、LEGALBAND 2025中国顶级律师排行榜、2024年度亚洲法律杂志ALB CHINA华南地区客户首选律师、2024年度Benchmark Litigation 白领犯罪“争议解决之星”、2023年度LegalOne实力之星(Stellar Accolade)、2022年度LEGALBAND中国律师特别推荐榜15强:商业犯罪与刑事合规”;并曾荣获过中国法学会案例法研究会、中国政法大学刑事辩护研究中心授予的“2017年度刑事辩护杰出成就奖”、“2017年度十大无罪辩护经典案例”。
 


宋璇 律师
竞天公诚律师事务所
song.xuan@jingtian.com
深圳办公室
业务领域:刑事辩护、公司刑事风险防范、反舞弊调查
宋璇律师毕业于西南政法大学法学专业和中国政法大学刑法学专业,同时通过证券从业资格考试和基金从业资格考试。自执业以来,她专注于刑事辩护、公司刑事风险防范和反舞弊调查业务,以办理重大经济犯罪案件、金融证券期货违法犯罪案件、职务犯罪案件、互联网犯罪案件、刑事申诉再审案件等刑事辩护案件,以及刑事风险防范、公司反舞弊、反贿赂合规体系等刑事法律服务为主要业务方向。

********************
[1] https://www.szw.org.cn/20240301/65206.html

[2] https://www.mps.gov.cn/n2254536/n2254544/n2254552/n9309244/n9309283/c9312129/content.html

[3] https://finance.sina.com.cn/wm/2023-11-02/doc-imztfxme0495360.shtml

[4] https://m.guancha.cn/politics/2023_12_15_719119.shtml

[5] https://mp.weixin.qq.com/s/f7oT8JIeMrc015TtD5NZQQ

[6] https://m.gmw.cn/2024-03/24/content_1303694276.htm

[7] https://www.bjnews.com.cn/detail/1701350325168208.html

[8] https://www.spp.gov.cn/zdgz/202506/t20250617_698492.shtml

[9] https://huacheng.gz-cmc.com/pages/2025/01/24/a66c859d09a1471994aa5adcb6b8a4af.html

[10] https://m.thepaper.cn/baijiahao_30211069

请先同意《服务条款》和《隐私政策》