图灵奖得主杨立昆（Yann LeCun）说：“让AI向善发展的关键是开源。”

(资料图片仅供参考)

香港中文大学汤晓鸥说：“机器怎么可能超越那么有趣的灵魂。”

在7月6日开幕的世界人工智能大会中，多方专家热议AI。

在2023全球数字经济大会上，多款生成式AI产品亮相，AI音乐、AI照片玩法、AI明星带货……AI已经能够实现语音、图片、视频的深度合成。但是，AI深度合成也被用在了非法领域。近日，各地曝出多起AI诈骗案件，一些不法分子利用AI深度伪造冒充领导干部行骗。

AI深度合成是利用AI生成多媒体内容的技术，它并不是一项新鲜的技术。自2017年代码开源以来，相关应用如雨后春笋般涌现。

那么，AI深度合成的技术原理是什么？“换脸版”影视剧等相关行为违法吗？晃晃手指、说几句方言就能识别AI换脸诈骗吗？技术上如何对其进行防范？针对这些问题，《人民邮电》报记者联系了法律界、学界、业界专家进行解答。

我只是和明星换脸娱乐一下，犯什么法了？

AI换脸娱乐玩法大家一定不陌生。在图片生成应用中，用户能够通过上传自己照片的方式获得不同风格、不同种类的图片。这是最基本的AI换脸应用。在手机应用商店搜索“AI换脸”可以发现不少相关软件，其中FacePlay在苹果应用商店的下载量已达24万。

记者在短视频平台上体验了与明星换脸，上传一张照片即可快速替换明星脸，在“剧中”疯狂飙戏。

在社交平台上的“换脸版”影视剧动辄就有百万的播放量，使用开源工具进行AI换脸的教程也同样火爆。那么，我换了明星脸，发了个短视频，这犯法吗？我用开源工具训练出合成模型这也犯法吗？

上海大邦律师事务所游云庭律师对《人民邮电》报记者解释，对上传者来说，未经授权在平台上使用明星的肖像和声音，涉及侵害明星的人格权。对平台来说，平台需要对AI生成的内容做显著标识。《民法典》为网络平台设置了“通知—删除”义务，规定网络用户利用网络服务实施侵权行为的，权利人有权通知网络服务提供者采取删除、屏蔽、断开链接等必要措施，平台及时删除侵权内容的，可以免责。但若平台知晓并参与了AI换脸玩法（比如存在推荐行为），且未经明星授权的，也可能被追究责任。

游云庭进一步补充，如果上传者使用他人的肖像进行合成，涉及侵害他人的人格权，“换脸版”影视作品构成对该影视作品著作权的侵犯。

针对AI换脸诈骗，游云庭提到，《民法典》和《刑法》中都对该行为有相关规定。提取他人肖像和语音数据、训练伪造模型、编写诈骗脚本等分别涉及侵犯公民人格权的民事权利以及《刑法》中的帮信罪等。

我国在《民法典》《生成式人工智能服务管理办法（征求意见稿）》《互联网信息服务深度合成管理规定》等法律法规中已经对AI深度合成不得侵害肖像权、名誉权、知识产权等内容有所规定。

近日，中央网信办决定开展为期两个月的“清朗·2023年暑期未成年人网络环境整治”专项行动，将对网络欺凌、利用AI换脸等技术生成涉未成年人低俗色情图片视频等情况进行处置处罚。

目前已有相关案例出现。今年1月，上海市金山区人民法院审结一起AI换脸APP违法使用他人视频的肖像权纠纷案件，判决运营公司赔礼道歉并赔偿损失。能够预见，AI深度合成将在法律规定的范围内合法运行。

怎样把我的脸换成迪丽热巴的？

AI换脸背后是怎样的技术原理，经历了怎样的发展过程？

安全通用人工智能基础设施提供商瑞莱智慧（RealAI）高级产品经理张天奕对《人民邮电》报记者表示，AI深度合成目前最主要使用的技术还是生成式对抗网络（GAN），它将数据生成的逼真度推到一个新的高度，大大降低了深度合成的门槛。其生成过程简单来说就是，把A和B的人脸信息通过编码器和解码器在数字世界相互转换。

2014年，lan Goodfellow及其同事发明了生成式对抗网络（GAN），其中的生成器负责伪造图像，判别器负责鉴别图像，二者相互监督不断进步，AI伪造能力日渐强大，生成的图像越来越真实，GAN也衍生出越来越多的变体。

2017年，国外Reddit平台上名为Deepfake的用户将AI伪造图像代码开源并应用在色情产业中，自此，AI深度伪造进入大众视野并引发追捧，越来越多的换脸应用和网站出现，其应用范围也从色情产业扩展到政治演讲等，2018年“AI奥巴马”怒怼特朗普“笨蛋”“蠢货”的视频火爆全网。此后，Deepfake也逐渐成为基于深度学习的多媒体合成与篡改技术的代名词。

在国内，2019年，一款名为“ZAO”的换脸应用一时间登上榜首，但该应用“昙花一现”，上线不久后因数据安全和用户隐私问题被工信部要求整改。

如今，在社交平台上可以见到相关技术被大量应用在影视制作、广告营销、电子商务、社交娱乐等场景中。随着技术的开放开源、深度合成产品和服务的增多，深度合成内容制作的技术门槛越来越低，技术逐步“平民化”。无论是在国内还是国外，通过深度合成技术生成视频、图像、音频等内容，数量呈指数级增长，生成质量也越来越高。

镜头前晃一下手指，说几句方言，就能识别吗？

如今，AI深度合成已经可以实现一键换脸、一秒即得。对于AI换脸诈骗，用户可以从眨眼、纹理特征、五官位置、面部轮廓变化、视频连贯性、人物的面部表情与动作、声音等特征进行判别。但是，不断升级的技术已经可以弥补视觉伪影等各类图像失真。

中国信息通信研究院相关负责人表示，当前人工智能“辅助”诈骗存在四大趋势。随着人工智能技术的普及应用，不法分子实施诈骗的精准性、迷惑性、隐蔽性增强，公安、检察等政法机关办案将面临侦查破案难、电子证据调取难、认定处理难等现实困难。

专家提到，“让对方大幅度晃动”“说方言”难不倒高水平不法分子，目前方言合成方法和工具也非常丰富，音色稳定、自然度也很高。专家认为，随着深度伪造内容越来越逼真且多元，人眼和技术鉴别难度都非常高，并且在逐步提升。

对此，专家提示，用户可以追问几个只有你与好友之间才知道的私密信息，来核实对方身份。在防止自己上当受骗的同时，还要注意保护好个人图像，尽量避免在公开平台大量晒自己的照片和视频，不给不法分子提供便利。“深度伪造制作的原材料是个人音频、图片、视频，这些数据越多，训练出的视频也就越逼真、越难以鉴别。”

张天奕向《人民邮电》报记者介绍，目前技术上的鉴别方法主要是，通过真实数据和伪造数据之间的特征差异进行伪造鉴别，如频域信息、伪造痕迹、生物和物理特征等。

除此之外，通过“数字水印”的鉴别方式也较为有效。《生成式人工智能服务管理办法（征求意见稿）》中提到，利用生成式人工智能产品向公众提供服务前，应当履行算法备案和变更、注销备案手续。《互联网信息服务深度合成管理规定》中规定，应当采取技术措施添加不影响用户使用的标识，并依照法律、行政法规和国家有关规定保存日志信息。

微软首席技术官凯文·斯科特在近日接受采访时表示，微软3年来一直在研究“媒体来源系统”——在AI生成的内容里放置加密水印，可以使用软件解密水印以获取来源信息，以检测虚假信息。

张天奕提到，瑞莱智慧（RealAI）发布了生成式人工智能内容检测平台DeepReal，依托第三代人工智能技术，通过辨识伪造内容和真实内容的表征差异性、挖掘不同生成途径的合成内容一致性特征，能够快速、精准地对图像、视频、音频、文本内容进行合成鉴别，有效打击财产诈骗、色情黑产、虚假宣传、证据造假等违法行为。

深度合成和检测在不断学习攻防过程中会自我进化，规避上一代的对抗技术，加上基于深度神经网络的检测算法存在结构性缺陷等，反深伪检测技术也面临“强对抗性”，这类似于“猫鼠游戏”。未来反深伪检测技术的发展需融合多模态内容的取证分析、基于数字水印的溯源技术等多方面能力，实现伪造内容的精准识别，打造可信内容体系。

瑞莱智慧（RealAI）高级产品经理张旭东建议，对涉及政务、安防、金融、消费等重要应用的人脸识别技术漏洞进行完善和升级，防范不法分子通过后台劫持手机摄像头权限。“尤其是涉众、涉密、涉及公共利益的相关平台和技术服务提供商，需优先完成技术加固，对手机模拟器做好防范。同时，鼓励和引导更多手机厂商在系统升级时支持3D人脸识别技术。”张旭东说。

（实习生谭心琪对本文亦有贡献）

DeepReal平台

（图片来源：王怡、杨洪辰《一种AI换脸方法生成的伪造视频分析》）