今年4月,一起诈骗金额高达430万的AI诈骗案件引起了人们的广泛关注。骗子佯装被害人好友,通过视频电话联系其称“竞标需要保证金”。出于对好友的信任且已经“通过视频聊天核实了身份”,被害人10分钟内被骗走了430万元!
眼见不一定为实。现在的人工智能(AI)技术已经能够合成身边熟人的脸和声音,给你打视频电话借钱。据湖北网警巡查执法消息,AI技术彻底升级了诈骗方式,使诈骗成功率趋近100%。
AI换脸与深度伪造


图片来源:www.techtarget.com
AI换脸依托深度伪造技术(Deepfake)。Deepfake由Deep Learning(深度学习)和Fake(伪造)两个单词组成,通过生成式对抗网络(GAN)、卷积神经网络(CNN)以及自动变分解码器(VAE)等生成模型,生成伪造文本、图片、音频,甚至即时视频等信息。
AI换脸技术核心是生成式对抗网络(GAN)。GAN由生成器模型和判别器模型两部分组成。生成器的任务是生成一张与原始图像相似的图像,判别器的任务则是判断图像是否真实。在训练过程中,生成器和判别器相互博弈。生成器试图生成更加真实的假图像,而判别器则试图识别出假图像并阻止它们传播。最终,这种博弈将达到平衡,生成器和判别器的能力都将趋于最佳。
Deepfake技术已经日臻成熟,在影视作品、社交娱乐等领域的商业应用也更加多元。现在,对视频剪辑一窍不通的外行,只需一个GPU和一些训练数据,就能制作出效果逼真的换脸视频。
AI换脸作为新兴科技,如能在情感分析、医学影像分析等方向发挥作用,可为社会带来更多便利。此外,若其能在影视作品中大展身手,在短视频领域为公众增添乐趣,亦是良性发展。
但这以假乱真的技术让人不得不重视其带来的法律、伦理以及安全风险。美国法律学者Bobby Chesney和Danielle Citron总结了深度伪造技术对美国社会可能造成的威胁,包括扭曲民主话语、加剧社会分裂、操纵政府选举、削弱机构权威、破坏公共安全以及损害个人声誉等。
技术反制和法律规制
为对抗深度伪造技术的恶意滥用,各国政府及学界致力于探索深度伪造检测及溯源技术,同时也制定了相关法律法规。
1
技术反制
2020年,微软公司发布了微软视频认证器。该工具可以分析照片或视频的真实度,并给出可信度评分。微软表示,该探测器可以探测到人眼无法看到的灰度元素和微小细节。
2022年11月,英特尔公司公布全球首个实时Deepfake检测工具——FakeCatcher人工智能模型。该模型可以通过检测人物的面部血管来判断是否存在换脸行为,整个分析过程仅需几毫秒,准确率达96%。
2023年4月,日本IT巨头CyberAgent公司开始引入深度伪造技术检测系统。该检测系统由日本国立信息学研究所的研究小组开发而成,能准确识别人眼难以辨别的深度伪造图片或视频,同时还会对伪造作品的创作者发出警告,要求其将作品从互联网上删除。
2
法律法规
欧盟
2018年5月,欧盟正式实施《通用数据保护条例(GDPR)》,把个人数据置于现行欧盟法律保护之下。
2018年9月,欧盟发布其历史上首份《反虚假信息行为准则》,旨在加强互联网企业对平台内容的自我审查,从源头打击网络虚假内容。
2023年6月,欧洲议会通过了《人工智能法案》谈判授权草案,意在确保在欧洲开发和使用的人工智能完全符合欧盟价值观,契合欧盟利益。
新加坡
2019年5月,新加坡议会通过了《防止网络虚假信息和网络操纵法案》。法案规定,政府有权要求个人或网络平台更正或撤下对公共利益造成负面影响的虚假伪造内容。
美国
2019年6月,美国两党议员提出《2019年深度伪造报告法案》,明确“数字内容伪造”的定义,并要求国土安全部门对不断泛滥的深度伪造技术开展前瞻性研究。同时,该法案要求深度伪造视频必须标注“不可删除的数字水印及文本描述”,以说明该媒体文件是AI生成的。
中国
2022年,国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》,该规定对我国深度合成服务进行了全方位的梳理及规范,2023年1月10日起已正式施行。
·END·
作者:查泽涵、李嘉鋆
编辑:薛冯旭
编撰:同济大学国家创新发展研究院
监制:同济大学政治与国际关系学院、同济大学外国语学院
监审:同济大学网络空间国际治理研究基地