“声音是我妈的，我不可能听错。号码是我妈的，我不可能看错。”报警后，他才从警方那里得知，这是一种新型的诈骗方式，诈骗团伙利用技术合成了母亲的声音，又使用技术复制了一串和母亲号码完全一样的虚拟号码打来电话。

2023年6月2日，互联网上售卖的AI换脸软件页面。图/IC photo

文丨新京报记者 汪畅

实习生丨邹冰倩

编辑丨陈晓舒

校对丨贾宁

►本文7449字 阅读13分钟

视频里那张脸正对着镜头，几乎不动，脸上的表情和平常没什么不一样。

7秒视频通话后，济南人方杨宥就给对方指定账户转了30万。等到报了警，他才知道，原来视频里那张熟悉的脸是“假”的，屏幕另一端根本不是自己的亲戚，而是诈骗人员利用AI技术合成的影像视频。

这桩发生在今年5月的AI诈骗事件，并非孤例。山东省商河县公安局刑警大队中队长张振华向新京报记者介绍，随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频进行诈骗、诽谤的违法行为日益增多。此前，已有哈尔滨、福州等多地警方通报过有关AI换脸的诈骗事件。

北京市社会科学院法治研究所副所长、副研究员王洁长期从事反电诈研究，他认为，步入人工智能时代，人脸和声音已经成为一种亟须保护的信息。然而当下随着AI技术发展，利用AI换脸技术进行诈骗、造谣、侵犯肖像权或知识产权的行为屡屡发生，这意味着技术正被滥用，人脸这一重要信息极易“丢失”。

AI实时换脸技术发展的同时，也在迅速“平民化”。新京报记者调查发现，AI实时换脸技术在多个平台以百元左右的价格售卖，其中一位商家表示，368元便能购买其自己研发的实时换脸程序，50年内可以无限次使用。可观的利益驱动着AI灰色市场的发展，有商家自称月收入高达20万元，他宣称自己什么视频都能做，任意将一张脸换至色情视频里，也仅需150元一分钟。

“我们的未来一定是会和AI共存共生长的”，王洁说，这意味着人类也将和AI相关的侵权事件共生共存。如何让技术向善发展，成为当下一个非常重要的问题。

AI骗局

视频连线只持续了7秒，看着屏幕里那张熟悉的脸，听着手机传出熟悉的声音，方杨宥相信了这个刚刚添加自己为好友的新账号所说的——他确实是自己的亲戚，30万元就这样转账到了对方提供的银行账户上。

“结果一切都是假的。”2023年6月底，商河县公安局刑警大队中队长张振华向新京报记者介绍了这个案子，“这就是近期流行的‘AI诈骗’，一种利用智能AI技术实施诈骗的诈骗手段。”

事情发生在今年5月29日。济南人方杨宥在家刷短视频时，突然收到一条陌生人发来的消息。对方自称是方杨宥的亲戚，他发来一串新的QQ号，希望方杨宥添加。刚一加上好友，对方就给方杨宥拨来视频电话，7秒的视频连线有些卡顿，但那张熟悉的脸和那个熟悉的声音，让方杨宥相信确实这就是自己的“大哥”。

没说几句话，对方就以网络质量不好为由，将视频挂断。在随后的文字聊天中，这位“大哥”称自己急需转一笔钱，但没法直接打款，想要先转账给方杨宥，然后拜托他帮忙转到指定的银行卡里去。

“那边急用，你现在马上安排过去。”两张成功转账的截图是发来了，可方杨宥一直没收到这笔款项。“大哥”将原因“甩锅”给银行，“那应该就是24小时到了，银行的信息不会错。”以着急用钱为由，“大哥”反复催促方杨宥先行垫付。

经不住一再催促，方杨宥向其指定账户转账了30万元。没过多久，对方又让方杨宥再转35万元。这时，方杨宥猛然想起曾经看过的反诈宣传，赶紧打电话给自己的亲戚，这才知道，一切都是假的。

济南人方杨宥遭遇的AI诈骗，7秒视频后，他给对方指定账户转账30万元。来源：“济南公安”微信公众号

当晚，方杨宥便报了案。根据转账卡号的流水，张振华和同事们发现该银行卡在广东的一家金店有过消费。次日，商河刑警便奔赴广东东莞，抓获了犯罪嫌疑人谢某等三人。之后，又有三名犯罪嫌疑人被警方抓获。

在后续的调查中，警方发现，这起AI诈骗真正的源头在缅北。境内的这伙人，是一个专门帮助境外诈骗分子进行洗钱的犯罪团队，他们分工明晰，买金、打款、对接上线等都由不同的人操作。目前他们因涉嫌帮信罪，正在接受后续调查。

事实上，利用AI技术进行诈骗的案例已在全国多地发生。王洁第一次知道AI诈骗，是在2019年，当时一位留学生看到诈骗人员利用技术合成其父母的视频之后，便信以为真。此前，已经有哈尔滨、福州等多地网警通报过有关AI换脸的诈骗事件，他们的手段并非完全相同。

5月20日，包头市公安局的官方微信公众号“平安包头”发文称，今年4月，因犯罪团伙使用AI换脸技术，通过视频聊天的形式获取了受害者的信任，使其在10分钟内给骗子的指定账户打去430万元。受害者报案后，包头市警银联动，成功紧急止付涉嫌电信诈骗资金330多万元。

6月15日，“大连市银行业协会”的官方微信公众号也发文称，诈骗人员获取了一位男士的身份证影像信息后，通过AI技术手段合成了短视频，并使用该视频成功应对了银行大额资金转账时的人脸识别验证，将其卡中的定期存款销户，随后转出部分资金。好在这位男士对银行非柜面渠道设置了日累计交易限额，超限额部分资金无法实时转出，有效避免了部分资金损失。

也有诈骗人员盯上的是“声音”。

2022年，律师马俊哲在短视频里自曝被电信诈骗3万元的经历。骗子使用AI技术，合成了马俊哲母亲的声音，假冒其母亲的身份给他打去电话，称其父亲因出车祸而骨折，急需3万元的医药费，希望马俊哲将钱打入她朋友的账户。

就在转钱的那一刻，马俊哲发现这个银行卡归属地并非父母的所在地，马俊哲立刻回拨了母亲打来的这串电话，经过母亲确认之后，马俊哲又给父亲打了个电话，但是父亲电话打不通。他以为父亲正在做检查，便直接将钱打了过去。

可次日马俊哲再次给母亲打电话时，母亲却说没有这一回事。马俊哲百思不得其解，“声音是我妈的，我不可能听错。号码是我妈的，我不可能看错。”报警后，他才从警方那里得知，这是一种新型的诈骗方式，诈骗团伙利用技术合成了母亲的声音，又使用技术复制了一串和母亲号码完全一样的虚拟号码打来电话，并使用技术手段在行骗期间将亲属号码屏蔽，让他们切断联系，从而增加骗钱的可信度。

方杨宥报案后，商河刑警奔赴广东，将涉嫌帮信罪嫌疑人谢某等3人抓获。来源：“济南公安”微信公众号

谁在“丢脸”

“AI诈骗的背后，还是人们的信息泄露问题。”王洁说，随着人工智能时代的到来，人的脸和声音也成了一种可以获取利益的信息，很多人在不知不觉中就“丢了脸”。人脸信息作为个体生物信息，属于敏感个人信息，具有直接识别性、独特性和唯一性，一旦泄露会令信息主体人格尊严受到侵害或人身财产安全受到伤害，其危害性较一般个人信息泄露更为严重。

安徽人潘子平亲身体验过，仅需几秒钟的视频通话，自己的人脸信息就丢失了。

3月24日晚上，潘子平在手机上看仙侠小说正着迷。翻页时，他误触了一旁的广告，一款游戏开始在手机后台自动下载。下载完成后，潘子平点开看了看，也是一款和仙侠有关的游戏，他玩了一会儿觉得没意思，便直接卸载了。

几秒钟之后，一个来自境外的电话拨了过来，对方说已经获取潘子平手机里的所有信息，包括相册和通讯录，要加QQ详谈。潘子平没想太多，便添加了好友。刚一加上，一个视频聊天直接打来，对方的脸始终没有出现在镜头前，一个男声简单报了几个潘子平通讯录的人名，便挂断视频。

虽然两个电话都没有提到钱的事，但潘子平心里开始有所警惕，他立刻将钱提现至银行卡，并将银行卡与支付宝和微信解绑。

没几分钟，一条QQ消息发来。这次是一段视频，约有十几秒，画面里是一个赤身裸体的男子，他头上顶着潘子平的脸，正在做一些不雅的动作。潘子平惊呆了，“现在的技术都已经这么厉害了吗？”还来不及反应，电话又来了，“你给我三万八，否则我就把你的‘小视频’发给你通讯录里的所有人。”

对方还发来一张截图，这段视频已经在对话框准备就绪，只要点击发送，潘子平通讯录里的亲朋好友就能收到。视频再次打来时，对方开启了屏幕共享功能，潘子平将支付宝和微信余额展示给对方，说自己拿不出这么多钱，双方便从三万八开始砍价，砍到两万八、一万八，直至八千元，潘子平也说自己拿不出来。之后，对方便开始指使潘子平打开借呗等网贷平台，企图让潘子平通过借网贷的方式给他们钱。

就在转账前一秒，潘子平幡然醒悟，他立刻挂断视频，拨打110报警。由于未造成实际损失，警方并未立案。潘子平问警察，那段利用AI技术实时换脸的淫秽视频怎么办？警方也无法将这段视频销毁，只能告诉他，编辑信息群发给通讯录告知此事。

潘子平认为，就是那款游戏让自己的信息泄露，他赶紧检查每项APP的手机权限，以免再次遇到“危险”。

在王洁的调研中，不乏有人因阅览不正规网站而丢失个人信息，乃至遭到诈骗。他指出，要采集人脸信息，对于现有技术而言是一件非常简单的事情。遍地可见的摄像头、手机里因身份验证而做的面部检测、拥有相册读取权限的APP等，都在悄无声息地获取人脸信息。

济南人方杨宥遭遇的AI诈骗，对方仅和他视频通话7秒。来源：“济南公安”微信公众号‍

2021年，《焦点访谈》曾报道，在公安部“净网2021”专项行动中，合肥市公安局网安支队联手包河分局打掉一个犯罪团伙，该团伙非法利用AI人工智能技术，伪造他人人脸动态视频，为黑灰产业链提供注册手机卡等技术支撑。犯罪嫌疑人电脑中有10G左右的人脸数据信息，这些信息在网上转手多次，而它们的主人对此毫不知情。

活跃在屏幕上的明星网红，相比普通人则更易丢失脸部信息。2021年8月，刘昊然工作室发布声明称，由于网络上出现大量用AI换脸技术对演员刘昊然进行侮辱的视频、视频截图及含有侮辱诽谤言论的聊天记录，上述视频、截图还被不断贩售，工作室向警方报案。近期，还有商家利用AI换脸技术，将演员迪丽热巴和杨幂的脸部特征应用到他们的电商平台直播间。

拥有130万微博粉丝的网红“Caro赖赖”，则因AI换脸技术，陷入了黄色谣言的困境。今年4月她在微博发文称，她的脸被盗用在一些淫秽视频里。有人在境外社交平台上冒充其身份注册了账号，先是搬运她的日常内容，等粉丝人数差不多时，就开始以会员订阅的方式贩卖这些顶着她的脸的色情视频。

“AI技术存在被人类滥用的情况。”华东政法大学刑事法学研究院院长、上海市法学会刑法学研究会会长刘宪权认为，如今人们已经走入“弱人工智能时代”，即技术仍是被人类使用的一种工具。随着人工智能技术的发展，侵权事件屡屡发生，除了诈骗、造黄谣之外，还有不少人们肖像权、知识产权受到侵害的案例。

“护脸”难题

技术持续更新换代，大众接触到AI实时换脸技术的门槛日渐降低。

早在2019年，就有一款名叫“ZAO”的AI换脸APP走红，用户只需提供一张照片，就能成为影视剧中的角色。但没过多久，因涉及侵犯版权、隐私等方面的问题，这款APP就被下架。

“事实上AI换脸技术本身没有问题，关键是使用方式。”刘宪权说，一旦技术被滥用，就隐含了巨大的风险。于2023年1月10日施行的《互联网信息服务深度合成管理规定》中也提到，提供深度合成服务，应当提供显著标识功能，并提示深度合成服务使用者可以进行显著标识。深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的，应当提示深度合成服务使用者依法告知被编辑的个人，并取得其单独同意。

然而AI实时换脸技术，仍在互联网上悄悄贩卖，这为“显著标识”以及“告知被编辑的个人”增加了难度。

以“AI换脸”为关键词在淘宝平台上检索，并无产品出现。但若替换为“AI换头”“AI换人脸”等相近词语，即可检索到产品。对照片进行换脸的售价在35、50、100元不等，而视频换脸则以分钟计费，收费为一分钟70元、150元、400元不等。

“可以换成任何人的脸”，店家“工程师老张”称，只需客户提供原视频和任意一张人脸照片，就能实现百分之百无痕换脸。不但能与当红明星更换面孔，还能让已去世的故人在视频中“复活”。

“工程师老张”不仅提供AI换脸服务，还教换脸技术。“可以在我们这儿买程序，自学自做”，他宣称自己研发了算法进行换脸，并将相关程序插件在淘宝平台售卖，价值368元。程序采用卡密激活的方式，产品有效期50年，其间可以无限次使用该程序。

若想将脸换得更加自然，多位商家均表示，需要买家提供与原照片相近或完全相同角度的人脸照片。不过也有一位商家表示，只需要买家提供一张正脸的照片，他们便能做到“以假乱真”的效果，“我们根据正脸照片自动建模，就可以算出另外几个角度的样子。”

不少商家会引导用户添加微信详谈。新京报记者加了店铺“杰伦视频设计站”老板的微信，截止今年7月，该商家售卖产品在淘宝的月销量显示为23，但在聊天过程中，对方为说服新京报记者下单，屡次强调其营业收入一个月20万。他还展示了自己的支付宝截图，显示总资产16万元。咨询当日下午14点36分，该商家表示，当日营收已经将近1000元。

淘宝商家“杰伦视频设计站”引导新京报记者添加微信，他朋友圈里，都是AI换脸的相关案例。网页截图

这位商家自称是AI实时换脸领域的高手，发布的朋友圈均为相关案例。5月9日，他在朋友圈发布了一条19秒的视频，一位女主播穿着露肩上衣和超短裙，搭配着黑色丝袜，对着镜头扭动舞蹈，她的脸看起来和明星杨幂别无二致，唯有在低头、侧身时，画面看起来不太协调。

他告诉新京报记者，普通视频收费为70元一分钟，色情视频收费为150元一分钟。他展示了一张截图，里面均为淫秽图像和视频，而后又迅速撤回。当新京报记者询问是否均为换脸视频，他回答称，“不要问那么多，跟你说能换就行了，不宜多说。”

新京报记者调查发现，上述商家确实在两小时内就能依据客户需求，成功制作一条一分钟的换脸淫秽视频，完成交易。交谈间，他多次撤回他认为“敏感”的信息，从未提及要告知“被编辑的个人”，而后发来的视频，也无任何关于AI换脸的标识。但该商家附带发送一段“免责声明”，称“任何图和视频资料禁止传播，任何后果与制作方无关，仅供娱乐，本人不对图片和视频用途负责，不承担任何责任风险。”

一名淘宝商家向新京报记者展示了一份截图，上面均为淫秽色情图片或视频。记者调查截图‍

除了淘宝之外，抖音也有多款AI换脸软件产品，售价在1元至196元不等。此外，小红书平台也有售卖AI换脸课程的账号，这些账号通过发布AI换脸视频，配上“最近很火”“快速学会”等文案，引导用户关注和购买。

也有的AI换脸软件是免费的。在抖音以“AI换脸”为关键词进行检索，会弹出大量相关的短视频广告，下附AI换脸软件的链接。在一款叫“AI随拍”软件的链接后，各式各样的明星、素人短视频浮现在主页上。只需观看25秒的广告，就可以用这款APP免费制作一个十多秒的视频。

“就像人们买刀一样，难道买刀杀人之后，怪这把刀或者卖刀的人吗？”北京市华城律师事务所合伙人甘仕荣指出，技术本身没有问题，关键在于使用者是否做出违法行为，如恶意丑化，涉嫌侵犯他人的名誉权，出售换脸色情视频，涉嫌制作、传播淫秽物品，可能构成刑事犯罪等。只是，任意售卖这一技术，增加了违法风险，也加大了执法监督的难度。

怎样保护我们的“脸”

“AI的出现，让原本就易受骗的人群更容易上当了。”王洁说，AI只是一个工具，诈骗人员将其用来增强骗局里的可信度，从而提高他们诈骗的成功率。随着网络成为人们生活的一部分，AI换脸骗局不仅是侵占他人财产那么简单的事情了，刘宪权认为，这一技术若再发展下去，诈骗方式将更加逼真和多样，让人们防不胜防。

根据张振华的办案经验，目前的AI诈骗案件中，这一技术并不是“完美”的，如果视频通话时间长一些，或者将脸放置于复杂、不稳定的场景中，就可能露出蛛丝马迹。然而人们在紧急状况下，面对熟悉面孔和声音，很难多次对声画进行试探和观察。

两位专家均表示，要针对AI侵权事件进行维权，并非一件易事。刘宪权指出，目前在法律层面没有关于AI技术使用和发展过程中的相关规制。

王洁则认为，当利用AI技术进行电信网络诈骗等侵权事件已经发生，再去追究的难度太大。他曾调研过多位反诈警察，当他们花费大量时间和金钱之后，却发现犯罪源头在境外。对于受害人而言，也不是所有人都能付出足够的时间、金钱和精力去追究侵权事件的责任。

淘宝平台上，依然有商家对AI换脸技术进行售卖。网络截图

潘子平的脸被盗用在黄色视频后，由于没有被骗钱，报警后没有立案。他既找不到是谁盗用了他的脸，也无法让对方停止传播，只能编辑一条短信群发给每位好友，提醒他们不要传播，也不要相信视频内容。

“一心只想化妆的阿蕾”是小红书平台上拥有两百多万粉丝的美妆博主，她发布了很多国风妆造的图片。去年4月，她发文自述称其主页视频被盗用至换脸APP成为换脸模板。她并不清楚是谁上传了这些模板，“一个APP可能有几十个甚至上百个上传者，这给维权增添了不少难度。”

“我没那个钱和精力去搞，这不是我的原罪。”有人在评论区提醒她维权，她无奈道，维权首先要从起诉APP开始，定位到每位上传者，再起诉个人，这样的时间和金钱成本都很高，前后时间线拉得很长，胜诉得到的赔款却没多少。

“核心问题是个人信息保护。”王洁认为，诈骗事件背后都存在个人信息泄露的情况，随着深度伪造技术不断更新换代，保护人脸等个人隐私成为不可轻视的问题。因此公安机关在查案办案时，应该更加关注信息泄露的渠道，从源头来进行治理。政府应该加强对个人信息保护的监管，而APP开发商运营商等各环节也应该共同协力，在人脸信息的存储、读取、使用、清除等方面依法管理，促进企业个人信息保护合规自律。

人工智能技术飞速发展，刘宪权提出应该探讨如何做到违法侵权的事前防范。他认为，目前人工智能技术还未发展到成为独立责任主体的地步，技术仍是一种被人利用的工具，只是因其有一定的智能部分，被不法分子利用时可能加大对社会的危害。因此，除了完善对于新技术的相关法律法规，还应该对于人类使用和发展该技术的过程进行相关限制，比如某一领域是否准入，又有什么人可以使用相关技术等。

与人工智能技术相关的法律法规也在不断完善。4月11日，国家网信办发布了《生成式人工智能服务管理办法（征求意见稿）》，对提供生成式人工智能服务做出较为详尽的规定，其中包括准入资格、内容生产者和个人信息处理者等各方责任义务和相关处罚措施等。

“我们的未来一定是会和AI共存共生长的”，王洁说，这意味着人类也将和AI侵权事件共生共存。他认为，今后的立法要及时关注技术发展过程中出现的新现象和新问题，普通网民要提升对网络高风险的认识，而执法监督部门则更应加快技术升级，研发“反换脸”等检测技术，利用人工智能技术提高办案能力。

他说，“唯有全社会各方通力合作”，才能让技术向善发展。

（方杨宥、潘子平为化名）