人工智能被利用于诈骗 换脸骗局令人防不胜防

视频里那张脸正对着镜头，几乎不动，脸上的表情和平常没什么不一样。

7秒视频通话后，济南人方杨宥就给对方指定账户转了30万。等到报了警，他才知道，原来视频里那张熟悉的脸是“假”的，屏幕另一端根本不是自己的亲戚，而是诈骗人员利用AI技术合成的影像视频。

这桩发生在今年5月的AI诈骗事件，并非孤例。山东商河县公安局刑警大队中队长张振华向新京报记者介绍，随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频进行诈骗、诽谤的违法行为日益增多。此前，已有哈尔滨、福州等多地警方通报过有关AI换脸的诈骗事件。

北京市社会科学院法治研究所副所长、副研究员王洁长期从事反电诈研究，他认为，步入人工智能时代，人脸和声音已经成为一种亟须保护的信息。然而当下随着AI技术发展，利用AI换脸技术进行诈骗、造谣、侵犯肖像权或知识产权的行为屡屡发生，这意味着技术正被滥用，人脸这一重要信息极易“丢失”。

AI实时换脸技术发展的同时，也在迅速“平民化”。新京报记者调查发现，AI实时换脸技术在多个平台以百元左右的价格售卖，其中一位商家表示，368元便能购买其自己研发的实时换脸程序，50年内可以无限次使用。可观的利益驱动着AI灰色市场的发展，有商家自称月收入高达20万元，他宣称自己什么视频都能做，任意将一张脸换至色情视频里，也仅需150元一分钟。

“我们的未来一定是会和AI共存共生长的”，王洁说，这意味着人类也将和AI相关的侵权事件共生共存。如何让技术应用向善发展，成为当下一个非常重要的问题。

AI骗局

5月29日，济南人方杨宥在家刷短视频时，突然收到一条陌生人发来的消息。对方自称是方杨宥的亲戚，他发来一串新的QQ号，希望方杨宥添加。刚一加上好友，对方就给方杨宥拨来视频电话，7秒的视频连线有些卡顿，但那张熟悉的脸和那个熟悉的声音，让方杨宥相信确实这就是自己的“大哥”。

没说几句话，对方就以网络质量不好为由，将视频挂断。在随后的文字聊天中，“大哥”称自己急需转一笔钱，但没法直接打款，想要先转账给方杨宥，然后拜托他帮忙转到指定的银行卡里去。

“大哥”发来了两张成功转账的截图，可方杨宥一直没收到这笔款。“大哥”将原因“甩锅”给银行，“那应该就是24小时到了，银行的信息不会错。”以着急用钱为由，“大哥”反复催促方杨宥先行垫付。

经不住一再催促，方杨宥向其指定账户转账30万元。没过多久，对方又让方杨宥再转35万元。这时，方杨宥猛然想起曾经看过的反诈宣传，赶紧打电话给自己的亲戚，这才知道，一切都是假的。

当晚，方杨宥便报了案。根据转账卡号的流水，商河县公安局刑警大队中队长张振华和同事们发现该银行卡在广东的一家金店有过消费。次日，商河刑警便奔赴广东东莞，抓获了犯罪嫌疑人谢某等三人。之后，又有三名犯罪嫌疑人被警方抓获。

在后续的调查中，警方发现，这起AI诈骗真正的源头在缅北。境内的这伙人，是一个专门帮助境外诈骗分子进行洗钱的犯罪团队，他们分工明晰，买金、打款、对接上线等都由不同的人操作。目前他们因涉嫌帮信罪，正在接受后续调查。

事实上，利用AI技术进行诈骗的案例已在全国多地发生。王洁第一次知道AI诈骗，是在2019年，当时一位留学生看到诈骗人员利用技术合成其父母的视频之后，便信以为真。此前，已经有哈尔滨、福州等多地网警通报过有关AI换脸的诈骗事件，他们的手段并非完全相同。

也有诈骗人员盯上的是“声音”。

2022年，律师马俊哲在短视频里自曝被电信诈骗3万元的经历。骗子使用AI技术，合成了马俊哲母亲的声音，假冒其母亲的身份给他打去电话，称其父亲因出车祸而骨折，急需3万元的医药费，希望马俊哲将钱打入她朋友的账户。

就在转钱的那一刻，马俊哲发现这个银行卡归属地并非父母的所在地，马俊哲立刻回拨了母亲打来的这串电话，经过母亲确认之后，马俊哲又给父亲打了个电话，但是父亲电话打不通。他以为父亲正在做检查，便直接将钱打了过去。

可次日马俊哲再次给母亲打电话时，母亲却说没有这一回事。马俊哲百思不得其解，“声音是我妈的，我不可能听错。号码是我妈的，我不可能看错。”报警后，他才从警方那里得知，这是一种新型的诈骗方式，诈骗团伙利用技术合成了母亲的声音，又使用技术复制了一串和母亲号码完全一样的虚拟号码打来电话，并使用技术手段在行骗期间将亲属号码屏蔽，让他们切断联系，从而增加骗钱的可信度。

谁在“丢脸”

“AI诈骗的背后，还是人们的信息泄露问题。”王洁说，随着人工智能时代的到来，人的脸和声音也成了一种可以获取利益的信息，很多人在不知不觉中就“丢了脸”。人脸信息作为个体生物信息，属于敏感个人信息，具有直接识别性、独特性和唯一性，一旦泄露会令信息主体人格尊严受到侵害或人身财产安全受到伤害，其危害性较一般个人信息泄露更为严重。

安徽人潘子平亲身体验过，仅需几秒钟的视频通话，自己的人脸信息就丢失了。

3月24日晚上，潘子平在手机上看仙侠小说正着迷。翻页时，他误触了一旁的广告，一款游戏开始在手机后台自动下载。下载完成后，潘子平点开看了看，也是一款和仙侠有关的游戏，他玩了一会儿觉得没意思，便直接卸载了。

几秒钟之后，一个来自境外的电话拨了过来，对方说已经获取潘子平手机里的所有信息，包括相册和通讯录，要加QQ详谈。潘子平没想太多，便添加了好友。刚一加上，一个视频聊天直接打来，对方的脸始终没有出现在镜头前，一个男声简单报了几个潘子平通讯录的人名，便挂断视频。

虽然两个电话都没有提到钱的事，但潘子平心里开始有所警惕，他立刻将钱提现至银行卡，并将银行卡与支付宝和微信解绑。

没几分钟，一条QQ消息发来。这次是一段视频，约有十几秒，画面里是一个赤身裸体的男子，他头上顶着潘子平的脸，正在做一些不雅的动作。潘子平惊呆了，“现在的技术都已经这么厉害了吗？”还来不及反应，电话又来了，“你给我三万八，否则我就把你的‘小视频’发给你通讯录里的所有人。”

对方还发来一张截图，这段视频已经在对话框准备就绪，只要点击发送，潘子平通讯录里的亲朋好友就能收到。视频再次打来时，对方开启屏幕共享功能，潘子平说自己拿不出这么多钱后，对方便开始指使潘子平打开借呗等网贷平台，企图让潘子平通过借网贷的方式给他们钱。

就在转账前一秒，潘子平幡然醒悟，他立刻挂断视频，拨打110报警。由于没被成功骗钱，警方并未立案。潘子平问警察，那段利用AI技术实时换脸的淫秽视频怎么办？警方也无法将这段视频销毁，只能告诉他，编辑信息群发给通讯录告知此事。

潘子平认为，就是那款游戏让自己的信息泄露，他赶紧检查每项APP的手机权限，以免再次遇到“危险”。

在王洁的调研中，不乏有人因阅览不正规网站而丢失个人信息，乃至遭到诈骗。他指出，要采集人脸信息，对于现有技术而言是一件非常简单的事情。遍地可见的摄像头、手机里因身份验证而做的面部检测、拥有相册读取权限的APP等，都在悄无声息地获取人脸信息。

拥有130万微博粉丝的网红“Caro赖赖”，则因AI换脸技术，陷入了黄色谣言的困境。今年4月她在微博发文称，她的脸被盗用在一些淫秽视频里。有人在境外社交平台上冒充其身份注册了账号，先是搬运她的日常内容，等粉丝人数差不多时，就开始以会员订阅的方式贩卖这些顶着她的脸的色情视频。

“AI技术存在被人类滥用的情况。”华东政法大学刑事法学研究院院长、上海市法学会刑法学研究会会长刘宪权认为，如今人们已经走入“弱人工智能时代”，即技术仍是被人类使用的一种工具。随着人工智能技术的发展，侵权事件屡屡发生，除了诈骗、造黄谣之外，还有不少人们肖像权、知识产权受到侵害的案例。

“护脸”难题

技术持续更新换代，大众接触到AI实时换脸技术的门槛日渐降低。

早在2019年，就有一款名叫“ZAO”的AI换脸APP走红，用户只需提供一张照片，就能成为影视剧中的角色。但没过多久，因涉及侵犯版权、隐私等方面的问题，这款APP就被下架。

“事实上AI换脸技术本身没有问题，关键是使用方式。”刘宪权说，一旦技术被滥用，就隐含了巨大的风险。于2023年1月10日施行的《互联网信息服务深度合成管理规定》中也提到，提供深度合成服务，应当提供显著标识功能，并提示深度合成服务使用者可以进行显著标识。深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的，应当提示深度合成服务使用者依法告知被编辑的个人，并取得其单独同意。

然而AI实时换脸技术，仍在互联网上悄悄贩卖，这为“显著标识”以及“告知被编辑的个人”增加了难度。

以“AI换脸”为关键词在淘宝平台上检索，并无产品出现。但若替换为“AI换头”“AI换人脸”等相近词语，即可检索到产品。对照片进行换脸的售价在35、50、100元不等，而视频换脸则以分钟计费，收费为一分钟70元、150元、400元不等。

“可以换成任何人的脸”，店家“工程师老张”称，只需客户提供原视频和任意一张人脸照片，就能实现百分之百无痕换脸。不但能与当红明星更换面孔，还能让已去世的故人在视频中“复活”。

“工程师老张”不仅提供AI换脸服务，还教换脸技术。“可以在我们这儿买程序，自学自做”，他宣称自己研发了算法进行换脸，并将相关程序插件在淘宝平台售卖，价值368元。程序采用卡密激活的方式，产品有效期50年，其间可以无限次使用该程序。

记者加了店铺“杰伦视频设计站”老板的微信，截至7月，该商家售卖产品在淘宝的月销量显示为23，但在聊天过程中，对方为说服记者下单，屡次强调其营业收入一个月近20万。他还展示了支付宝截图，显示总资产16万元。咨询当日下午，该商家表示，当日营收已经将近1000元。

他自称是AI实时换脸领域的高手，发布的朋友圈均为相关案例。5月9日，他在朋友圈发布了一条19秒的视频，一位女主播穿着露肩上衣和超短裙，搭配着黑色丝袜，对着镜头扭动舞蹈，她的脸看起来和明星杨幂别无二致，唯有在低头、侧身时，画面看起来不太协调。

他告诉记者，普通视频收费为70元一分钟，色情视频收费为150元一分钟。他展示了一张截图，里面均为淫秽图像和视频，而后又迅速撤回。当记者询问是否均为换脸视频，他回答称，“不要问那么多，跟你说能换就行了，不宜多说。”

记者注意到，该商家发来视频后，附带发送一段“免责声明”，称“任何图和视频资料禁止传播，任何后果与制作方无关，仅供娱乐，本人不对图片和视频用途负责，不承担任何责任风险。”

除了淘宝之外，抖音也有多款AI换脸软件产品，售价在1元至196元不等。此外，小红书平台也有售卖AI变脸课程的账号，这些账号通过发布AI换脸视频，配上“最近很火”“快速学会”等文案，引导用户关注和购买。

北京市华城律师事务所合伙人甘仕荣指出，技术本身没有问题，关键在于使用者是否做出违法行为，如恶意丑化，涉嫌侵犯他人的名誉权，出售换脸色情视频，涉嫌制作、传播淫秽物品，可能构成刑事犯罪等。只是，任意售卖这一技术，增加了违法风险，也加大了执法监督的难度。

如何护“脸”？

“AI的出现，让原本就易受骗的人群更容易上当了。”王洁说，AI只是一个工具，诈骗人员用来增强骗局里的可信度，从而提高他们诈骗的成功率。随着网络成为人们生活的一部分，AI换脸骗局不仅是侵占他人财产那么简单的事情，刘宪权认为，这一技术若再发展下去，诈骗方式将更加逼真和多样，让人们防不胜防。

根据张振华的办案经验，目前的AI诈骗案件中，这一技术并不是“完美”的，如果视频通话时间长一些，或者将脸放置于复杂、不稳定的场景中，就可能露出蛛丝马迹。然而人们在紧急状况下，面对熟悉面孔和声音，很难多次对声画进行试探和观察。

两位专家均表示，要针对AI侵权事件进行维权，并非一件易事。刘宪权指出，目前在法律层面没有关于AI技术使用和发展过程中的相关规制。

潘子平的脸被盗用在黄色视频后，由于没有被骗钱，报警后没有立案。他既找不到是谁盗用了他的脸，也无法让对方停止传播，只能编辑一条短信群发给每位好友，提醒他们不要传播，也不要相信视频内容。

“一心只想化妆的阿拉蕾”是小红书平台上拥有两百多万粉丝的美妆博主，去年4月，她发文自述称其主页视频被盗用至换脸APP成为换脸模板。她并不清楚是谁上传了这些模板，无奈道，维权首先要从起诉APP开始，定位到每位上传者，再起诉个人，这样的时间和金钱成本都很高，前后时间线拉得很长，胜诉得到的赔款却没多少。

“核心问题是个人信息保护。”王洁认为，诈骗事件背后都存在个人信息泄露的情况，随着深度伪造技术不断更新换代，保护人脸等个人隐私成为不可轻视的问题。因此公安机关在查案办案时，应该更加关注信息泄露的渠道，从源头来进行治理。政府应该加强对个人信息保护的监管，而APP开发商运营商等各环节也应该共同协力，在人脸信息的存储、读取、使用、清除等方面依法管理，促进企业个人信息保护合规自律。

人工智能技术飞速发展，刘宪权提出应该探讨如何做到违法侵权的事前防范。他认为，目前人工智能技术仍是一种被人利用的工具，只是因其有一定的智能部分，被不法分子利用时可能加大对社会的危害。因此，除了完善对于新技术的相关法律法规，还应该对于人类使用和发展该技术的过程进行相关限制，比如某一领域是否准入，又有什么人可以使用相关技术等。

与人工智能技术相关的法律法规也在不断完善。4月11日，国家网信办发布了《生成式人工智能服务管理办法(征求意见稿)》，对提供生成式人工智能服务做出较为详尽的规定，其中包括准入资格、内容生产者和个人信息处理者等各方责任义务和相关处罚措施等。

“我们的未来一定是会和AI共存共生长的”，王洁说，这意味着人类也将和AI侵权事件共生共存。他认为，今后的立法要及时关注技术发展过程中出现的新现象和新问题，普通网民要提升对网络高风险的认识，而执法监督部门则更应加快技术升级，研发“反换脸”等检测技术，利用人工智能技术提高办案能力。

他说，“唯有全社会各方通力合作”，才能让技术应用向善发展。

(文中方杨宥、潘子平为化名)

(来源：新京报)