内蒙包头、安徽安庆接连发生人工智能分秒诈骗：AI换脸、换声视频电话诈骗难防

 　　内蒙古包头：科技公司老板10分钟被骗走430万元

　　据平安包头官方微信号5月20日消息，5月8日，包头市公安局电信网络犯罪侦查局发布一起使用智能AI技术进行电信诈骗的案件。

　　4月20日11时40分左右，福州市某科技公司法人代表郭先生的好友突然通过微信视频联系到他，两人经过短暂聊天后，好友告诉郭先生，自己的朋友在外地投标，需要430万元保证金，且需要公对公账户过账，所以想要借用郭先生公司的账户走一下账。好友向郭先生要了银行卡号，声称已经把钱打到郭先生的账户上，还把银行转账底单的截图通过微信发给了郭先生。基于视频聊天信任的前提下，郭先生没有核实钱是否到账，于11时49分先后分两笔把430万元给对方打了过去。钱款转账后，郭先生给好友微信发了一条消息，称事情已经办妥。但让他没想到的是，好友回过来的消息竟然是一个问号。

　　郭先生拨打好友电话，对方说没有这回事，他这才意识到竟然遇上了“高端”骗局，对方通过智能AI换脸技术，佯装成好友对他实施了诈骗。

　　“从头到尾都没有和我提借钱的事情，就说会先把钱给我打过来，再让我给他朋友账户转过去，而且当时是给我打了视频的，我在视频中也确认了面孔和声音，所以才放松了戒备”，郭先生说。

　　4月20日12时21分，包头市电信网络犯罪侦查局接到福建省福州市公安局刑侦支队的外协请求，称福建省一知名民营企业负责人被骗走430万元，而涉案的银行卡为包头市蒙商银行对公账户，希望包头警方能够帮忙进行紧急止付。

　　包头市公安局电信网络犯罪侦查局立即启动“包头市警银联动绿色查询机制”，当班民警以最快速度完成核查、报审程序，第一时间将涉案卡的信息通报至蒙商银行相关部门。在银行的全力协助下，仅用时10分钟，就将该诈骗账户内的336.84万元被骗资金成功拦截。

　　同时，向福州市公安局警方提供了剩余款项93.16万元资金流出信息，为深入突破该案剩余资金查找提供了突破方向。目前，福建警方与包头警方对此资金正在全力追缴当中。

　　近期又发生一起AI换脸诈骗245万元事件

 

　　整个诈骗过程时间只有9秒钟

　　9秒被骗走245万元，“打了视频电话又是熟人”

 

　　今年4月，安徽安庆经开区发生一起“冒充熟人”诈骗案，经开公安分局反诈中心民警调查发现诈骗分子使用了一段9秒钟的智能AI换脸视频佯装“熟人”，让受害人放松警惕从而实施诈骗。

　　“视频里边我看到是他的脸”，“但是没几秒就挂了，说在开会不方便”。4月27日，何先生的微信“好友”突然向其发起视频通话，电话接通后，何先生看到“好友”正在一间会议室内，就在他准备进一步询问时，“好友”直接挂断了电话，并表示在会议中有重要事情交代，需要何先生添加QQ沟通。

 

 

 

 

 

　　随后，“好友”在QQ上告诉何先生，目前有一个项目招标需要周转资金，希望何先生先行帮忙垫付。“因为打了视频电话又是熟人”，“我就没多想，就转账了”，基于对“熟人”的信任，何先生没有犹豫，立刻让家人将245万元到对方指定的账号上，直到事后拨打对方电话才得知被骗。

 

 

 

 

　　发现被骗之后，何先生迅速报警，接报案后，安庆经开公安分局立即抽调精干警力组成专案组第一时间对涉案账户的资金流、信息流进行查询追踪。4月28日，专案民警连夜赶赴北京市抓获3名涉诈嫌疑人。5月22日，警方将先行追回的132万元被骗款及时返还给何先生，目前案件正在进一步侦办中。

 

 

　　AI换脸、换声诈骗怎么防？

　　回拨电话、观察画面

 

　　5月24日，中国互联网协会发布公告，面对利用AI技术的新型骗局，广大公众需提高警惕，加强防范。

　　中国互联网协会表示，伴随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频进行诈骗、诽谤的违法行为屡见不鲜。

　　中国互联网协会表示，在AI时代，文字、声音、图像和视频都有可能是深度合成的，在转账汇款、资金往来这样的典型场景，要通过回拨对方手机号等额外通信方式核实确认，不要仅凭单一沟通渠道未经核实就直接转账汇款，无论对方是谁。

　　据界面新闻，针对使用AI换脸、拟声技术进行诈骗的案例，小冰公司CEO李笛表示，目前了解到的用AI换脸的诈骗团队，主要是采用Wav2Lip这种开源技术，通过音频去驱动口型。“但是在某些口型上是会出现问题的，比如嘟起嘴时的口型错误、边缘抖动，或者口型朝向与五官不搭配等等。”

　　瑞莱智慧联合创始人、算法科学家萧子豪也表示，在视频通话时可以通过让对方做一些大幅度的摇头、张嘴之类的动作，“如果黑产做的模型不太精细、只做了正脸的情况下，突然露齿时生成的牙齿或舌头就不会特别清晰，耳朵处也可能会出现不正常的阴影。”

　　据萧子豪介绍，从技术角度辨别内容是否经过深度伪造同样有迹可循，辨别思路大致可分为两种，一种是寻找图像编辑痕迹，另一类则是判断行为是否符合常识。

　　人工智能诈骗接二连三

　　更高层面监管亟须落地

 

　　据报道，“人工智能教父”杰弗里·辛顿今年年初就曾经警告，人工智能对人类构成的威胁将比气候变化更加紧迫。辛顿认为，人工智能是一种智能工具，可以辅助人类做一些繁琐、重复和创意性工作，但也会有不法之徒用它来做违法乱纪的勾当。人工智能不但能撰写文章，还能生成图像、视频。如果用来弄虚作假，几乎可以乱真，普通人很难识别出来。如果有人用它来制作虚假图像、视频，传递错误信息，其破坏力远大于单纯的文字形式。

　　据新华网，“短短10分钟，被骗430万元”“换脸冒充当红女星带货，赚得盆满钵溢”……这种“换脸”术和拟声术，让人防不胜防。如此种种，无不说明换脸术的滥用，已经对公共利益构成威胁。

　　针对技术手段日益更新的AI诈骗事件，2022年11月25日，国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》（以下简称规定），自2023年1月10日起施行。规定要求深度合成服务提供者对使用其服务生成或编辑的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能的服务的，应当进行显著标识，避免公众混淆或者误认。要求任何组织和个人不得采用技术手段删除、篡改、隐匿相关标识。

　　今年4月11日，国家网信办起草了《生成式人工智能服务管理办法》（征求意见稿），提出AI内容必须真实准确，其中也明确提到，禁止非法获取、披露、利用个人信息和隐私、商业秘密。

　　为此破局，一方面要强化公共宣教，确立新的防骗反诈意识；另一方面，更重要的还是加快防御性、对抗性技术工具的推广落地和应用嵌入。比如说，不妨尝试在常用的社交媒介软件中，内嵌入声纹、人脸识别的身份核验模块等。