社交平台提供“AI换脸”服务，有人用“AI换脸”假冒好友诈骗

 　　犯罪分子利用“AI换脸”假冒好友诈骗 换脸乱象何时能止？

 

　　从未经允许合成虚拟形象、假冒好友视频聊天，到合成不雅视频，“AI换脸”视频因制作成本和技术门槛低，已经成为一种颇受黑灰产欢迎的新型网络犯罪工具。南都记者调查发现，现在仍可在社交平台上搜到提供“AI换脸”服务的卖家。

　　专家指出，除了滥用这一技术用于诈骗的不法分子，使用“AI换脸”软件的个人用户也应注意是否造成对他人的侵权。北京京师律师事务所律师王琮玮提醒，当用户发现遭到他人侵权等非法利用时，应当第一时间采取保全证据及时向平台反映并向公安机关报案等救济措施。

 

　　1

　　低门槛低成本使“AI换脸”成新型网络犯罪工具

 

　　据新华视点消息，陈先生今年2月到浙江省温州市公安局瓯海分局仙岩派出所报案，称自己被“好友”诈骗了近5万元。经警方核实，诈骗分子利用陈先生好友“阿诚”在社交平台已发布的视频，截取其面部视频画面后再利用“AI换脸”技术合成，制造陈先生与“好友”视频聊天的假象骗取其信任，从而实施诈骗。

　　温州公安也曾发布消息，去年拱宸桥派出所接到报警，受害人小陈称他在与女网友视频聊天后被对方敲诈勒索。经警方调查，对方利用AI换脸技术，将小陈视频中的面部合成到不雅视频中，借此对其实施勒索。

　　瑞莱智慧副总裁唐家渝告诉南都记者，早期的换脸视频，由于技术不成熟、不完善，存在“微表情不自然”、“面部边缘有锯齿”等明显换脸痕迹。但随着技术的不断成熟，近年来制作传播的换脸视频，足以达到以假乱真的水平。

　　犯罪分子是如何生成大批量以假乱真的AI人脸合成视频的呢？

　　中国信通信院云大所人工智能部副主任石霖向记者分析，从新闻的描述来看，犯罪嫌疑人应该是使用的类似CrazyTalk等软件，利用“重现”的方式将被害人的照片伪造成眨眼、点头、张嘴等动态视频。由于这类软件对技术算法进行了封装，所以使用成本和难度大大降低。

　　唐家渝告诉南都记者，目前业内已经有很多成熟的生成类软件工具。并且现在很多代表性的生成方法已经被开源，技术走向公开和轻量化，也有黑产分子售卖AI换脸软件及教程。普通人很快就能上手，通常生成一段用于身份核验的动态换脸视频，十几分钟就可以实现。

　　去年4月1日，合肥市公安局网安支队联手包河分局打掉了一个在合肥、青岛等地的犯罪团伙。该团伙非法利用AI人工智能技术，伪造他人人脸动态视频，以2到10元的售价卖给黑灰产从业人员，帮助其完成大量的手机卡注册。这些手机卡注册后，再被不法分子利用用于赌博、贷款、诈骗等行为。

　　在上述案件中，犯罪嫌疑人马某向警方交代，将一张视频变成可以通过人脸识别的动态换脸视频，他们只需通过将照片上传至相关软件，在一分钟，甚至几十秒内就可以完成。

　　2

　　“AI换脸”黑灰产猖獗 法规政策陆续出台

 

　　南都记者梳理发现，“AI换脸”技术“走红”以来，曾出现过不少售卖“AI换脸”服务的团伙。据新华视点报道，记者早前在淘宝网搜索“AI换脸”、“deepfake”等，出现了不少提供换脸软件及换脸视频制作的售卖信息。

　　事实上，去年南都记者也曾在QQ群搜索到了“AI换脸高级群”、“变换脸-AI换脸”等提供“AI换脸”服务的群组，卖家声称“五分钟视频换脸100元”“学教程2000元包教包会”“不限视频内容”“所有明星都能换”。其中一名工作人员透露，其制作的“AI换脸视频”甚至可以通过人脸识别。

　　现在，上述的商品和群组均已查找不到。另一社交平台上，原有的“Deepfake（某“AI换脸”软件）吧”也已不存在。但仍有账号的简介称可“AI换脸教学，代做视频”，还有的账号发布多个女明星“AI换脸”视频，视频的流畅度、人脸表情、动作的自然度都十分逼真。

　　南都记者观察到，自“AI换脸”乱象不断以来，国家网信办、各地网警加紧对涉及“AI换脸”违规违法现象进行整治，相关的法规政策也在逐渐出台。

　　目前《中华人民共和国民法典》《网络音视频信息服务管理规定》《网络信息内容生态治理规定》等我国多部法规均涉及深度合成应用的规范。今年1月，国家网信办最新公布的《互联网信息服务深度合成管理规定（征求意见稿）》（下称《规定》）对深度合成内容的用途、标记、使用范围以及滥用处罚作出具体规定，尤其对作为深度合成服务提供者的平台方进行了审核、评估、监管等提出要求。

　　不过，仍有多名专家指出，目前对于深度合成服务与应用方面还需要进一步细化和明确。

　　浙江垦丁律师事务所元宇宙法律研究部成员程念表示，深度合成技术相关的一些概念界定、平台责任边界等问题的确定在法律上面临挑战。

　　对于利用AI技术进行的犯罪行为，王琮玮谈到，《规定》拟规范的是提供符合市场需求的应用技术，对于利用这一技术被滥用，甚至从事违法犯罪行为并不能起到限制或禁止的作用。“当AI技术的使用上升到刑事法律层面，需要用《刑法》来调整。”

　　唐家渝则进一步指出，在AI技术合规性方面，目前还缺乏一套科学严谨的标准机制。未来应引导学术界、产业界不断加强技术研究，利用技术创新、技术对抗等方式，持续提升和迭代深度合成检测能力，并扩展深度合成溯源、深度合成鉴定等方面的研究。

　　3

　　“AI换脸”合规仍存空白 未来还需法律与技术双管齐下

 

　　针对近日多家媒体报道的利用“AI换脸”进行诈骗的案件，程念指出，不论是通过何种技术手段，这些人使用欺诈方法（虚构事实或者隐瞒真相方法）骗取数额较大的公私财物，涉嫌构成诈骗罪。

　　据《中华人民共和国刑法》和《最高人民法院、最高人民检察院关于办理诈骗刑事案件具体应用法律若干问题的解释》，诈骗数额达到三千元的即达到诈骗罪的入罪标准，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金。

　　不过，在“AI换脸”领域，不仅仅有不法分子用于诈骗涉嫌犯罪，事实上，使用“AI换脸”App的个人用户也应注意是否造成对他人的侵权。

　　其中，明星“AI换脸”成为构成他人肖像权侵犯的“重灾区”。去年8月，刘昊然工作室向警方报案，称有大量用户通过网络渠道传播利用“AI换脸”伪造的侮辱性视频，已向警方报案。

　　同年9月，据澎湃新闻报道，林俊杰也以肖像权受到侵犯为由将上海宽娱数码科技公司、B站up主“瓜瓜Mars”告上法庭，索赔金额总计275000元。上诉缘由为该up主未经其允许，利用“AI换脸”技术制作多个视频并获得收益。

　　而在今年4月11日，最高人民法院发布的一个典型案例中，法院认定人工智能软件擅自使用自然人形象创设虚拟人物构成对原告一般人格权、肖像权和姓名权的侵害，且被告的人工智能软件运营方与用户构成了共同侵害原告肖像权的行为。

　　对此，多名专家提醒，一方面公众应注意不要随意滥用“AI换脸”软件侵害他人权益。平时需警惕陌生链接，在注册、登录时要谨慎提交个人敏感信息，不要轻易授权个人信息，关闭一些非必要的权限等。

　　另一方面，在防范自己被他人“AI换脸”方面，从用户的角度存在一定的难度。王琮玮指出，一般情况下，用户需要提供自己较为精准的面部、声音、指纹等数据，以此在应用中完成注册、登录或支付等功能。“因此在采集阶段和使用阶段，用户处于一种被动的状态，可以说是难以自我防范。”

　　当用户发现遭到他人侵权等非法利用时，王琮玮说，“应当第一时间采取保全证据及时向平台反映并向公安机关报案等救济措施。”

　　采写：实习生杨曦霞 南都记者蒋琳  编辑：蒋琳