随着深度合成技术不断成熟，AI换脸效果将更逼真。（@视觉中国）
在科技高速发展的今天，一些不法分子开始利用各种AI深度合成技术实施违法行为。日前在广东，一位女性声称自己的声音被AI软件进行了合成，之后有人就利用她的声音向其好友发布语音留言借钱，朋友误以为是该女性本人于是进行转账，导致2万元损失；前不久在福州，一位男性则是被一位AI换脸后的“好友”通过视频方式骗走430万元……目前，这些利用AI技术的深度合成骗术还有哪些类型？大众应当如何防范？记者对此进行了调查，并采访了一些人工智能方面的专家。
(资料图)
AI换脸、AI变声、AI假新闻……深度合成骗术引发关注
“律师界最近都十分关注这起10分钟诈骗430万元的案件，福州的郭先生遇上‘高端’骗局，对方通过AI换脸技术佯装成其好友对他实施诈骗。目前，利用AI技术进行诈骗的案例属于新型的信息网络犯罪案件，随着AI深度合成技术不断成熟，类似的诈骗手法恐怕还会出现，需要公众引起足够大的重视。”广东胜伦律师事务所的刘镇东律师介绍。
刘镇东介绍了广东发生的另一起案件：某男性嫌疑人通过合成软件，将自己的声音变成年轻女性的声音，之后他在某婚恋平台上交友，导致多位男性上当受骗，向该嫌疑人赠送了价值不菲的礼物。最后该男子也因涉嫌诈骗罪被处罚。
琶洲实验室智慧城市关键技术研究与应用团队负责人许勇教授告诉记者，如今除了声音和人脸合成，另一项深度合成技术的滥用也值得警惕，就是信息操纵。“AI可以用于生成假新闻、虚假信息，进而被用来操纵社交媒体舆论。”
记者发现，AI假新闻现象时有发生：今年2月中旬，网上曾流传出一则 “某市政府3月1日取消机动车依尾号限行”的消息，经警方调查后发现，这竟是当地某小区业主随手用AI大语言模型生成的假新闻；5月16日凌晨，某市一鸡排店门前，杨某、刘某、耿某与邻桌李某发生口角争执，双方使用啤酒瓶、塑料啤酒框等斗殴，均受轻伤。视频流传到网络后迅速引发关注，但一位男子陈某看到后，利用AI大语言模型生成并发布“某鸡排店惊现血案，男子用砖头砸死女子”的不实信息。经查，公安机关认定陈某恶意夸大、编造信息以博取流量，已依法对其采取刑事强制措施。
人工智能专家：多观察脸部不自然变化 低分辨率视频要警惕
近日，两位人工智能方面的专家向记者介绍深度合成技术的原理。
许勇说：“首先依靠人脸检测算法提取出人脸区域，然后用人脸关键点定位技术确定五官等关键部位的位置，提取人脸特征、面部表情和动作信息等关键信息，最后将提取出的特征迁移、融合到目标位置，就能实现如今我们看到的AI换脸。”
暨南大学信息科学技术学院硕士生导师林舒源则介绍：“早期移植人脸局部特征的换脸方式存在明显的拼接痕迹，但近年随着生成式对抗网络和扩散模型的快速发展，其合成的人脸效果几乎到了以假乱真的程度。目前市面上的AI换脸软件大都基于深度学习模型/开源框架和大规模的训练数据集，来提供逼真和可信的换脸效果。当然，也有一些软件直接调用第三方公司开放的API接口来实现换脸。从最近的诈骗案件可以看出，当前的AI换脸技术已经足够生成逼真的假象来欺骗受害者。”
林舒源表示，尽管未来鉴别AI换脸和真人之间的区别会变得越来越困难，但仍有可能通过分析和观察来发现一些两者间的差异。“我们要观察眼睛、嘴巴、耳朵等区域的细微特征（如光照、纹理等），那些不自然的变化可能就是AI生成的；如果视频中的人脸与周围环境不协调，遮挡脸部后视频产生扭曲，则可能是AI换脸的结果。此外，如果人脸的动作、表情和语音不匹配或不自然，也可能是AI生成的。”
许勇认为：“AI换脸之后，人的表情会没那么自然，我们可以观察‘人脸部分’与‘身体部分’相比有没有更加模糊或者更加清晰；也可以观察脸的边缘是否存在瑕疵，比如观察人物的嘴唇动作与声音是否同步、某些区域是否存在异常闪烁与形变等。另外，我们要对低分辨率的视频保持额外的警惕。因为低分辨率视频缺乏细节，所以更容易以假乱真。此外，我们可以多关注权威机构和专家的建议。”
律师：AI深度合成需取得当事人“单独同意”
刘镇东律师告诉记者，无论是AI变脸还是AI变声诈骗，当事人在报案时都会存在一个重要的难点，就是他们要去证实当时要求朋友转账的并不是他本人，这方面，收集、固定证据会比较难。“当事人要向司法机关证明自身的生物信息是被别人窃取的，同时证明这些生物信息被他人通过AI深度合成，实施了刑法上所称的虚构事实、隐瞒真相的欺骗行为，从而导致财产受损。”
刘镇东认为，应进一步加强对信息网络平台运营方的监管，“一些平台对个人生物信息的录入过于宽松，导致生物信息很容易被窃取；另外，对于相关深度合成技术的监控管理目前也较为宽松。”
刘镇东介绍，AI换脸软件的使用存在违法、违规的可能。“民法典第1019条就明确规定，任何组织或者个人都不得以丑化、污损或者利用信息技术手段伪造等方式侵害他人的肖像权；去年12月，国家网信办、工信部、公安部联合发布《互联网信息服务深度合成管理规定》明确，深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的，应当提示深度合成服务使用者，要依法告知被编辑的个人，并取得其单独同意。”
今年4月，国家网信办起草了《生成式人工智能服务管理办法（征求意见稿）》，向社会公开征求意见。刘镇东认为，该意见稿定稿发布后，深度合成技术将会受到进一步规制。
如何应对AI诈骗？
企业开发先进反制技术 市民提高警惕、及时固定证据
作为普通人，我们该如何应对深度合成骗术？
许勇建议，相关部门可以加强对群众的宣传教育，让群众了解深度合成技术的原理，从而提高对换脸诈骗的认识和警惕性，“此外，可以建立有效的监测和举报机制，设计更加便捷的举报途径，对举报信息进行及时的调查和处理，保护举报人的权益，鼓励群众积极参与举报AI换脸诈骗行为。而要应对深度合成的假新闻，我们既需要提高公众对信息真实性的判断能力，也要开发自动检测和过滤假新闻的算法与工具。”
林舒源同样认为技术防御可行：“我们应联合各大科技公司开发出更加先进的人工智能技术，包括面部识别、图像反欺骗等技术工具对这些骗术进行反制；同时，还应建立多重验证机制，确保用户的信息不会被盗取或泄露。”他表示，加强公众教育同样重要，科普宣传必须保持不断更新以适应变化。“不但要持续总结过去的成功经验，还要不断学习防诈新技术，总结诈骗新套路，并推广到社区、学校、线上线下等各个领域。”
对个体而言，林舒源认为提高防范意识是减少受骗的关键。
首先是重视个人隐私保护。“市民应谨慎地处理个人敏感信息，不随便在互联网上留下个人信息，尤其是面部数据；还要学会辨别虚假新闻和图片，不轻信未经证实的信息。如果发现虚假信息或被盗用后的个人隐私，应及时举报和处理，避免遭受更大损失。”
其次是提高警惕性。“在网络时代，即使是与我们非常熟悉的人也可能存在身份被盗或者冒充的情况。因此，一旦出现任何可疑的情况或者让人感到不安的交流内容，应该高度警惕，多加甄别和多重验证，包括拨打第三方电话、面对面交流等多途径核验对方身份。”
第三是加强网络安全意识。“我们需要加强自身网络安全意识，确保各类账号安全，不随意泄露个人信息、身份证号码、银行卡信息和验证码等。同时，避免在不可信的网络平台上下载未知来源的应用程序，不打开来路不明的邮件附件，以免被恶意软件感染等。”
刘镇东律师也提醒，市民若不慎被这类AI合成技术所骗，或遇到一些可疑情形把握不准的，一定要注意采取录屏、录音等方式固定证据，并及时拨打110。
文/广州日报全媒体记者 武威
