技术一直以来都是双刃剑，人们在享受技术带来便利、新奇的同时，也会面临技术被滥用带来的风险。今年以来，以ChapGPT为代表的AI技术应用大爆发，各种大模型层出不穷，同时也带来了网络安全隐患，作为最新兴起的技术，AI人工智能着实为社会带来了长足的进步，但AI技术，特别是AI换脸以及拟声技术的普及和操作低门槛，也容易被不法分子利用。

当前，机器学习、人工智能、大数据、人脸识别等热点技术已被犯罪分子用于实施诈骗，花样翻新的诈骗令人防不胜防。

近日，“AI诈骗正在全国爆发”的词条就登上了微博热搜榜：福州市某科技公司法人代表郭先生10分钟内被骗430万元。事后，郭先生拨打好友电话才知道被骗，骗子通过智能AI换脸和拟声技术，佯装好友对他实施了诈骗。值得注意的是，骗子并没有使用一个仿真的好友微信添加郭先生为好友，而是直接用好友微信发起视频聊天，骗子极有可能通过技术手段盗用了郭先生好友的微信。幸运的是，接警后福州、包头两地警银迅速启动止付机制，成功止付拦截336.84万元，但仍有93.16万元被转移。

AI诈骗案例频出

官方数据显示，电信诈骗案件侦办处于高压态势，2022年共破获电信网络诈骗案件46.4万起。最高人民法院刑三庭副庭长李睿懿此前曾经表示，电信网络诈骗犯罪发案在一些大中城市刑事案件中的占比甚至达到50％；仅2020年全国电信网络诈骗案件涉及财产损失即达353.7亿元。

正如文章头里案例一样，骗子直接使用上AI换脸的方式来骗取郭先生的信任，由于视频当中，不论是面容还是声音，都和好友完全一致，这让郭先生放松了警惕，这也说明了现在科技高速发展的情况下，即便是以往使用微信视频来验证“真身”的方式，也已经不再是最为靠谱的。

无独有偶，2020年，上海某公司高管因对方使用AI换脸与人工生成的语音技术制作公司领导的面孔，并要该高管转账，致使该高管被诈骗150万元。

浙江温州公安曾发布消息，2021年拱宸桥派出所接到报警，受害人小陈称他在与女网友视频聊天后被对方敲诈勒索。经警方调查，对方利用AI换脸技术，将小陈视频中的面部合成到不雅视频中，借此对其实施勒索。“AI换脸”只需要提供一张带脸的照片，就可以把自己置换成视频、电视剧中的男（女）主角，而且拟真度非常高，毫无违和感。

2021年6月19日，哈尔滨市公安局破获一起诈骗分子利用“人脸识别”方式，在一个小时内，将被害人借记卡盗刷一空的案件。受害人通过视频会议软件向诈骗分子提供了自己手机的信息，同时人脸信息暴露，被对方截取用于转账取款，成为对方成功实施诈骗的关键一环。

据华西都市报此前报道，2022年2月，有位陈先生到浙江温州市公安局瓯海分局仙岩派出所报案称，自己被“好友”诈骗了近5万元。经警方核实，诈骗分子利用陈先生好友“阿诚”在社交平台发布的视频，截取其面部视频画面后再利用“AI换脸”技术合成，制造陈先生与“好友”视频聊天的假象骗取其信任，从而实施诈骗。

揭露利用AI诈骗的手段

利用AI欺诈的应用是一个相对较新的发展，但也是一个日益严重的问题，骗子正在使用人工智能技术来模仿人们所爱的人的声音，以骗取他们的钱。这类欺诈包括使用深假技术为某人的声音制作令人信服的录音，然后利用这些录音来操纵和欺骗毫无戒心的受害者，譬如：假冒身份：通过AI技术生成逼真的虚假身份信息，欺骗受害人；恶意软件：通过AI技术生成具有欺骗性的恶意软件，例如木马病毒、勒索软件等；诈骗电话：通过AI语音合成技术模拟银行客服人员、公安民警等身份进行诈骗等。

但最新的手段是利用换脸和拟声结合的诈骗，让人真假难辨：

AI拟声诈骗

骗子盗取或购买目标人物的声音数据，再利用深度学习等人工智能技术，将目标人物的声音数据替换为目标人物以外的其他人的声音数据，生成逼真的虚假语音，并以目标人物的声音进行电话诈骗。当受害者接到电话时，往往会被骗取钱财或个人信息。

据了解，2016年，谷歌在加拿大蒙特利尔大学建立的人工智能实验室(MILA)。基于声音合成技术，MILA在2017年4月成立了Lyrebird公司。在其网站DEMO部分，可以听到官方合成的足以以假乱真的特朗普以及奥巴马的声音。美国有位记者用机器合成的句子和家里人打电话做实验，他的家人完全分不清楚真假。

合成的声音有明显的痕迹，但WaveNet可以把合成痕迹明显的机器语音，转换成更加流畅自然的语音，与人类声音之间的差异大幅降低，目前在鬼畜视频界做得风生水起。而Lyrebird则更进一步，它可以基于音色、音调、音节、停顿等多种特征，来定义某个人的声音，然后生成更加拟真的声音。

AI换脸诈骗

视频通话的可信度明显高于语音和电话，但利用AI换脸，骗子可以伪装成任何人。骗子先盗取或购买目标人物的面部特征数据，再利用深度学习等人工智能技术，将目标人物的面部特征数据替换为目标人物以外的其他人的面部特征数据。利用生成对抗网络等技术，生成逼真的虚假视频或图片进行欺诈。

AI大时代 网络安全更应受重视

对于电信诈骗犯罪，去年全国公安机关持续组织集群战役，深入开展集中攻坚行动，抓金主、铲窝点、打平台、断资金，开展全链条打击，先后开展了“云剑”“断卡”“断流”等专项行动。

在政策层面，4月11日，国家互联网信息办公室起草了《生成式人工智能服务管理办法（征求意见稿）》并向社会公开征求意见，对数据合规性、生成内容合法性提出进一步要求。国外方面，欧洲议会内部市场委员会和公民自由委员会以压倒性多数票通过《人工智能法案》提案的谈判授权草案，向立法严格监管人工智能技术的应用迈出关键一步。

根据IDC数据，2021年中国网络安全市场总投资规模为122亿美元，预计2026年将达到319亿美元，2021年~2026年规模增速复合增长率为21.2%。

随着AI监管政策落地，数据安全、隐私保护等安全需求将进一步上升，网络安全防护范围、防护主体将进一步扩大，有望打开行业成长新空间。

为应对AI对网络安全提出的新挑战，绿盟科技、奇安信-U、美亚柏科、启明星辰、安恒信息等多家网络安全公司也已采取行动。

个人也需要提高警惕，不轻易提供人脸、指纹等个人生物信息给他人，不过度公开或分享动图、视频等，陌生链接不要点，陌生软件不要下载，陌生好友不要随便加，防止手机、电脑中病毒，微信、QQ等被盗号等等，避免成为骗子的下一个目标。同时，也需要加强监管，防止这种骗局的滋生和蔓延。