“黑化”AI：造谣、诈骗，堪比幻术

快播创始人王欣在法庭上发表的“技术无罪论”曾在7年前引发全民讨论。出狱后的王欣修正了他的观点：“技术是无罪的，但人会犯错”。

现在，AI这个技术正在落入不法者手中。5月22日，“AI诈骗正在全国爆发”登上了微博热搜榜首。包头警方披露，不法分子利用AI换脸和仿声，在微信视频中蒙混过关，10分钟内骗取事主430万元。

类似事件频频在国内发生。行骗者用AI工具换脸、模拟声音实施了多起诈骗，不少人中招。

有网友用“幻术”形容可易容、能仿声的AI。此外，还有一些人瞅准了ChatGPT的文本能力，专用它生产谣言，博取眼球，吸引流量。

当AI被“黑化”，正邪攻防战也打响了。

AI换脸+仿声 10分钟骗走430万

当知根知底的微信好友拨来视频，对面是熟悉的面孔和声音，一番寒暄后，好友提出有朋友在外地投标，需要借用一下你的公司账户过一下款。过款方式是先把钱转给你，再让你给他的“朋友”账户汇款。你会对整件事情有所怀疑吗？福州市某科技公司法人代表郭先生没有怀疑，10分钟内打款430万元，但他其实被骗了。根据“平安包头”5月20日发布的公众号消息，郭先生的微信好友在要了卡号后，声称已经把钱打到了郭先生的账户，还把银行转账底单的截图发给了郭先生。基于视频聊天信任的前提，郭先生没有核实钱是否到账，就把钱打给了对方提供的陌生账户内。等郭先生再次联系该微信好友，表示事情已经办妥，没想到对方回复了一个“？”。郭先生这才心生疑窦，打去电话两人一对，这才意识到遇到了“高科技”骗局。原来，和他微信视频过的“好友”，从脸到声音都是假的。郭先生为啥没认出来？AI换脸和仿声发挥了作用。郭先生称，“在视频中确认了面孔和声音，才放松了戒备”。回头复盘，郭先生唯一的操作失误，就是没仔细确认钱到账，就给对方先打了款。而他之所以会这么做，是因为已经在视频里看到了“好友”的脸、听到了“好友”的声。更不可思议的是，骗子并非使用冒牌微信账号与郭先生视频，而是直接用其好友的真实账号发起视频聊天。这表明，朋友的微信账号也在神不知鬼不觉间被骗子盗用了，这也是骗子成功施骗的另一个关键。不幸中的万幸，识别骗局后郭先生第一时间报警，福州、包头两地警银迅速启动止付机制，成功止付拦截336.84万元，但仍有93.16万元被转移，目前正在追缴中。

AI诈骗相关话题引发热议这起诈骗案件一经披露，迅速引发了广泛关注，“AI诈骗正在全国爆发”更是登上了微博热搜榜首。许多网友称，当强大的AI被坏人利用，危害性比进步性带来的威力还大。“脸不能信，声音也不能信了，看来以后想不被骗只有两种办法，一是不借，二是没钱”，有网友流露出担忧，毕竟视频连线都能骗人，“你没法确定电话那头跟你聊天的是谁”。用AI软件造谣、传谣 多人被刑拘“AI仿声诈骗”这股风还是迅猛地吹到了国内。4月27日，《元宇宙日爆》曾发文“接到‘女儿’求救电话 亲妈差点被AI仿声骗了”，那时的案例还发生在美国亚利桑那州，骗子采集女儿的声音，冒充绑匪，让“女儿”在电话里向母亲求救。事后回忆起这一幕时，接到电话的母亲依然对电话里的女儿声音深信不疑。技术已经就位，AI迅速在恶人手中“黑化”，成为掠夺普通人钱财的鬼影。据财经网报道，近期，福州的李先生也遭遇了AI诈骗，骗子冒充其领导打来微信视频电话，谎称亲戚参加竞标需要资金，自己不便出面，想借李先生的名义转给亲戚。李先生因此被骗48000元。小李的大学同学通过QQ跟她借钱。对方打过来一段四五秒的视频电话，小李看到确实是本人，便放心转账3000元。然而，在她第二次转账时发觉异常，再次拨通对方电话，这才得知同学的账号被盗。警方通过侦查发现，此段视频系诈骗分子通过AI技术伪造。类似案件不胜枚举，微博网友“快乐大吉利”将AI比作幻术。被“黑化”的AI不止能通过换脸和仿声诈骗，还成了谣言制造机，给被造谣者带来困扰。今年3月，女孩一丝不挂搭地铁的照片疯传，一些针对照片中人的不良评论出现。结果，有人在某平台找到了与裸照同样姿势的原图，只不过图中的女性穿着衣服，传播的裸照是用AI“一键脱衣”生成的。而照片里的女性本人在生活中已经被各种谣言缠身。几天前，网上流传“上海市青浦区某幼儿园多名女教师因卖淫被警方处理”的信息，后经青浦公安分局查证，该消息是凭空捏造的谣言，后续在传播过程中，还有人在未经核实的情况下，通过AI软件输入关键词，加工生成一篇题为“上海示范幼儿园教师卖淫被抓”的文章，引发大量网民讨论。上述造谣和传谣者已被警方依法刑事拘留。 

青浦公安分局公告的一起AI传谣事件另有郑州市公安局航空港分局于5月20日公告称，有人为了吸粉引流，利用ChatGPT人工智能软件生成虚假不实信息，在公众平台发布“郑州鸡排店惊现血案，男子用砖头砸死女子”等谣言，被依法采取刑事强制措施。能帮忙写文案、做策划的AI工具，在不法分子手中成了造谣、传谣的“助手”，AI作为技术工具的黑色一面显露出来。当AI诈骗频发、谣言满天飞，正与邪的攻防战打响了。包括谷歌、微软在内的科技公司推出了“鉴伪”的相关工具，用技术制裁技术。对于普通人来说，AI诈骗的兴起已经敲响了警钟，面对借钱、汇款等请求，警惕心还需要再提高几个等级，多渠道核实身份成为必要防骗做法。包头警方提示，针对花样翻新的智能AI诈骗，公众要提高防范意识，不轻易提供人脸、指纹等个人生物信息给他人，不过度公开或分享动图、视频等；网络转账前要通过电话等多种沟通渠道核验对方身份，一旦发现风险，及时报警求助。如果有人自称“熟人”、“领导”通过社交软件、短信以各种理由诱导你汇款，务必通过电话、见面等途径核实确认，不要未经核实随意转账汇款，不要轻易透露自己的身份证、银行卡、验证码等信息。如不慎被骗或遇可疑情形，注意保护证据并立即报警。