特朗普携夫人签署法案，打击AI深度伪造视频和照片：女士们、先生们，请留在座位上，待总统和第一夫人离开玫瑰园后再离席。谢谢 哔哩哔哩 bilibili

同性恋片段 中游推广者则利用非法获取的个人信息库，通过短信、社交软件精准投放诈骗信息。 另一方面，AI技术的普及使得诈骗手段更加多样化和难以防范，没有深厚技术背景的人也能轻松获取和使用相关技术进行诈骗活动，诈骗场景的多样性超出想象，冒充公检法机关、伪造亲友求助、虚拟投资平台等套路层出不穷。 如上述案例所示，以Deepfake、Diffusion为代表的AI信息伪造技术正被不法分子在越来越多的场景中实施犯罪，且犯罪角度、逻辑等也在不断翻新。 可以预见，随着现实世界公共设施智能化程度越来越高、数字世界多模态信息越来越多元，AI信息伪造技术或在更多场景中被利用实施违法活动。 同时，技术滥用已衍生出专业化犯罪链条，诈骗组织通过社交平台精准盗取目标对象的生物特征数据，利用云端合成技术生成克隆声像，实施"数字分身"诈骗。
因此，这种假视频、假音频可以被普通人使用电脑或手机等大众电子设备制作出来，并通过社交媒体广泛传播，从而可能使全社会陷入一场真相与假象之间混杂不清的困境之中，造成"真相的终结"，推动人类社会真正进入"后真相时代"。 例如，一些人通过伪造多个知名经济学家同时唱衰经济的视频，或者重要的银行遭遇恐怖袭击的假视频，并将之投放到网络上，就很有可能造成市场恐慌，使得投资者大量抛售手中的股票，而肇事者就可以从中做空获利。 此外，深度伪造技术还可能为某些国家干涉他国内政提供新的由头。 曾经，美国以"大规模杀伤性武器"为由，绕过联合国安理会单方面对伊拉克进行军事打击，最后发现的却是"洗衣粉"。 如今，有了这一技术，制造冠冕堂皇的理由和"证据"无疑将变得更加容易。 由于政治人物需要经常出现在公众的视野，其公开的照片和视频很容易被获取并用来制作假视频。
应对深度伪造技术的滥用及其安全挑战，需要加强研发预警检测手段，推进立法管制，加强宣传教育，推进国际安全合作治理。 在推动人工智能技术进步的同时，如何管理好这把双刃剑，平衡好发展与监管，确保人们的生活边界不被侵犯，是目前迫切需要解决的问题。 这起案件中的被骗职员所看到的每一个人物和听到的每一个声音都是诈骗者通过精心伪造的"AI换脸、换声"技术制作的，这种高度逼真的伪造技术让人防不胜防。 诈骗者通过此公司的YouTube视频和从其他公开渠道收集公司高管的音视频资料，再利用Deepfake（深度伪造）进行视频生成，形成多人视频会议的画面结果。 未来，具备高度自动化和仿生形态的机器人水军，可以更加高效、低成本地生产大量逼真视频内容。
经警方核实，诈骗分子利用陈先生好友"阿诚"在社交平台发布的视频，截取其面部视频画面后再利用"AI换脸"技术合成，制造陈先生与"好友"视频聊天的假象骗取其信任，从而实施诈骗。 "这个诈骗案还有许多细节尚未披露，仅仅通过一次短暂而逼真的AI视频聊天，就能骗走几百万元，不太现实，中间一定还有很多复杂的过程。 "奇安信安全专家裴智勇对记者表示，以现有的技术发展来看，虽然完成相关诈骗过程不是完全没有可能，但因为成本高，在现实中被使用的概率较低。 目前，深度伪造的主要产品是假视频，而这些假视频已经在脸谱网、推特、WhatsApp、微信、微博等跨国社交媒体上广泛传播，造成了很多负面影响，很多明星和政治人物深受其害。 当前，基于深度伪造技术制作的虚假视频、音频等假消息正在社交媒体上广泛传播，公民如果不假思索地跟着转载、点赞，就可能会加速和扩大假消息的破坏性影响。
2024年刚过半时，发生的AI诈骗案件已经超过1.85亿元，态势严峻。 更令人担忧的是，部分用户对AI"一本正经地胡说八道"盲目信任。 有网友说自己的奶奶最近经常对着手机屏幕"哎"，仔细一看才发现视频中是手拿元宝，一口一个奶奶的AI生成乖孙。 在各大平台上，换脸服务比比皆是，只需要9块9，就能迅速获得一个真假难辨的换脸内容。 在 2017 年发布的《阿西洛马人工智能原则》中，特别强调了"人工智能研究者与政策制动者之间应该存在具有建设性的健康的信息交流"。 区分不清政治人物的真假消息，选民就无法有效选举，民主制度就难以为继；社会信用赤字，借贷、保险、投资等市场行为就将受到影响，社会金融、互助体系等都将受到严重冲击，人的精神世界也可能会面临一场深层次的危机。
"天翼安全科技有限公司副总经理张晖认为"大模型赋能网络安全，则是利用先进的人工智能技术，提升检测与防御能力，为网络空间安全构筑更为智能的防线"。 警方提醒，此类犯罪嫌疑人通常通过网络等渠道搜集受害者视频照片等信息，利用"AI 换脸技术"合成所谓不雅视频或艳照，再通过短信、邮箱等渠道对受害者进行敲诈勒索，如果用户接到不法分子此类短信，应及时向警方报案求助。 欺诈分子已经学会了欺骗传统的检测方法，机器学习已成为检测"深度伪造"不可或缺的工具。 大数据模型可以快速分析大量视频和音频数据，以超出人类能力的速度识别异常。 并且，机器学习模型可以识别"深度伪造"生产算法的特征模式，从而识别"深度伪造"的内容。 另外的一起案件发生在数月前，中国驻美国使馆发言人证实，一名疑似遭绑架的中国留学生实际上遭遇了"虚拟绑架"诈骗 。