其实，模仿一个人的声音乃至外貌，对AI来说并不是新鲜事。此前，“AI孙燕姿”就曾在B站等网络平台走红，视频上传者通过使用AI音色替换技术(Sovits4.0)，生成了高度还原孙燕姿音色的翻唱歌曲，其中原唱为周杰伦的歌曲《发如雪》播放量已超过200万次。近期也有媒体报道了一款网络上的付费AI换脸软件，其套餐价格从499元到2888元不等，肉眼来看，换脸之后的“数字人”口型、表情、微小的动作几乎毫无破绽。

诸如此类生成式人工智能（Generative Artificial Intelligence，简称GAI）的大量出现很大程度上得益于深度合成和机器学习的快速发展。而AI诈骗者正是通过这些先进的技术，训练出能够模拟人类语言和神态的AI。

苏州大学竞争政策与反垄断研究中心研究员方翔指出，近期的AI诈骗案件主要是人工智能技术在图像领域的应用，其可以将不同人脸图像中的面部特征相互替换。“拟声”则是借助深度学习模型，根据已有的语音样本（如通话录音、网络视频等）生成与其近似的声音，进而做到与人交谈。

5月24日，中国互联网协会发文提醒，伴随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频，进行诈骗、诽谤的违法行为屡见不鲜。面对利用AI技术的新型骗局，广大公众需提高警惕，加强防范。业内人士普遍认为，“AI换脸”技术的滥用给人们敲响了警钟，其复杂性、隐蔽性也给科技识别及运用提出了更高的要求。

“对于生成式人工智能，正当适度使用，可以倍增工作效率，有力推动创意产业发展，促进消费者福祉增长。但同时，虚假使用可引发谣言泛滥、侵害权利、压榨利益，而过度使用可引发践踏人性、减少就业、贫富悬殊，而恶意滥用甚至成为歪曲真相、撕裂社会、政策干扰、祸乱宇内的罪恶之源。”中国互联网协会法工委副秘书长胡钢认为，要坚持依法崇德治理，使全社会形成法网大于互联网、国法高于算法、人工智能不能成为“人工制人”的共识。

探索构建完善的人工智能法律体系

“我国针对人工智能及数据安全、个人信息保护的立法虽然起步较晚，但日臻成熟。”方翔指出，早在2017年7月，国务院印发《新一代人工智能发展规划》，其作为我国AI发展的纲领性文件，提出了面向2030年我国新一代人工智能发展的指导思想、战略目标、重点任务和保障措施，其中特别提到“到2025年初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力”。