红星资本局9月5日消息,近日,中科院女工程师张欣怡发布视频称,“经团队同意,将参加外滩大会AI创新赛·全球Deepfake(深度伪造技术)攻防挑战赛的AI模型向全球开源。”此事引发热议。
Deepfake即通过人工智能技术中的深度学习模型将图片或者视频叠加到原始图片或视频上,借助神经网络技术,对大量数据进行学习后,将人的声音、面部表情及身体动作拼接合成为非常逼真的虚假内容。韩国近期曝出的Deepfake女性受害事件,被认为是采用新犯罪手段的“N号房”案件重现,这也让人工智能的应用与安全再次受到广泛关注。
红星资本局了解到,张欣怡所在团队是中科院自动化所的VisionRush团队,在比赛结束后已经将参赛模型分享至技术社区Github,希望通过开源的方式,降低该技术的使用门槛,守护真实世界。选手张欣怡在微博中说:“这个世界有黑暗,也有照亮黑暗的光。如果一个人的火把太小,我们就把火把传给世界的每一个人。”
截图自微博
师生组队,参赛团队平均年龄25岁
红星资本局在外滩大会的现场了解到,张欣怡所在团队日常工作就是为国家网络空间安全提供技术支撑。中科院自动化所的硕士生导师王博,同时也是团队队长,他表示,这次他们师生7个人、组成了平均年龄25岁的参赛团队。
VisionRush团队提供
98年出生的张欣怡,本科是香港中文大学的金融学,研究生所学专业为哥伦比亚大学运筹学。作为团队里唯一的女生,张欣怡提到,人工智能领域的女性工也越来越多,在数据处理等工作上,女生反而会更细腻、观察更仔细。
团队里一共有3位00后,最年轻的一位是来自东南大学的大三学生唐楚杰,擅长多模态内容生成,即将被保研,目前正在暑期实习。
王博毕业于北京大学,他说:“我本身就是学计算机专业的,对网络攻防很有兴趣,区别于黑客、木马病毒等传统信息安全,我研究的是多媒体内容安全,比如说文本、音视频等内容是否涉及违规有害内容。
现如今生成式AI爆火,图片和视频真假难辨,专业防御难度很大。“生成式技术发展很快,各种深度合成工具门槛越来越低,很难跟踪到每一种生成技术,很多时候都是事发生了,我们再去做分析和检测,然后去复盘下次怎么尽可能去规避风险。”王博说,现在互联网中的伪造数据爆发式增长,很难对全网数据进行审查,伪造和鉴伪的资源投入不平衡也是一大挑战。
他认为比赛很有意义,可以帮助更多的人关注和了解生成式人工智能、深度伪造这些技术,提高人们的警觉性。同时也可以吸引大量技术人才投身这个领域开展研究和开发工作,促进国家网络安全领域的发展和进步。
AIGC的生成伪造,今年攻击量增了近10倍
红星资本局了解到,本届外滩大会首次增设“科技智能创新大赛”,其中Deepfake大赛针对“AI换脸”的欺诈风险进行攻防实战演练,并设立100万元人民币的奖金池,鼓励推动AI向善的技术人才。大赛吸引了全球2200多名选手,1500多支队伍报名,覆盖中国、美国、印度、澳大利亚、日本、印尼、马来、新加坡、越南等26个国家和地区。
Deepfake攻防赛由中国工程院院士王耀南担任专家委员会名誉主席,蚂蚁数科ZOLOZ和天玑实验室作为大赛出题方,赛题包含图像和音视频两大主流的Deepfake研究方向,是CV(即计算机视觉)领域最权威赛事之一。
Deepfake赛事则是覆盖了最主流的图片和图像赛道,覆盖了从基础科研到商业转化的全过程。数据集由公开数据和伪造数据组成,其中,伪造图片数据涵盖了现实场景中超50种生成方式,伪造音视频中则纳入了超100种组合攻击方式,训练数据集总量超过100万。
全球Deepfake攻防挑战赛出题人、ZOLOZ技术总监姚伟斌在接受媒体采访时表示,AIGC的生成伪造,今年的攻击量比去年大概增加了10倍。整个风险其实是呈指数级上升的情况,不仅仅是在中国,在韩国,在菲律宾、印尼等等国家都有类似的情况发生。
他还透露,在外滩大会期间ZOLOZ将会发布一个人脸检测的行业标准,未来也会同国内外相关机构合作共同推进法律法规的落地。
红星新闻记者 王田
肖世清