首个标准 近百名选手参与开源模型代码接力对抗 发布 深度伪造 AI领域多项

红星资本局9月7日消息,在2024外滩大会期间,首个大模型供应链安全领域的国际标准、国内首个金融领域“AI换脸”检测标准相继发布。

同时国内首个大模型攻防主题的科技赛事——“全球AI攻防挑战赛”也正式启动。红星资本局此前报道《对抗“AI换脸”等风险欺诈,外滩大会首办全球Deepfake挑战赛》,中科院自动化所的VisionRush团队,在比赛结束后已经将参赛模型分享至技术社区Github。记者从大会现场获悉,赛事组委会已发起开源倡议,截至目前,已有近百名选手及所在队伍表示愿意参与代码接力,希望通过技术手段,为每一个可能受到伤害的人提供保护。

首个大模型供应链安全国际标准发布

9月6日,在2024外滩大会的论坛上,WDTA世界数字技术院正式发布国际标准《大模型供应链安全要求》。该标准由云安全联盟(CSA)大中华区、蚂蚁集团、微软、谷歌、Meta、PrivateAI等数十家国内外单位的专家共同编制。这是业内首个大模型供应链安全国际标准,标志着全球AI治理的国际合作又迈出了坚实的一步。

信息显示,《大模型供应链安全要求》是WDTA人工智能安全、可信、负责任(AI STR)系列标准之一。该标准给出了大语言模型的供应链安全保护框架,从数据准备、大模型开发到部署运维各个环节涉及的供应链相关安全风险和供应活动管理给出了要求,并给出了常见的供应链安全风险、典型安全案例等相关信息。通过这一标准,可有效识别和评估大模型系统生命周期中面临的供应链潜在安全风险,如数据泄露、模型篡改及供应商不合规等问题,确保供应链的完整性、可用性、保密性,从而提升大模型系统的安全性。

据了解,这一标准不仅为大模型供应链中的供需双方提供了系统性的安全管理框架,也为第三方机构和权威部门的安全审查和合规管理提供了可靠依据,进一步增强了大模型系统的整体安全可信发展。

全国网络安全标准化技术委员会委员/WG7副组长闵京华表示,AI治理的根本目的在于保障AI的价值实现与风险的平衡。实现这一目的,从政策法规、技术标准到安全产品及服务等各个层面都需要行业共同努力协作。技术标准作为其中不可或缺的环节,凝聚了不同组织的专家共识,可确保人工智能系统是安全、可信赖和对所有人都有益的。

近百名选手参与开源模型代码接力

除了标准发布,论坛现场宣布了国内首个大模型攻防主题的科技赛事——“全球AI攻防挑战赛”正式启动。该赛事聚焦AI大模型产业实践,设计了“攻击”与“防守”双向赛道,邀请各路技术人才进行大模型自身安全和大模型生成内容的防伪检测及大模型滥用风险检测竞赛,角逐百万元科技奖金。

近日,Deepfake(深度伪造技术)恶性事件牵动人心。8月30日,赛事组委会发起开源倡议:“支持并鼓励优秀参与者开源比赛模型,降低技术门槛、加强技术交流,进而帮助更多人检测伪造内容,助力AI向善。参赛者自主开源后,大赛组委会将在官方Github主页上汇总所有开源存储库。”倡议一经发出,就得到中国科学院自动化研究所VisionRush队伍和澳门大学JTGroup的积极响应。

开源不仅仅是免费分享,还意味着在技术社区开展代码接力,任何人都可以参与完善开源模型。赛事出题人之一、ZOLOZ技术总监姚伟斌表示,截至目前,已有近百名选手及所在队伍表示愿意参与代码接力,希望通过技术手段,为每一个可能受到伤害的人提供保护。参与选手还在不断增加。

全球Deepfake攻防挑战赛“DeepFakeDefenders”代码接力行动

国内首个金融领域“AI换脸”检测标准正式发布

9月6日,《虚假数字人脸检测金融应用技术规范》标准(下称《标准》)也在2024外滩大会上正式发布。标准规定了金融领域虚假数字人脸检测服务的功能要求、技术要求、性能要求等,并提出了对应的测试评估方法。

据了解,这是国内首个面向金融场景的“AI换脸”检测标准,中关村金融科技产业发展联盟秘书长、中关村互联网金融研究院院长刘勇表示,该标准的发布为金融场景下的虚假数字人脸安全检测和评估提供了依据,也填补了这一领域的空白。

近两年,随着人工智能技术的飞速发展,深度伪造技术也日益成熟,带来了前所未有的安全挑战。特别是金融行业,人脸识别技术作为身份鉴别的重要手段,其安全性直接关系到金融交易的安全与用户资金的安全。刘勇表示,希望通过这个标准指导金融行业及相关机构提升识别虚假数字人脸安全能力,防范相关金融风险。

红星资本局获悉,《标准》在“功能”和“性能”两方面作出了具体规定。功能层面,相关机构应具备替换、活化、深度伪造等五种情况下的虚假数字人脸检测功能。性能层面,相关机构应建立不少于5000张的真实数字人脸数据集,和不同伪造形式的虚假人脸数据集,以应对现实生活中的复杂场景。例如不同肤色、不同光线条件、不同清晰度、包含或不包含语音等都是重要维度。

此外,《标准》也明确虚假数字人脸内容检测服务性能将从准确性、鲁棒性、泛化性、响应速度等四个维度进行评估,考察机构是否具备完整的、高准确度、高性能的检测水平。据了解,在刚结束的外滩大会AI创新赛·全球Deepfake攻防挑战赛上,正是应用了此标准的框架和指标,进行赛题的制定和答案的评价。

红星新闻记者 王田

邓凌瑶

暂停增持!
文化中国行丨贵州黎平侗锦 针线里的民族史书