AI模型可被劫持,Hugging Face转换服务存在高风险漏洞
2024-2-29 17:59:13 Author: mp.weixin.qq.com(查看原文) 阅读量:1 收藏

网络安全公司HiddenLayer上周三在一份报告中表示,他们发现Hugging Face Safetensors转换工具存在着漏洞,可能被利用来劫持AI模型并发动供应链攻击。

Hugging Face是一家从事人工智能(AI)、自然语言处理(NLP)和机器学习(ML)的科技公司,提供一个社区协作平台,方便用户托管并共享模型、数据集以及应用程序。

而Safetensors则是该公司专门设计的一种新型模型存储格式,旨在以安全为前提存储张量,它为此配备了一个转换服务,使用户可以通过拉取请求将PyTorch模型(即pickle,较容易被黑客武器化,以执行任意代码并部署Cobalt Strike、Mythic和Metasploit。)转换为更安全的Safetensor。

然而,HiddenLayer的分析发现,攻击者能够冒充Hugging Face转换机器人,向该平台上的任何存储库发送恶意拉取请求,同时劫持通过转换服务提交的任何模型。一旦用户尝试转换自己的私人存储库,潜在的攻击可能会导致Hugging Face令牌被盗取,进而使得内部模型和数据集被访问并篡改。

安全研究员对Hugging Face上托管的PyTorch和Tensorflow Keras模型进行了扫描,从中发现了上百个具有某种形式恶意功能的模型。一个例子是最近由名为“baller423”的用户上传的一个PyTorch模型(已从Hugging Face上移除),其中包含一个有效负载,使其具有建立到指定主机(210.117.212.93)的反向shell的能力。

HiddenLayer的研究人员表示:“虽然Hugging Face生态系统在保护机器学习模型方面有着最好的意图,但转换服务已经被证明是容易受攻击的,并且有可能通过Hugging Face官方服务引发广泛的供应链攻击。”

报告链接:https://hiddenlayer.com/research/silent-sabotage/

编辑:左右里

资讯来源:hiddenlayer

转载请注明出处和本文链接

每日涨知识

MD5 

一种重复加密散列函数,用于进行消息验证(包含数字签名)。该函数于 1991 年由Rivest 开发。



球分享

球点赞

球在看

“阅读原文一起来充电吧!

文章来源: https://mp.weixin.qq.com/s?__biz=MjM5NTc2MDYxMw==&mid=2458542779&idx=2&sn=a51950a2497778688e42d361d47513cc&chksm=b18d523186fadb27f19e97912ec525b63c0274f787e86870aa214c8363755a8bfcdb2bbe567a&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh