专为在个人设备本地运行而设计,苹果推出小型开源AI模型OpenELM
2024-4-30 18:6:5 Author: mp.weixin.qq.com(查看原文) 阅读量:4 收藏

科技巨头苹果公司最近又新推出了一款名为OpenELM的开源大语言模型,与市面上其他LLM产品不同的是,OpenELM设计为直接在本地设备上运行,而无需云计算。以往LLM产品常为用户所诟病的一点就是隐私保护和数据安全,而通过将数据保留在本地进行处理,毫无疑问能够保障更高的安全性。

据了解,OpenELM系列有八个模型,其中一半使用苹果的CoreNet库进行了预训练(原始模型),另一半经过了特定指令微调以增强其效用(更适合开发AI助手和聊天机器人),所有八款OpenELM模型都能处理至多2048词。这一系列模型现在可通过Hugging Face Hub(一个供AI开发人员分享及合作的热门平台)访问。

这些模型的其中一个显著特点是它们使用了分层缩放策略,优化了Transformer 模型各层之间的参数分配。这种方法不仅节省了计算资源,还提高了在相对较小数据量上的训练性能。例如,在所需的预训练token数量减半的前提下,OpenELM相比于以前的模型(如OLMo),准确率仍提高了2.36%。

值得一提的是,苹果不仅公开了OpenELM模型的源代码,还发布了用于训练它们的CoreNet库。此外,该公司还附带了详细说明使得可以复制神经网络的权重系数,如此程度的透明度水平并不常见。通过发布源代码、模型权重、训练材料及日志,苹果表示其目标是“以最先进的语言模型赋予并丰富开放研究社区”。

论文链接:https://arxiv.org/pdf/2404.14619

编辑:左右里

资讯来源:Apple官网、Applemagazine

转载请注明出处和本文链接



球分享

球点赞

球在看

“阅读原文一起来充电吧!

文章来源: https://mp.weixin.qq.com/s?__biz=MjM5NTc2MDYxMw==&mid=2458553405&idx=2&sn=ad378beab69c3213d23f154e57937909&chksm=b18dbcb786fa35a14a5f53adf7b5138454582e0d97024f52659a9743a6ccc71291019e3b0c14&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh