云原生部署工具 Alexon 发布

Wilson (42865)发表于 2023年07月14日 17时44分 星期五
来自火星棋士

Nala Ginrut 写道：最近SymeCloud Limited(syme.dev) 发布了基于云原生的便捷部署工具 Alexon (alexon.dev)，开发语言为 Scheme。SymeCloud 主要致力于 AI-Infra 方面的研发，目前从 OpenAI 泄露出的技术架构来看，基于大语言模型的推理产品的一部分主要工程难度在于部署。产品级 LLM 并不是简单地跑个单节点，而是有复杂的架构划分与数据流优化组合，这使得原本就复杂的云原生体系在LLM领域将面对更加高复杂度的挑战。Alexon 的目标就是利用函数式编程的特性和模板系统为LLM推理系统的快速试错和部署尽可能降低复杂度，为后续的系统研究铺平道路。Alexon 采用 GPLv3+ 授权，目前还处于早期阶段，欢迎测试把玩和提交 patch。

http://syme.dev/
http://alexon.dev/