微软发布了其轻量级模型 Phi-3,其中最小版本 Phi-3 Mini 的权重已发布在 Hugging Face 上。Phi-3 有三个版本:Phi-3 Mini 有 38 亿参数,未来计划发布的 Phi-3 Small 有 70 亿参数,Phi-3 Medium 有 140 亿参数。微软高管称 Phi-3 Mini 的性能与 GPT-3.5 接近,但参数规模要小得多。相比参数规模更大的模型,小模型运行开销更低,在个人设备如手机和笔记本上表现更好。
https://huggingface.co/microsoft/Phi-3-mini-128k-instruct
https://www.theverge.com/2024/4/23/24137534/microsoft-phi-3-launch-small-ai-language-model