苹果研究人员发表了一篇论文《Apple Intelligence Foundation Language Models》，详细谈论了用 Google 的 TPU v4 和 TPU v5 训练其 AI 模型。今天绝大多数 AI 模型都是用英伟达的 GPU 训练的，但苹果没有选择英伟达的硬件。如果你知道两家公司合作历史，应该知道苹果对英伟达是非常不信任的，在英伟达如日中天的 AI 时代苹果看起来也不打算和英伟达修复关系。苹果的服务器端 AI 模型 AFM-server 使用了 8,192 个 TPU v4 芯片训练，客户端的 AFM-on-device 使用了 2,048 个 TPU v5 芯片训练。AFM-on-device 有不到 30 亿个参数，苹果声称其模型击败了部分 Meta、OpenAI、Anthropic 和 Google 的模型。AFM-on-device 总体上赢了 Gemma 7B、Phi 3 Mini 和 Mistral 7B，但未能超越 LLaMa 3 8B。

https://www.theregister.com/2024/07/30/apple_google_tpu_ai/
https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf