1

GPT4 结合 Wolfram Alpha 和代码解释器插件在数学和科学测试集中的表现

在测试的各种问题中，带有任一插件的 GPT-4 明显强于 GPT-4 本身。另外，该研究还得出结论，几乎可以肯定的是 GPT-4 强于一年前存在的 AI。然而，其可靠性还远远不够；它经常输出错误的答案或无法输出任何答案。

从总分来看，本文认为这些系统的表现相当于中等本科生的水平。这些系统解决了一些即使是有能力的学生也会觉得具有挑战性的问题，而它们却无法解决一些即使是中学生也会觉得容易的问题。

除此以外，该研究还发现，GPT-4 有时会与插件不适配，少数时候使用插件效果还不如不用插件。

论文：https://arxiv.org/pdf/2308.05713.pdf

2

谷歌发现大模型“领悟”现象

• 虽然训练时 loss 会突然下降，但“领悟”并不是突然发生的，它是一个平滑的变化过程。

• 并非所有 AI 都能学会“领悟”。

• 更大的模型学会泛化的机制。

原文：https://pair.withgoogle.com/explorables/grokking/

3

定制你自己的聊天机器人教程

文章从以下几个方面进行深入讨论

• 数据源

• 分块大小

• 嵌入技术和文档检索器

• LLM

• 自动化和评估

• 部署和监控

原文：https://blog.abacus.ai/blog/2023/08/10/create-your-custom-chatgpt-pick-the-best-llm-that-works-for-you/

4

教大猩猩玩《我的世界》（对于 AI 的思考）

机器学习和大猩猩学习之间的相通之处：

情境强化学习：大猩猩在游戏中达到标记的里程碑时会得到水果或花生，激励它遵循游戏内的指导。

RLHF（Reinforcement learning from human feedback ，基于人类反馈的强化学习）：大猩猩不懂语言，但它可以看到训练师为它加油，它偶尔也会回应他们的欢呼！这给了它一个强烈的信号，表明它正走在正确的道路上。

模仿学习：训练师只向大猩猩展示了如何执行任务的一个示例，它立即就掌握了概念。这比仅使用奖励更有效率。

课程学习：他们从非常简单的环境开始，逐渐教 Kanzi 控制。最后，大猩猩能够导航复杂的洞穴、迷宫和下界。

以上思考来自宝玉老师，原文：https://twitter.com/dotey/status/1690050939795709956

原链接：https://twitter.com/DrJimFan/status/1690041641514704896

5

模型能力分布图

不论国内外，商业模型能力还是强，开源模型要加油了

6

向量化时文档分块的一种优化建议

来自 llama_index 实践

文档分块尽量小，然后选取匹配内容，连带其上下文文档块一起当作选择结果，可能会解决之前的分块问题（回答问题所需要的内容被分到两个块中）

原文：https://gpt-index.readthedocs.io/en/stable/examples/node_postprocessor/MetadataReplacementDemo.html