自 2023 年 3 月 14 日开源 ChatGLM-6B 以来，GLM 系列模型受到广泛关注和认可。特别是 ChatGLM3-6B 开源以后，开发者对智谱AI 第四代模型的开源充满期待。 为了使小模型（10B 以下）具备更加强大的能力，GLM 技术团队进行了大量探索工作。经过近半年的探索，我们推出了第四代 GLM 系列开源模型：GLM-4-9B。 在预训练方面，我们引入了大语言模型进入数据筛选流程，最终获得天富平台了 10T 高质量多语言数据，数据量是 ChatGLM3-6B 模型的 3 倍以上。同时，我们采用了 FP8 技术进行高效的预训练，相较于第三代模型，训练效率提高了 3.5 倍。在有限显存的情况下，我们探索了性能的极限，并发现 6B 模型性能有限。因此，在考虑到大多数用户的显存大小后，我们将模型规模提升至 9B，并将预训练计算量增加了 5 倍。 综合以上技术升级和其他经验，GLM-4-9B 模型具备了更强大的推理性能、更长的上下文处理能力、多语言、多模态和 All Tools 等突出能力。GLM-4-9B 系列模型包括：基础版本 GLM-4-9B（8K）、对话版本 GLM-4-9B-Chat（128K）、超长上下文版本 GLM-4-9B-Chat-1M（1M）和多模态版本 GLM-4V-9B-Chat（8K）。 以下是 GLM-4-9B 的能力掠影： 具体性能如下： 基础能力 基于强大的预训练基座，GLM-4-9B 的模型中英文综合性能相比 ChatGLM3-6B 提升了 40%，尤其是在中文对齐能力 AlignBench、指令遵从 IFeval、工程代码 Natural Code Bench 方面都取得了非常显著的提升。对比训练量更多的 Llama 3 8B 模型也没有逊色，英文方面有小幅领先，中文学科方面更是有着高达 50% 的提升。 长文本能力 GLM-4-9B 模型的上下文从 128K 扩展到了 1M tokens，这意味着模型能同时处理 200 万字的输入，大概相当于 2 本红楼梦或者 125 篇论文的长度。 GLM-4-9B-Chat-1M 模型在 1M 的上下文长度下进行了“大海捞针”实验，展现出了出色的无损处理能力。 以下两个 demo 视频案例展示了 GLM-4-9B 的长文本能力。 在 GLM-4-9B-Chat 版本模型下，我们输入了 5 个 PDF 文件，总长度约为 128K，并给出了以下 prompt：“基于上述材料，写天富注册开户一个详细的调研报告，主题是中国大模型的发展，采用报告的书面格式。”结果显示，模型能够写出比较好的调研报告，且生成速度很快。（视频未加速） 在 GLM-4-9B-Chat-1M 版本模型下，我们输入了《三体》的 3 本全集，约 90 万字，并给出以下 prompt：“请仔细阅读上面的三部小说，如果让你给这个小说写第四部，你会怎么写，请给出大纲。”模型能够比较合理地规划并给出续写的框架。（视频加速 10 倍）

---

这是水淼·PHPWEB站群文章更新器的试用版本更新的文章，故有此标记(2024-06-06 17:30:50)