Skip to content

v3.0.0-beta2

Pre-release
Pre-release
Compare
Choose a tag to compare
@ZHUI ZHUI released this 08 Oct 08:52
· 42 commits to release/3.0-beta2 since this release
v3.0.0-beta2
81de41a
This commit was created on GitHub.com and signed with GitHub’s verified signature.
GPG key ID: B5690EEEBB952194
Learn about vigilant mode.

本次更新强化了PaddleNLP的基础设施，新增了Qwen2.5、Mixtral 8*22B模型并升级了Tokenizer功能，同时重命名了数据索引工具。

此外，还修复了MoE模型参数保存与加载等问题，提升了文本处理准确性，并更新了文档与测试用例。在推理性能、硬件支持及自动并行方面也进行了优化，包括支持更多模型与参数配置、多GPU推理、国产硬件支持增强以及分布式训练流程优化等。

核心变更与增强功能

  1. 基础设施强化：

    • 新增Qwen2.5模型（#9157 ），Mixtral 8*22B。进一步丰富模型库。
    • Tokenizer功能升级，现支持加载额外解码标记added_tokens_decoder（#8997 ），提升灵活性。
    • 数据索引工具tool_helpers重命名为fast_dataindex（#9134 ），以更直观反映其功能特性。
    • 实现训练过程中数据间隔跳过的功能（#8989 ），优化数据处理效率。
    • Unified Checkpoint优化：
      • 更新优化器异步保存信号（#8975 ），保证保存稳定。
      • 修复统一检查点中的多项问题（#9082 ），确保功能正确性。

  2. 问题修复：

    • 解决了MoE模型参数保存与加载的问题（#9045 ）。
    • 修正Tokenizer中空格与特殊符号处理的不足（#9010 , #9144 ），提升文本处理准确性。

  3. 文档与测试更新：

    • 更新多个文档，涵盖LLM模型文档（如#8990 , #8999 ）及量化文档（#9057 ）等，确保信息的时效性与准确性。
    • 新增测试用例，如针对PIR模式序列并行的测试（#9015 ），强化测试覆盖度。
    • 修复文档中的链接错误（如#9127 ），提升用户体验。

  4. 其他关键变更：

    • 推理性能优化：
      • LLM推理代码得到优化，支持更多模型与参数配置（如#8986 , #8995 ），拓宽应用场景。
      • 实现Qwen2_Moe多GPU推理（#9121 ）及wint4量化（#9129 ），提升推理效率。
      • 加强LLM推理对FP8与INT8的支持（如#9032 , #9151 ），满足多样化精度需求。
    • 硬件支持拓展：
      • 增强对DCU、XPU、MLU等国产硬件的支持（如#8983 , #8504 , #9075 ），促进国产化替代。
      • 优化上述硬件上的模型训练与推理性能，提升整体运算效率。
    • 自动并行优化：
      • 修复训练过程中数据重复跳过的问题（#8980 ），确保数据处理的正确性。
      • 更新自动并行配置与检查点转换器（如#8847 , #9136 ），提升并行训练的灵活性与稳定性。
      • 新增损失NaN/Inf检查器（#8943 ），及时发现并处理潜在数值问题。
      • 优化分布式训练中的数据加载与梯度合并流程（如#9120 , #9179 ），提升训练速度与稳定性。

What's Changed

New Contributors

Full Changelog: v3.0.0-beta1...v3.0.0-beta2

Contributors

tizhou86, Meiyim, and 44 other contributors
Assets 2
Loading