功能及特点

• 可用于训练和推理密集和稀疏模型，具有数十亿到数万亿个参数。
• 提供了许多创新功能，如 ZeRO、3D-Parallelism、DeepSpeed-MoE、ZeRO-Infinity 等，可大大提高训练效率和推理效率，同时降低成本。
• 可以在数千个 GPU 上高效地扩展训练和推理。
• 可以在资源受限的 GPU 系统上进行训练和推理。
• 可以实现前所未有的低延迟和高吞吐量推理。
• 可以实现极端压缩和无与伦比的推理延迟模型大小降低低成本。