最近，字节跳动应用机器学习团队开放了一个名为veGiantModel的大模型训练框架。这种训练框架主要用于自然语言处理领域，可以将大模型训练的性能提升6.9倍，大大减轻训练系统的压力。目前，字节跳动旗下的企业级技术服务平台火山引擎(Volcano Engine)已经在其机器学习平台上原生支持veGiantModel，正在公测中。
自然语言处理是人工智能研究的一个重要领域，旨在帮助计算机理解、解释和使用人类语言。它可以应用于机器翻译、个性化推荐和信息抽取。近年来，自然语言处理的应用取得了重大突破，主要得益于深度学习及相关技术的发展，尤其是伯特、GPT、GPT-3等大规模预训练语言模型的流行。
大规模训练模型可以包含更多的数据，表示更多的信息，算法性能更好。而大模型参数过大，模型设计非常复杂，训练时间长，给现有的训练系统带来了很大的挑战，主要体现在内存、计算和通信的压力上。
针对大模型训练场景下现有训练系统的上述挑战，字节跳动应用机器学习团队提出了大模型训练框架veGiantModel。
与主流开源训练框架相比，veGiantModel的性能最好，受网络带宽影响最小。在特斯拉V100上高出1.2到3.5倍，在安培A100上高出6.9倍，可以大大减轻训练系统的压力。
图说：veGiantModel与威震天、DeepSpeed开源框架在不同GPU类型和网络环境下的性能对比。
近年来，字节跳动不断推广开源技术。2021年，字节跳动的技术团队先后开放了CloudWeGo、微服务中间件、LightSeq训练加速引擎等30多个重要项目。
字节跳动相关技术负责人表示，推动科技创新和开源技术的应用是公司一直倡导的。技术团队将继续通过科技创新为行业发展提供更多动力，帮助科技更好地造福社会。(王乐妍)
资料来源：Guangming.com
