当前位置：网站首页>BLOOM模型背后的技术实践：1760亿参数模型如何炼成？

BLOOM模型背后的技术实践：1760亿参数模型如何炼成？

2022-07-15 13:53:00 【智源社区】

近年来，训练更大的语言模型已成为常态。虽然这些模型没有被发布以供进一步研究的问题经常被讨论，但关于如何训练这些模型的隐藏知识却很少得到任何关注。本文旨在通过在 176B 参数语言模型 BLOOM 的示例中阐明在硬件和软件方面训练此类模型背后的技术和工程技术来改变这一点。

但首先，我们要感谢公司、关键人物和团体，他们让一小群敬业的人训练一个 1760 亿参数模型的惊人壮举成为可能。

然后将讨论硬件设置和主要技术组件。

BLOOM

版权声明
本文为[智源社区]所创，转载请带上原文链接，感谢
https://hub.baai.ac.cn/views/18916