当前位置:首页 >综合 >NV黄仁勋“挑战”CPU:GPU训练AI可降低96%成本 训练一个LLM大语言模型

NV黄仁勋“挑战”CPU:GPU训练AI可降低96%成本 训练一个LLM大语言模型

2024-06-28 21:07:40 [百科] 来源:避面尹邢网

5月29日消息,挑战在刚刚召开的黄仁2023年台北电脑展上,NVIDIA首席执行官黄仁勋进行了演讲。勋CU训

在演讲中,降低黄仁勋向传统的成本CPU服务器集群发起“挑战”,认为在人工智能和加速计算这一未来方向上,挑战GPU服务器有着更为强大的黄仁优势。

NV黄仁勋“挑战”CPU:GPU训练AI可降低96%成本 训练一个LLM大语言模型

NV黄仁勋“挑战”CPU:GPU训练AI可降低96%成本

NV黄仁勋“挑战”CPU:GPU训练AI可降低96%成本 训练一个LLM大语言模型

根据黄仁勋在演讲上展示的勋CU训范例,训练一个LLM大语言模型,降低将需要960个CPU组成的成本服务器集群,这将耗费大约1000万美元(约合人民币7070万元),挑战并消耗11千兆瓦时的黄仁电力。

NV黄仁勋“挑战”CPU:GPU训练AI可降低96%成本 训练一个LLM大语言模型

NV黄仁勋“挑战”CPU:GPU训练AI可降低96%成本

相比之下,勋CU训同样以1000万美元的降低成本去组建GPU服务器集群,将以仅3.2千兆瓦时的成本电力消耗,训练44个LLM大模型。

NV黄仁勋“挑战”CPU:GPU训练AI可降低96%成本

如果同样消耗11千兆瓦时的电量,那么GPU服务器集群能够实现150倍的加速,训练150个LLM大模型,且占地面积更小。

而当用户仅仅想训练一个LLM大模型时,则只需要一个40万美元左右,消耗0.13千兆瓦时电力的GPU服务器即可。

换言之,相比CPU服务器,GPU服务器能够以4%的成本和1.2%的电力消耗来训练一个LLM,这将带来巨大的成本节省。

(责任编辑:休闲)

    推荐文章
    热点阅读