MLCommons官方公布针对60亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J的亿参 MLPerf推理v3.1的性能基准测试结果,Intel CPU处理器、数A试AI加速器表现亮眼,型测先在AI推理方面相当有竞争力。倍领
此前6月份披露的可替MLCommons AI训练结果、Hugging Face性能基准测试成绩表明,亿参Intel Gaudi2 AI加速器在先进的数A试视觉语言模型上,表现完全可以超越NVIDIA H100 股加速器,型测先堪称可唯一替代NVIDIA H100/A100的倍领可行方案,最新结果再次验证了这一点。可替
GPT-J模型上,Intel Gaudi2加速器的GPT-J-99、GPT-J-99.9服务器查询和离线样本的推理性能分别为78.58次/秒、84.08 次/秒。
对比竞品,H100相较于Gaudi2只有1.09 倍(服务器)、1.28 倍(离线)的性能领先优势,Gaudi2对比A100的优势则可达2.4倍(服务器)、2倍(离线)的性能。
值得一提的是,Gaudi2提交的结果采用FP8数据类型,准确率达到99.9%。
Gaudi2软件每6-8周就会更新一次,将继续提升MLPerf基准测试性能,并扩大模型覆盖范围。
60亿参数AI模型测试:Intel 2.4倍领先!唯一可替代NVIDIA
同时,Intel提交了基于Sapphire Rapids第四代至强可扩展处理器的7个推理基准测试,其中就包括GPT-J模型。
结果显示,包括视觉、语言处理、语音和音频翻译模型,以及更大的DLRM v2深度学习推荐模型、ChatGPT-J模型在内,四代至强在处理通用AI负载时性能非常出色。
截至目前,Intel仍是唯一一家使用行业标准的深度学习生态系统软件提交公开CPU结果的厂商。
根据最新结果,使用GPT-J对大约1000-1500字新闻稿进行100字总结的任务,四代至强在离线模式下每秒完成两段,实时服务器模式下则可完成每秒一段。
此外,Intel首次提交了至强CPU Max处理器的MLPerf测试结果,其集成最多64GB HBM3高带宽内存,对于GPT-J而言是唯一能够达到99.9%准确度的CPU,非常适合精度要求极高的应用。
责任编辑:武晓燕 来源: 快科技 AI模型测试(责任编辑:时尚)
中国银行(03988.HK)拟赎回全部2.8亿股第二期境内优先股 每股面值人民币100元
爱美客(300896.SZ)年报推10转8派35元 除权除息日为2021年3月16日
云南省国资委印发《关于加快推进绿色国资建设的实施意见》 推进示范引领
碧桂园服务(06098.HK)公布:拟收购蓝光嘉宝服务(02606.HK)64.62%股权 明日复牌
天保基建(000965.SZ):2020年净利降49.78% 基本每股收益0.0859元