大模型火了起来,每天我们都能看到各种「大」新闻。开源
图片
今天,模型买账又来了个 Big News:新开源的网友一个大模型超越了 ChatGPT。
具体是第个什么呢?
OpenLLM 是一系列在极小、多样且高质量的开源多轮对话数据集上进行微调的开源语言模型。
这两日,模型买账作者们更新了该系列模型,网友并宣称:OpenChat 模型在 AlpacaEval 上获得 80.9% 的第个胜率;在 Vicuna GPT-4 评估上,性能达到 ChatGPT 的开源 105%。
图片
也就是模型买账上面推特截图中,两位博主宣称的网友开源模型超越 ChatGPT/GPT-3.5。
OpenLLM 的第个特色是基于 LLaMA 开源模型,在只有 6,开源000 个 GPT4 对话的数据集上进行微调,从而达到非常好的模型买账效果。
此次更新的模型型号与评审结果如下:
也就是说,两个模型在 Vicuna GPT-4 评估榜单上结果都超越了 ChatGPT。
但这种评审 + 宣传的方式似乎并不被大家认可。
在 Twitter 讨论中,有网友表明,这就是夸张的说法。
图片
在此「大」新闻公布后,Vicuna 官方也迅速做出了回应。
实际上,Vicuna 的测试基准已被弃用,现在使用的是更高级的 MT-bench 基准。该基准的测试,有着更加具有挑战性的任务,并且解决了 gpt4 评估中的偏差以及限制。
在 MT-bench 上,OpenChat 性能表现与 wizardlm-13b 相似。也就是说,开源模型与 GPT-3.5 仍然有着一定差距。这也正是 MT-bench 所强调的内容 —— 开源模型不是完美无缺的,但是这将迈向更好的聊天机器人评估。
图片
图片
前几日,机器之心报道内容《「羊驼」们走到哪一步了?研究表明:最好的能达到 GPT-4 性能的 68%》,也对开源模型的性能进行了评估。
评估还表明,在任何给定的评估中,最佳模型的平均性能达到 ChatGPT 的 83%、GPT-4 的 68%,这表明需要进一步构建更好的基础模型和指令调优数据以缩小差距。
感兴趣的读者可以查看原文。
责任编辑:张燕妮 来源: 机器之心 开源模型(责任编辑:时尚)