本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,图会通义转载请联系出处。识物商用
阿里开源大模型,基于又上新了~
继通义千问-7B(Qwen-7B)之后,千问阿里云又推出了大规模视觉语言模型Qwen-VL,阿里并且一上线就直接开源。大模B打
具体来说,型又Qwen-VL是开源基于通义千问-7B打造的多模态大模型,支持图像、图会通义文本、识物商用检测框等多种输入,基于并且在文本之外,也支持检测框的输出。
举个🌰,我们输入一张阿尼亚的图片,通过问答的形式,Qwen-VL-Chat既能概括图片内容,也能定位到图片中的阿尼亚。
测试任务中,Qwen-VL展现出了“六边形战士”的实力,在四大类多模态任务的标准英文测评中(Zero-shot Caption/VQA/DocVQA/Grounding)上,都取得了SOTA。
开源消息一出,就引发了不少关注。
具体表现如何,咱们一起来看看~
先来整体看一下Qwen-VL系列模型的特点:
按场景来说,Qwen-VL可以用于知识问答、图像问答、文档问答、细粒度视觉定位等场景。
比如,有一位看不懂中文的外国友人去医院看病,对着导览图一个头两个大,不知道怎么去往对应科室,就可以直接把图和问题丢给Qwen-VL,让它根据图片信息担当翻译。
再来测试一下多图输入和比较:
虽然没认出来阿尼亚,不过情绪判断确实挺准确的(手动狗头)。
视觉定位能力方面,即使图片非常复杂人物繁多,Qwen-VL也能精准地根据要求找出绿巨人和蜘蛛侠。
技术细节上,Qwen-VL是以Qwen-7B为基座语言模型,在模型架构上引入了视觉编码器ViT,并通过位置感知的视觉语言适配器连接二者,使得模型支持视觉信号输入。
具体的训练过程分为三步:
研究人员在四大类多模态任务(Zero-shot Caption/VQA/DocVQA/Grounding)的标准英文测评中测试了Qwen-VL。
结果显示,Qwen-VL取得了同等尺寸开源LVLM的最好效果。
另外,研究人员构建了一套基于GPT-4打分机制的测试集TouchStone。
在这一对比测试中,Qwen-VL-Chat取得了SOTA。
如果你对Qwen-VL感兴趣,现在在魔搭社区和huggingface上都有demo可以直接试玩,链接文末奉上~
Qwen-VL支持研究人员和开发者进行二次开发,也允许商用,不过需要注意的是,商用的话需要先填写问卷申请。
项目链接:https://modelscope.cn/models/qwen/Qwen-VL/summary
https://modelscope.cn/models/qwen/Qwen-VL-Chat/summary
https://huggingface.co/Qwen/Qwen-VL
https://huggingface.co/Qwen/Qwen-VL-Chat
https://github.com/QwenLM/Qwen-VL
论文地址:https://arxiv.org/abs/2308.12966
责任编辑:张燕妮 来源: 量子位 模型开源(责任编辑:热点)
北交所开市在即!11月13日进行通关测试 首批星宿股达81家
每日产品辣评:华仔代言的金品质立天下,这次请来了Beyond
荣盛发展大股东质押公司7599万股股份 占公司总股本比例的1.75%
大别山革命老区正式迎来“高铁时代” 黄黄高铁正线全长126.85公里
航海塔防游戏《BUCCANYAR》Steam页面上线 4月20日发售