6月23日消息,论文阿里巴巴达摩院自动驾驶实验室创新知识蒸馏方法,入选在多个计算机视觉基准测试中,报告显著提升算法性能,阿里超越业界最优方法。创新相关论文已被顶会CVPR 2022收录为口头报告(Oral)。知识蒸馏该技术集成于达摩院自动驾驶算法库,未来有望应用于末端物流无人车“小蛮驴”和自动驾驶卡车“大蛮驴”。
知识蒸馏是一种模型压缩/模型训练方法,指将训练好的大模型(教师模型)的知识“蒸馏”提取到有待训练的小模型(学生模型)中,让小模型获得与大模型相当的泛化能力。大模型往往体积较大、部署成本高,小模型灵活小巧,能够最大限度降低对计算资源的消耗。
CVPR 2022官网的论文分享
知识蒸馏是业界和学界的热门研究课题。达摩院论文Knowledge Distillation via the Target-aware Transformer指出,以往的知识蒸馏方法,大多以一对一的空间匹配方式,将教师模型的特征提取到学生模型。但由于结构差异,大小模型在同一空间位置上的语义信息通常是不同的,这极大削弱了一对一蒸馏方法的基本假设。
论文提出一种新的基于transformer的一对多空间匹配方法,将教师模型特征的每个像素提取到学生模型特征的所有空间位置,通过参数相关性来衡量以学生特征和教师特征的表征成分为条件的语义距离,并对这种相关性进行建模。
在ImageNet、Pascal VOC和COCOS-tuff10k等基准测试中,新方法表现出色。如,针对ImageNet数据集的图像分类任务,基于同一个学生模型(tiny ResNet18),新方法将模型的top-1准确率从70.04%提高到72.41%,显著高于之前最优蒸馏方法的71.61%。;针对COCO-Stuff10k上的语义分割任务,新方法将mobilenetv2结构的mIoU提高1.75%。
达摩院研发的物流无人车小蛮驴现已配送订单超过1000万
知识蒸馏方法广泛应用于知识迁移、半监督学习、计算机视觉等下游算法。自动驾驶技术团队更关注其对线上模型性能的提升,让小模型也能起大作用,论文作者于开丞介绍,“自动驾驶是个超级AI系统,每天都要处理海量的图像、点云信息,算法性能关系到终端产品的智能性、安全性、可靠性,可以说,是工业实践推动着技术创新。”
据悉,达摩院研发的L4级自动驾驶产品小蛮驴现已落地超过500辆,在学校、社区等末端场景配送订单超过1000万。达摩院已启动面向干线物流的无人卡车“大蛮驴”的研发。
责任编辑:赵立京 来源: 阿里云 达摩院自动驾驶(责任编辑:时尚)
广投集团完成国企改革三年行动302项工作任务 企业活力和效率明显提升
英伟达否认放弃收购Arm股价收盘大跌4.5% 公司回应态度不变
华电国际(600027.SH)公布消息:拟购买蒙东能源45.15%股权及福源热电36.86%股权
天立教育(01773.HK)获主席兼行政总裁罗实增持 每股均价0.61港元
助学贷款毕业后必须一次性还清吗 毕业当年就开始计算利息了吗?
前10月全国规模以上工业发电同比增长10.0% 水电同比下降11.9%
青岛中远海运为中小企业减免租金3200余万元 切实减轻企业负担