微信视觉团队斩获CVPR 2023 Video Similarity Challenge双赛道 成功获得该比赛双赛道冠军

近日，微信CVPR 2023 Video Similarity Challenge比赛圆满结束，视觉双赛微信视觉团队凭借出色的团队表现，成功获得该比赛双赛道冠军。斩获

在比赛中，微信微信视觉团队以深厚的视觉双赛技术实力成功夺得了Descriptor Track 和 Matching Track两个赛道的冠军，并在Matching Track赛道提出了创新性的团队解决方案，比赛指标远超其他参赛者。斩获目前，微信相关技术论文《A Dual-level Detection Method for Video Copy Detection》、视觉双赛《 A Similarity Alignment Model for Video Copy Segment Matching》已发布于论文预印本网站arXiv。团队

Descriptor Track最终榜单和Matching Track最终榜单

微信视觉团队挑战CVPR 2023 Video Similarity Challenge，成功斩获双赛道冠军

伴随着短视频平台的微信兴起，短视频搬运、视觉双赛抄袭等问题也日益严峻，团队视频原创保护意识和视频拷贝检测技术逐渐引起广泛关注与重视。为推动视频拷贝检测领域的不断进步， Meta AI在 CVPR 2023 Workshop上发起Video Similarity Challenge。作为计算机视觉领域的全球顶会，CVPR举办了许多比赛，每次比赛都吸引了众多国内外企业、科研机构的顶尖团队参与角逐，此次也不例外。其中，微信视觉团队也报名参加了此次比赛。

据了解，视频拷贝检测技术是用于检测一个视频是否拷贝了另外一个视频，包括完整拷贝、片段剪辑以及各种滤镜特效花边字幕等编辑对抗。其中，Descriptor Track 和 Matching Track是视频拷贝检测工作中的两个重要的环节。基于此，本次比赛设立了Descriptor Track 和 Matching Track两个赛道。

在比赛中，微信视觉团队表现出色，以0.8717和0.9153的成绩成功揽下双赛道冠军。其中，在Matching Track赛道上，微信视觉团队提出了新的解决方案，得分也远超其他参赛者。

微信视觉团队推出新方案，已部署应用于视频号

据介绍，此次比赛难点在于不仅需要判断两个视频质检是否存在拷贝关系，还需要定位到两个视频拷贝片段具体位置。这里需要高性能的视频特征，用于在巨大视频库中召回拷贝视频。此处主要的挑战是源视频和拷贝视频通常存在大量编辑，而且拷贝时长，位置也是完全随机的。对于拷贝片段的实际匹配关系，则一直是业界的难点，特别是对于时长较短的拷贝片段非常难做到准备的定位。因此， Video Similarity Challenge比赛将这个问题分为Descriptor Track 和 Matching Track两个赛道。

比赛中，微信视觉团队克服重重难点，成功登顶两个赛道榜单的榜首，并且在Matching Track赛道上，还研发出了一套更为精准、高效的解决方案。

在Descriptor Track 赛道中，微信视觉团队经过数据分析后明确了任务难点，并基于此提出了一个两阶段检测方法来识别拷贝视频，该方法分为Frame-Level Embedding、Video Editing Detection和Frame Scenes Detection三个模块。在对3个模块进行深度训练学习后，最终在uAP指标上取得了0.8717的成绩，相比第2名的0.8514有明显提升。

在Matching Track 赛道上，微信视觉团队提出的Matching Track 解决方案由Feature Extraction、Similar Segment Matching和Similar Segment Parsing三部分组成。其中，Feature Extraction 基于Descriptor Track 方案，负责视频帧级别embedding提取；Similar Segment Matching 则基于query视频和reference视频的帧级别embedding相似度矩阵为输入。

首先，基于MobileNet-V3等分类器，从大量召回中筛选正样本，剔除大量简单负样本召回，减少Matching阶段计算开销。其次，使用HRNet-w18作为骨干网络，预测每帧的匹配关系。最后Similar Segment Parsing阶段，经过连通分量算法和RANSAC回归算法的后处理，得到源视频和copy视频的copy片段匹配关系。该方案在比赛评测数据上，uAP指标达到了惊人的0.9153，远超其他参赛者。

目前，微信视觉团队在CVPR 2023 Video Similarity Challenge比赛中的相关技术方案已在视频号落地使用。作为内容记录与创作平台，微信视频号始终尊重并维护每位权利人的知识成果，通过“首发内容保护机制”、“原创声明机制”、线上+线下协同合作、电子侵权投诉系统、关联帐号打击等措施，优化用户体验，提升处理能效。

未来，微信视觉团队也将不断加强在Video Similarity（视频相似性）方面的技术积累，将先进技术落地应用至产品场景，持之以恒地打击短视频拷贝、直播录播盗播等黑灰产，竭力打造繁荣健康的原创内容生态。

雷峰网(公众号：雷峰网)

雷峰网版权文章，未经授权禁止转载。详情见转载须知。

(责任编辑：综合)