在一些修图软件上
我们可以轻松地
抠出图片中的人像
但是面对一连串运动的图像
我们该怎么办呢？
珞珞珈珈听说
武汉大学遥感信息工程学院
有这样一个团队
就凭借视频分割方向的成果
问鼎国际顶尖赛事双冠军！
视频与图像，已经越来越成为我们的工作和生活的重要部分。视频的编辑、加工与包装技术也在愈发成熟。如果在一段视频中，想把我们的人像抠出来，将背景变成武大的校园，应该怎么做呢？视频分割就在这里派上了用场。在国际计算机视觉与模式识别会议（CVPR）和计算机视觉国际大会（ICCV）两大赛事上，武汉大学遥感信息工程学院季顺平教授和2023级博士研究生张韬凭借团队在视频分割上最新的研究成果，夺得了双赛道冠军。两项比赛均是计算机视觉与模式识别领域的顶级学术会议。国际计算机视觉与模式识别会议（CVPR）是由电子与电子工程师协会（IEEE）举办的计算机视觉和模式识别领域的顶级会议，论文录用严格，一般不超过投稿论文的30%。季顺平教授团队参加的是视频全景分割赛道，并在其中过关斩将，脱颖而出，摘得魁首。计算机视觉国际大会（ICCV）同样是计算机视觉领域的顶级学术会议之一，季顺平教授团队参加的是视频实例分割赛事。作为传承多届的老牌赛事，它荟萃了计算机视觉领域的诸多学术精英，关注长视频以及复杂视频上视频分割的性能和最新进展。视频是图像在时域上的扩展，视频分割要在图像分割的基础上，不仅要把每一帧图片中感兴趣的目标都分割出来，而且能够在时间维度上把相同目标都正确地关联在一起。在这次的学术会议上，团队针对目前视频分割方法难以良好利用复杂长视频的持续特征的问题提出了解构的视频实例分割方法，即DVIS方法，通过图像分割、目标追踪、全局精化三个关键阶段，把一个图像中所有感兴趣的区域都给分割出来，关联主帧、利用全局信息来优化每帧，达到更好的视频分割的效果。DVIS的应用范围十分广泛，从无人驾驶需要的连续追踪、感知附近车辆、行人的位置或状态，到直播平台的视频特效，都有它的位置。张韬接触到VIS视觉处理系统，是在2022年五月去短视频平台实习时。基于实习期间的业务需求和此前在图像分割领域的学习，张韬决定进军视频分割领域并着手调研。那时，长视频的分割处理尚不受关注，Mask2Former-VIS是当时最为先进的技术手段。带着对Mask2Former-VIS的一些改进成果，张韬参加了CVPR 2022的LSVOS挑战赛并拿下了第五名的成绩。也正是在这次比赛中，他们发现制约Mask2Former-VIS性能的最根本原因，即利用位置先验来一次性关联目标。在当时，张韬和小伙伴们沿着前人思路钻研，尝试设计时空交互模块来提升效率，但结果不尽人意。虽然比赛没有拿下好的名次，但也为张韬之后的研究提供了充足的经验。
“之前的技术都没法针对复杂长视频做有效处理。具体来说，就是机器获得了更多的视频信息却无法利用，导致视频分割的性能依旧是比较低的。”基于这一缺陷，张韬确立了项目的研究方向：即针对现有技术缺陷，提升视频分割技术对长视频的处理能力。为此，他查阅和分析了大量文献，认为造成这个缺陷的主要原因是：当前主流方法是通过一个端到端的网络，强行把目标分割和目标聚合这两个过程耦合在一起。“这个任务其实非常困难，根本就没有办法得到很好的学习，处理长视频的效率也会很低。”
“能不能把这件复杂的事情分开做呢？”张韬想到，既然一次性实现一个目标在所有帧上的分割和关联是很困难的，那就逐帧去做关联，只考虑相邻两帧之间的关联，然后根据局部对齐好的特征再去聚合整个视频的整体特征，最后优化每一帧上的分割结果以及它相邻帧的追踪结果。
磨刀不误砍柴工，先前实习和竞赛的积累在此刻展现出来，让他们确立了正确的研究目标，从而少走弯路，高歌猛进，最终夺冠。“季老师会为项目申请继续推进的资金，一次次把控研究的具体方向，逐字逐句地润色论文。在老师的帮助下，我们最终获得了双冠军。”张韬回忆道。
▲视频分割示意图
在未来，团队也想让他们的算法更进一步，让它有一个比较强悍的性能，可以处理真实世界无限目标、无限长度的任意的视频。“我希望可以做到随便拍一个视频，都可以用我们的技术很好地去处理。”此外，由于现在的深度学习算法都需要进行标签标注，而视频标签一般都是手工标注，不只需要像图像那样把每一帧的分割结果给标出来，还要把同一目标都关联起来，人工工作量和难度都很高。“我们正在思考如何用少量或者说不用视频标签的情况下做好视频分割的问题。”张韬说。
夺得双冠之后，季顺平教授和张韬博士又将回到各自的研究任务之中。对于即将踏入科研道路的小萌新们，他们又有什么想说的呢？
科研过程很漫长，想做出一些比较好的成果的话，你需要有比较深的积累，还需要对你研究领域的现有挑战以及可能的挑战有一个比较系统或者说比较深入的一个认知。但从零到一的这样一个过程是比较漫长的，而且这个过程中你往往是不会得到什么收获和成果的。所以如果在没有基础的情况下想去做一些科研，我建议加入到一些比较成熟（在某些方向有比较深的积累）的课题组，可以帮助你快速地熟悉这个领域。
季顺平教授
第一，要在实践中逐渐认识自己是否适合做科研、热爱做科研。对于有些学生来说，科研可能是一个痛苦的过程，但经过两年或三年的学习，觉得自己还是挺适合做科研的，科研对他来说有很好的吸引力。还有一些同学很有信心地说：我科研做得还挺好的嘞。因此，大家不要过早地对自己下结论。
第二，一开始就给自己定一个较高的要求。做科研工作确实是需要大量的精力，需要经过长期的积累去慢慢的做的。我们最终所想要的并不是一些浮躁的灌水性的论文，而是一些比较深刻的、有见解的这样的论文，或者说能够让读者从中吸取到新的营养的论文。希望同学们能做一些好的踏实的科研，做真正有价值的科研。
书山有路勤为径
学海无涯苦作舟
今日虽有所成
来日更须努力
双冠的成就之后
还有更多的科研高峰
等待他们
等待更多武大学子
一起攀登
---RECOMMEND---
·推荐阅读·
这就是今天的武大老图书馆！
明天起，全国上映！
武大130校庆NFT准时开抢！
封面图：武汉大学融媒体中心
摄影：朱逸轩
采访：李令仪
文案：苏睿遥 艾芸萱
编辑：艾芸萱
责编：苏睿遥
审核：邢知博
投稿邮箱：whu_luojiahao@163.com