[TOC] >行人重识别（ReID） ## 一. ReID概述 一般是「检测+重识别」，一方面，是因为单是重识别任务都很难做的很好，另一方面，两个任务本身独立性比较强。 ## 二. 基础论文阅读 ### 1. Person Re-identification in the Wild Paper： <https://arxiv.org/abs/1604.02531> 论文就行人框和重识别的关系进行讨论，探讨了哪种组合更能提高重识别结果。 ### 2. Joint Detection and Identification Feature Learning for Person Search > 第一版叫 End-to-End Deep Learning for Person Search Paper：<https://arxiv.org/abs/1604.01850> 直接将行人检测（fast-rcnn）和再识别整合到一个卷积神经网络上，减少了行人检测框错行人导致的误差，实验准确率达到了60%以上。 ## 二. CVPR2018 论文简介[^1] [^1]:CVPR 2018 Person Re-ID相关论文.<https://zhuanlan.zhihu.com/p/34716633> ### 1. Pose Transferrable Person Re-Identification >来自 上海交大的一篇文章 算法要点： 一种 Data Augment 方法，通过引入Pose样本库，借助GAN进行多姿态的标签样本生成，用于辅助训练（可以用在其他领域）。 - **基于姿态迁移的Re-ID框架** 1） 通过将MARS数据集进行姿态转换，得到姿态丰富的训练样本，并加入到目标数据集进行训练； 2） 在传统的GAN的Discriminator（辨别器）的基础上，提出了一个引导子网络，生成更满足Re-ID Loss的样本； 网络描述为：Generator-Guider-Discriminator 3） 提出一种可选的优化过程来训练 - **GAN 存在的问题** 1） 生成的样本对于模型训练帮助不大； GAN只试图产品视觉上好看的图片，生成的样本不具有足够的辨识信息。 2） 样本失真； 生成的复杂形状的样本，扭曲严重 `GAN在行人样本生成上已有成功的应用（郑良组）` ### 2. Deep Spatial Feature Reconstruction for Partial Person Re-identification: Freestyle Approach >来自自动化所 孙哲南 组 Paper: <https://arxiv.org/abs/1801.00881> 主要针对 partial re-id问题，有遮挡的情况下的重识别问题。 算法通过CNN网络进行`图像空域重建`，得到与输入图像尺寸一致的空域特征图，不需要特征对齐过程，算法借鉴字典学习中重建误差来计算不同的空域特征图的相似度。 与Triplet类似，采用End-to-end的训练方式，提高来自同一个id的样本相似度，降低不同id图像相似度。 算法在 Partial REID，Partial iLIDS 上的曲线相当不错。 ### 3. Adversarially Occluded Samples For Improving Generalization of Person Re-identification Models >来自自动化所 黄凯奇 组 算法提出采用对抗网络（GAN）来生成遮挡样本，由于生成的样本能够屏蔽掉原来的一些特征，从而导致网络去学习另一部分特征，由此可以挖掘出一些潜在Feature。 借鉴了 Hard Mining 的思想，思路比较简单，感兴趣的可以复现一下。 ### 4. Harmonious Attention Network for Person Re-Identification >来自伦敦大学的工作 文章提出一种轻量级框架： jointly deep learning attention selection 在常用数据集上有明显提升。 - **主要贡献** **1）** 提出了一种新的联合学习多粒度 Attention Selection 和特征表示的方法，来优化re-id问题； 据作者了解，这是采用联合深度学习 multiple complementary attention 来解决 re-id 问题的第一次尝试。 注：可以理解为多个attention model **2）** 提出了一种 Harmonious Attention CNN（HA-CNN）； 在任意的 person boxes 内，可以同步学习 hard region-level 和 soft pixel-level attention。同时生成 re-id 的特征表示，这种表示能够最大化 attension 选择和特征判别之间的相关互补信息。 这是通过设计的轻量级的 HA 模块来实现的，通过 multi-task 和 end-to-end 学习，能够有效的学习共享 re-id 特征表示的不同的 attension 类型。 **3）** 提出了一个 cross-attension 交叉学习机制，进一步提高不同 attention selection 和 re-id 判别约束的特征表示之间的兼容性。 ### 5. Camera Style Adaptation for Person Re-identfication >来自厦门大学 钟准，郑良大神参与指导 通过 CycleGAN 完成图像 style 迁移，这篇文章发布的时间比较长了，可能很多人都看过。 ### 6. Person Transfer GAN to Bridge Domain Gap for Person Re-Identification >北京大学团队 通过对抗网络实现不同 数据集之间的图片迁移，算法和 Camera Style 差异性不太大，大概了解一下idea就可以了，比较突出的贡献是提出了一个大的数据集 **MSMT17**。 > 数据采集时长约为180小时 > 总共有15个相机，其中12个室外相机，3个室内相机 > 行人框由Faster RCNN机标完成 > 最后总共有4101个行人的126441个bounding boxes ### 7. Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatial-Temporal Patterns 无监督学习，取得了接近监督学习的效果， 可以参考原作者 @梦里风林 【zhihu】<https://zhuanlan.zhihu.com/p/34778414> ### 8. Mask-guided Contrastive Attention Model for Person Re-Identification >来自中科院自动化所团队 算法基于目标分割的方式，通过去除背景达到比较好的效果，思路并不太新颖，有兴趣的童鞋可以看一下。 ### 9. Features for Multi-Target Multi-Camera Tracking and Re-Identification >来自杜克大学 杜克大学在目标跟踪上做的是不错的 <https://github.com/yoon28/SCT4DukeMTMC>。 - **文章贡献** **1）** 自适应加权的 Triplet Loss **2）** 一种新的 Hard mining 技术 算法超过了 DukeMTMC tracking、Market-1501和 DukeMTMC-ReID 三项 Benchmark。 算法提供了代码和演示视频，可以测试看一下效果。 文章描述了 MTMCT 和 re-id loss 的区别，MTMCT 重在 pairwise 的比较（训练很困难），而 re-id 强调的是 Rank，0 MTMCT loss 隐含了 0 Re-id loss，反之则不然。 作者发现在适度拥挤的场景下，提升 re-id 的精确可能会导致 MTMCT 性能下降。 采用最先进的 Detector，结合最先进的相关**聚类**方法，为了减少计算复杂度，还加入了标准层次推理和滑窗技术。 算法在 MTMCT 和 Re-ID 任务上的表现都很好。 ### 10. Multi-Target, Multi-Camera Tracking by Hierarchical Clustering: Recent Progress on DukeMTMC Project >旷世的一篇工程化文章 针对 DukeMTMC，提出一种多目标，多相机 跟踪方法，步骤包括： - **检测** 两种方法，public 的，和自己采用 Faster RCNN 的方法。 - **特征提取** 复用原来的 Aligned Re-id 方法，提取目标特征。 - **单相机跟踪** Near-online算法， 首先将检测的BBox形成tracklets，采用的是 Kuhn-Munkras算法，结合特征差异、IoU计算距离； 然后将tracklets通过层次聚合，形成轨迹。计算tracklets之间的距离矩阵，tracklet与轨迹之间的距离通过三部分来得到： 特征相似性（end point附近）、独立部分距离、overlap部分距离（IoU程度）。 - **多相机跟踪** 将单相机的轨迹进行层次聚合，得到跨相机轨迹，采用贪婪的方法，不需要更新距离矩阵。 每个轨迹计算一个平均特征（在long term tracking上，平均特征是很鲁棒的），通过平均特征的欧式距离来计算，这里采用了re-ranking的策略。