本文为通常所说的 MoCo v2
论文标题：Improved Baselines with Momentum Contrastive Learning
作者：Xinlei Chen Haoqi Fan Ross Girshick Kaiming He
地址：arXiv
代码：GitHub
MoCo v2 相比于 MoCo v1，在算法框架上没有任何变化，只是借鉴了 SimCLR 的两个设计：
- 增添 MLP projection head
- 使用更强的 data augmentation
1. 实验设置
- ImageNet linear classification：指标为 top-1 accuracy
迁移到目标检测：Faster RCNN, VOC 07+12 trainval, VOC 07 test, COCO suite of metrics
backbone 使用 standard-size ResNet-50
2. MLP head
训练时加了两层 MLP (2048-d with ReLU)。文中调了一下温度参数 $\tau$ 的大小，结果如下，其中的准确率是 ImageNet 上做 linear probe 的 top-1 accuracy。
这是文中所有 ablation 实验的结果：
可以看出，仅增加 MLP head 的情况下，ImageNet 的分类准确率提升很大，但 detection 的提升比较微弱。
3. Augmentation
作者在 MoCo v1 的数据增强基础上加了 blur augmentation (但作者发现 stronger color distortion 对结果有减弱)。从上表中可以看出，单纯使用 augmentation 对 detection 的提升比单纯使用 MLP 要高，但在 classification 上却是相反的结论。
同时使用 MLP 和 augmentation，提升更大。
使用 cosine learning rate 也有增益。
4. 与 SimCLR 的对比
可以说一目了然：
计算资源对比：
