论文名称：Mask R-CNN
论文地址：传送门

Introduction

本以为这篇文章是众多R-CNN系列的一个，然而看到作者是kaiming和Ross Girshick，再看知乎上各种“劝退目标检测”，足以见得这篇文章的重要性。事实上，Mask R-CNN确实成为这几年来的baseline。

我们知道目标检测的基本任务是localization和classification，而instance segmentation不仅需要detection，同时也要segmentation，也就是要完成localization、classification、segmentation三项任务。由于其任务复杂，以往的instance segmentation系统也趋向于复杂化。而Mask R-CNN则通过向Faster R-CNN添加一个branch，实现了在detection的同时，完成segmentation的任务。作者指出，在没有使用任何trick的情况下，Mask R-CNN在检测和分割都达到了较好的效果。

同时作者还提出了ROIAlign，用来解决ROIPooling在运算时存在的定位误差。

ROIAlign

本文较为重要的一个概念就是ROIAlign了，但文中并没有清晰的介绍ROIAlign是怎么来的。
ROIPooling存在的问题：两次量化的误差。

1. 首先Region Proposal中的坐标是通过回归得到的，一般都是浮点数，如$(cx,cy,w,h)$均是相对于图像长宽的值（范围均是$[0,1]$），同时此时的特征图一般都是较小的（如$[\frac{1}{16}w,\frac{1}{16}h]$），此时若在特征图上取ROI的话，得到的相对坐标也是浮点值，必须进行取整，从而产生误差。
2. 其次ROIPooling将一个不同尺寸的Proposal变换到固定的尺寸（如$7 \times 7$），那么此时对Proposal进行划分时所产生的浮点数坐标也要进行取整，因此又产生一个误差。

这些误差在特征图上看似无关紧要，但如果将一个$[\frac{1}{16}w,\frac{1}{16}h]$的特征图映射回去，那么误差将放大16倍，这对小目标的检测是十分重要的。

那么ROIAlign做了什么事呢？其实就是将这些取整的操作用双线性插值代替，从而减小误差。

1. 在通过回归或者RPN得到坐标后，并不进行取值，保留浮点坐标
2. 将Region Proposal划分为$k \times k$个bin，对于每个bin，计算若干中心点的的像素值，取均值或最大值，得到大小为$k \times k$的特征图。
   其中对于每个bin，若只计算1个像素值，则对这个bin的中心点坐标进行双线性插值，得到其像素值；若计算4个像素值，则对这个bin划分为4个区域，取各区域的中心，并通过插值计算其像素值，然后取Mean或者Max。
   

对于ROIPooling，有公式：
$$y_{rj}=x_{i^(r,j)}$$
即$y_{rj}$是从$x_{i^(r,j)}$中的最大值中得到的（MaxPool）

其梯度传播如下：
$$\frac{\partial{L}}{\partial{x_i}}=\sum_r \sum_j[i=i^(r,j)]\frac{\partial L}{\partial y_{rj}}$$
即L对x的梯度仅取决于其取到的那个像素值$x_{i^(r,j)}$

对于ROIAlign，其梯度公式如下：
$$\frac{\partial L}{\partial x_i}\sum_r \sum_j [d(i,i^*(r,j))<1](1-\Delta h)(1- \Delta w)\frac{\partial L}{\partial y_{rj}}$$
即在ROIPooling的基础上，在半径为1的范围内，考虑参与插值的多个点贡献的梯度值，并以距离作为梯度传回大小的衡量。

Mask R-CNN

Mask R-CNN基本上就是在box regression和classification上添加了一个并行的segmentation。segmentation部分已经比较常见，通过对特征图反卷积，产生更大的特征图，即本文中的Mask。

但重要的是，Mask R-CNN将detecction和segmentation结合起来，且实现方式十分的简单。在计算$L_{mask}$时，仅计算第$K$个mask产生的Loss，其中$K$为此box所包含物体的类别；在预测的时候，$K$为分类网络预测出的类别。

基于此，作者设计了两中结构，左侧为一般的Faster R-CNN，右侧为加入FPN的Faster R-CNN。

Summary

Mask R-CNN在detection领域并不算的多么重大的突破，但在实践过程中发现其收敛速度快，训练效果好，被工业界推崇。其提出的RIOAlign也算是对ROIPooling的一个改进，会逐渐的被采用。将Detection和Segmentation结合 起来进行Instance Segementaion，对IS来说是一个很大啊的突破。