Fishのblog

1. 工作流程与维度变化#

1. 输入图像：一张任意大小的图。
   • Dim: $(1, 3, H, W)$
2. 生成候选框 (Proposal Generation)：
   • 使用 Selective Search (CPU) 算法。
   • 得到约 2000 个候选框坐标 $(x, y, w, h)$。
   • 注：这时候还没进神经网络。
3. 图像变形 (Warping) —— 你的疑问点：
   • 动作：将原图中这 2000 个不同大小的框抠出来，强制缩放成固定大小（如 $227 \times 227$）。
   • 后果：物体变形，导致特征提取不准。
   • Tensor Dim: 变成了 $(2000, 3, 227, 227)$ 的一堆小图片。
4. 特征提取 (Backbone)：
   • 动作：把这 2000 张图**依次（或 Batch 并行）**送入 CNN。
   • 计算量：跑了 2000 次卷积网络。（极慢的根源）
   • Tensor Dim: 得到 $(2000, 4096)$ 的特征向量。
5. 分类与回归：
   • 使用 SVM 分类，使用线性回归器微调坐标。

总结：这一阶段的 BBox 回归和分类是分开的，不是端到端。

1. 共享特征提取 (Backbone)#

• 动作：整张图进 CNN，一次性得到特征图。
• Tensor Dim: $(1, 3, H, W) \xrightarrow{CNN} (1, 512, H/16, W/16)$。
• 关键点：这里包含了全图的上下文信息（Context），虽然最后只看局部，但特征是全局感受野算出来的（回应了你关于”视野”的疑问）。

2. 候选框映射 (RoI Projection)#

• 动作：依然用 Selective Search 在原图生成 2000 个框。
• 映射：将坐标除以步长（Stride=16）。
  • $x' = x/16$（这里会有量化误差，即坐标不准）。
• 数据结构: 一个列表 [roi_1, roi_2, ..., roi_2000]。

3. RoI Pooling —— “万能适配器”#

• 输入：
  1. 特征图 $(1, 512, H/16, W/16)$
  2. 2000 个大小不一、长宽比各异 $(h \neq w)$ 的 RoI。
• 你的疑问：$H \neq W$ 怎么办？
  • 动作：使用自适应网格（Adaptive Grid）。如果 RoI 是 $10 \times 5$，就按比例划分为 $7 \times 7$ 的网格。
• 你的疑问：维度怎么变？是一次次送吗？
  • 动作：逻辑上是串行，实现上是并行。
  • RoI Pooling 层会将 2000 个区域提取并堆叠。
  • Tensor Dim: $(2000, 512, 7, 7)$。
  • 注意：这里把 RoI 的数量 $N$ 合并到了 Batch 维度，变成了 $(N, C, H, W)$。

4. 分类与回归 (Head)#

• 动作：展平 (Flatten) 后送入全连接层。
• Tensor Dim: $(2000, 512 \times 7 \times 7) \xrightarrow{FC} (2000, 4096)$。
• 输出分支：
  1. Cls: $(2000, \text{Num\_Classes} + 1)$ —— 概率。
  2. Reg: $(2000, 4)$ —— 坐标偏移。
• 你的疑问：回归真值？
  • 训练时，只有和 GT IoU > 0.5 的 RoI 才算回归损失，背景忽略。

1. 特征提取 (Backbone)#

• 同上，得到特征图 $(1, 512, H/16, W/16)$。

2. RPN (Region Proposal Network) —— “猜框网络”#

这是新增的独立分支。

• Anchor 生成：在特征图每个像素点生成 9 个 Anchor（3尺寸 $\times$ 3比例）。
  • 总 Anchor 数 $\approx (H/16) \times (W/16) \times 9 \approx 20,000$ 个。
• 正负样本分配 (Label Assignment) —— 你的核心疑问：
  • 计算所有 Anchor 与 GT 的 IoU。
  • 正样本：IoU > 0.7（或者是最大的那个）。
  • 负样本：IoU < 0.3。
  • 忽略：中间态。
• Loss 计算：
  • Cls Loss：正负样本都算（教它认背景）。
  • Reg Loss：只算正样本（如你所悟，只有正样本有回归真值）。
• 生成 Proposal：
  • 网络输出预测偏移量 $\rightarrow$ 修正 Anchor $\rightarrow$ 得到粗略框。
  • NMS (非极大值抑制)：从 20,000 个框里剔除重叠的，选出前 2000 个。
  • 数据流出: 2000 个 Proposals。

3. RoI Pooling#

• 输入：特征图 + 2000 个 Proposals (来自 RPN)。
• 动作：和 Fast R-CNN 一样，统统变成 $7 \times 7$。
• Tensor Dim: $(2000, 512, 7, 7)$。

4. R-CNN Head (最终精修)#

• 输入：$(2000, 512, 7, 7)$。
• 动作：再次经过 FC 层。
• 目的：
  1. 精细分类：RPN 只知道是”物体”，Head 要知道是”猫”。
  2. 二次回归：在 RPN 粗略调整的基础上，进行像素级微调。

1. IoU (交并比)#

$IoU = \frac{\text{Area of Overlap}}{\text{Area of Union}}$

2. 状态定义 (TP, FP, FN)#

假设我们设定阈值 IoU Threshold = 0.5。

• TP (True Positive / 真正例)：
  • 预测框与真值框 (GT) 的 $IoU \ge 0.5$。
  • 类别分类正确。
  • 注意：对于同一个 GT，只能有一个预测框算 TP。如果模型对同一个物体预测了两个高分框（没被 NMS 滤掉），第一个是 TP，第二个就是 FP（重复检测）。
• FP (False Positive / 假正例)：
  • 预测框与 GT 的 $IoU < 0.5$（位置不准）。
  • 或者是对背景的误检（无中生有）。
  • 或者是重复检测（Duplicate）。
• FN (False Negative / 假负例)：
  • 图片里有一个 GT，但模型没有预测出任何与它 IoU 合格的框。
  • 或者预测出来了，但置信度太低被过滤掉了。
• TN (True Negative / 真负例)：
  • 在目标检测中不讨论 TN。因为图片中”背景”是无限多的，你没把背景框出来是理所当然的，无法计算。

1. Precision (查准率)#

含义：“你预测出来的这些框里，有多少是靠谱的？”

$Precision = \frac{TP}{TP + FP} = \frac{\text{抓对的}}{\text{所有抓到的}}$

2. Recall (查全率)#

含义：“所有真实的物体里，你找出来了多少？”

$Recall = \frac{TP}{TP + FN} = \frac{\text{抓对的}}{\text{所有该抓的}}$

研究生视角的权衡 (Trade-off)：

• 如果你把置信度阈值设为 0.99（只输出最有把握的），Precision 会极高，但 Recall 会极低（漏检）。
• 如果你把置信度阈值设为 0.01（是个框就输出），Recall 会极高，但 Precision 会极低（全是误报）。

计算步骤（手推一遍）：#

1. 排序：把你模型对某一个类别（比如”猫”）预测出来的所有框（几千个），按置信度从高到低排序。
2. 累积计算：
   • 看第 1 个框：是 TP 吗？更新 P 和 R。
   • 看前 2 个框：更新 P 和 R。
   • …
   • 看前 N 个框：更新 P 和 R。
3. 画图 (PR Curve)：以 Recall 为横轴，Precision 为纵轴，画出一条曲线。
4. 平滑 (Smoothing/Interpolation)：
   • 实际画出来的线是锯齿状的。为了标准化，我们做一个操作：对于每一个 Recall 值 $r$，其 Precision 取 $r$ 右侧最大的那个 Precision 值。
   • 公式：$P_{interp}(r) = \max_{r' \ge r} P(r')$。
   • 效果：把锯齿线拉平成单调递减的线。
5. 算面积：这条平滑曲线下的面积，就是 AP。

结论：AP = 1.0 表示完美（既不误报也不漏报）；AP 越低表示效果越差。

1. Pascal VOC 标准 (The Old School)#

通常指 mAP@0.5。

• 判定标准：$IoU \ge 0.5$ 就算对。
• 计算方法：
  • VOC07：使用 11点插值法。只在 Recall = $[0, 0.1, \dots, 1.0]$ 这 11 个点上取 Precision 的平均值。
  • VOC12：使用 全点插值法 (Area under curve)。这就是现代标准的雏形。
• 特点：对定位精度要求不高，属于”入门级”指标。

2. MS COCO 标准 (The Gold Standard)#

这是目前的统治级标准。

• 核心指标 (AP)：
  • 它不只算一次。它让 $IoU$ 阈值从 $0.5$ 开始，每隔 $0.05$ 算一次，一直算到 $0.95$。
  • $IoU = \{0.50, 0.55, 0.60, \dots, 0.95\}$ （共 10 个阈值）。
  • 算出 10 个 AP，然后取平均值。
  • $AP_{COCO} = \frac{AP_{50} + AP_{55} + \dots + AP_{95}}{10}$
• 含义：它奖励那些定位极准的模型。如果你的框只是勉强框住物体（IoU=0.5），在 AP50 里得分，但在 AP75、AP90 里就不得分了。

3. COCO 的其他细分指标 (尺度敏感)#

COCO 非常关注物体的大小，这对于分析模型弱点非常有用。

• $AP_S$ (Small)：面积 $< 32^2$ 像素的物体。
  • 通常这个分很低（比如 20%），是单阶段检测器的噩梦。
• $AP_M$ (Medium)：$32^2 <$ 面积 $< 96^2$。
• $AP_L$ (Large)：面积 $> 96^2$。

1. NMS 的核心逻辑（手推版）#

假设我们现在有 3 个框（都过了置信度门槛），按得分从高到低排序：

• A: Score 0.9 (位置最准)
• B: Score 0.8 (和 A 重叠很大)
• C: Score 0.7 (和 A 离得比较远，可能是旁边的一只狗)

设定一个 NMS IoU 阈值（比如 nms_iou_thres = 0.5）。

注意：这个阈值的意思是”如果咱俩重叠度超过 0.5，我就把你当成我的分身砍掉”。

算法流程：

1. 选出老大：取出当前分最高的框 A (0.9)。
   • A 直接晋级，放入”最终保留列表”。
2. 审判小弟：拿着 A，去跟剩下的 B 和 C 逐个比对（算 IoU）。
   • A vs B：算出 $IoU(A, B) = 0.8$。
     • 判定：$0.8 > 0.5$ (阈值)。说明 B 和 A 重叠太严重了，B 肯定是 A 的重复预测（冗余）。
     • 结果：砍掉 B！
   • A vs C：算出 $IoU(A, C) = 0.1$。
     • 判定：$0.1 < 0.5$ (阈值)。说明 C 虽然分低点，但它离 A 很远，应该是另一个物体（旁边的狗）。
     • 结果：保留 C。
3. 循环：
   • 现在列表里只剩 C 了。
   • C 自动成为这一轮的”老大”。
   • C 晋级，放入”最终保留列表”。
   • C 再去跟它后面的小弟比（如果没有小弟了，循环结束）。

最终输出：保留了 A 和 C。