少数の正例クラスを含む不均衡データセットに対する精度向上を目的とした、多様な不例データの特徴量を用いる補助タスクを学習に組み込むアプローチを提案した。SOTA手法と比較し、不例データが99.98%のデータセットに対してmAPが42.3ポイント向上した。

1. Background Splitting:
Finding Rare Classes in a Sea of
Background
1
2022/04/22 平間 友大
Ravi Teja Mullapudi2,3, Fait Poms1, William R. Mark3,
Deva Ramanan2, Kayvon Fatahalian1
1 StanfordUniversity
2 Carnegie Mellon University
3 Google Research

2. 論文概要
目的
・少数の正例クラスを含む不均衡データセットに対する精度向上
手法
・多様な不例データの特徴量を用いる補助タスクを学習に組み込むアプロ
ーチを提案
結果
・SOTA手法と比較し、不例データが99.98%のデータセットに対して
mAPが42.3ポイント向上した
発表学会
・CVPR2021
論文URL
https://openaccess.thecvf.com/content/CVPR2021/papers/M
ullapudi_Background_Splitting_Finding_Rare_Classes_in_a_Se
a_of_Background_CVPR_2021_paper.pdf
2

3. 背景
• 画像分類において教師データセットのクラス間のバランスは重要
• しかし、新たなクラスを追加して分類する場合、極端に不均衡なデー
タになる
例)トカゲを正例とした2クラス分類の場合
画像の大部分が「背景(ネガティブ)」カテゴリに属し、データ量は不均
衡かつ多様である
→背景データの特徴量を利用する
3

4. 4
提案手法の概要
学習手法の提案
・メインタスクである少ない正例クラスの分類モデルに加え、補助分類モデル
を同時に学習する
→メインタスクモデルの正則化につながり、過剰な適合を抑える

5. 提案手法
メインタスク
少ないデータしかないNクラスの分類モデルの学習を行う
背景クラスに対応するため、定数b0を追加したN+1の出力層を持つ
本論文ではb0 = 0.1
5

6. 提案手法
補助タスク
大きな背景カテゴリを多数のサブカテゴリに分割するモデルを学習を
行う
このときの正解ラベルは、異なるデータセット(オープンデータセット
など)で学習された補助モデルによる擬似ラベルを用いる
→追加のアノテーションを必要としない
6

7. 提案手法
Final Loss
7
𝑥:入力画像
𝑦：正解ラベル
𝑡：補助モデルによって出力された疑似ラベル
𝐹𝜃：Model 重み w、v
λ：ロスの重み。本論文では0.1に設定

8. 実験設定 8
データセット
・Places365：365クラス
182万枚
・iNaturalist 2017：5089
クラス、675,170枚
Van Horn, Grant, et al. "The inaturalist species classification and
detection dataset." Proceedings of the IEEE conference on
computer vision and pattern recognition. 2018.
Naturalist 2017 動植物の画像データセット
Places365

9. データセットについて
実験データセット
オリジナルデータセットのカテゴリのうち少数（N）を
「ラベル付き」とみなし、オリジナルデータセットの残り
のカテゴリを1つの背景カテゴリとする
9
iNaturalist-2017 トレーニングセットにおける
カテゴリごとの画像の分布
iNaturalist-BG の分布（N =100）
背景カテゴリ（黄色）には、データセット
内の画像の98.3%が含まれている

10. 実験結果 10
ポジティブクラス数
(ネガティブクラスの割合)
モデル：ResNet50
背景としたデータが多様である
ほど、提案手法は効果的である

11. 実験結果
• 疑似ラベルの生成に関するアブレーションスタディ
11
• K-meansよりモデルを使ったほうが良い結果を得られた

12. 実験結果
背景データの分類精度に関して
各タスクのLossを独立して計算・学習するよりもBG-SPLITは18ポイ
ント以上mAPが向上している
→補助タスクの特徴学習が重要であることを示唆している
12
補助損失のみ、BG-threshの
み、提案手法の比較
損失関数の違いによるア
ブレーションスタディ

13. 実験結果 13
補助モデルには同じクラスのデータはないが、視覚的に似たデータセッ
トごとに分類できていることがわかる
→完全に同じクラスを含むデータセットを用意しなくとも機能している
補助モデルとその疑似ラベルで学習したモデルの推論結果

14. まとめ 14
• 不均衡データに対する学習アプローチである
BG-SPLITを提案
• 大きくて多様な背景を持つネガティブデータに
着目し、少数の正例データを分離しつつ同時に
学習
• 追加のネガティブデータのアノテーションを必
要とせず、従来手法よりも精度が向上