12月6日～8日に鳥取大学で開催されたThe 23rd Asia Pacific Symposium on Intelligent and Evolutionary Systems（IES 2019）（https://www.ies2019.website/）にて、修士2年の神戸 瑞樹さんが発表を行いました。
Mizuki Kambe, Soichiro Yokoyama, Tomohisa Yamashita, Hidenori Kawamura : Estimating Impressions for Clothing, Landscape, and Indoor Images Using CNN, The 23rd Asia Pacific Symposium on Intelligent and Evolutionary Systems (IES2019), pp.67-78, Tottori (2019)
発表を行った神戸さんには興味をもった研究発表、及び、学会に参加して気づいた問題点と最近の動向についてレポートしてもらいました。
興味を持った研究発表は、Multi-task Learning Using Online Fine-Tuning Considering the Importance of Each Filter : Shota Ikawa, Yuji Sato (Hosei University)です。
Transfer LearningとFine-Tuningは、ディープラーニングでラベル付きデータの不足に対処するための学習フレームワークです。
これらの方法は、畳み込み層で共通の特徴を獲得する畳み込みニューラルネットワーク（CNN）で効果的に機能します。
CNNレイヤーを転送する場合、ソースタスクをトレーニングした後、識別レイヤーを除く入力側に近い複数の畳み込みレイヤーを転送するのが一般的です。
一方、学習中の転移と高レベルの転移に焦点を当てた研究はほとんどありません。
この論文では、学習中に畳み込みフィルターを転送することにより、fine-tuningを行う手法を提案します。
フィルターはプルーニング基準を使用してランク付けされ、重要度の低いフィルターのみがターゲットフィルターとして上書きされます。
CIFAR-100のサブセットを使用した10クラスの分類では、提案された方法がゼロからのトレーニングと比較してテスト精度を最大2％改善できることを示しています。
また、学習の進行に伴い、各レイヤーの重要度の低いフィルターの比率が変化する傾向も示しています。
開催場所が鳥取であったためか、参加者はそれほど多くはありませんでした。
しかしながら、発表内容は幅広く、ディープラーニング以外の内容も多くありました。
ディープラーニングの成功に盲目的にならず、他の手法にも目を向けていくことも大切であると改めて感じました。
また、一人で4回の発表を行う方もいて、大変刺激となりました。（神戸 瑞樹）
