ディープラーニング勉強会

研究室で行っているディープラーニング知識共有ゼミの発表資料です。

2018/11月

紹介論文


Feature engineering for predictive modeling using reinforcement learning

Udayan Khurana, Horst Samulowitz, Deepak Turaga
Feature engineering for predictive modeling using reinforcement learning


強化学習によるFeature Engineering


紹介論文


End to-end convolutional semantic embeddings

Quanzeng You, Zhengyou Zhang, Jiebo Luo
End-to-End Convolutional Semantic Embeddings


画像・文章のクロスモーダルな特徴量学習における、文章に対してのCNNの適用。
CNNの適用によって得られる、文章の中間特徴量についての考察。

2018/10月

紹介論文


Compressed Video Action Recognition

Chao-Yuan Wu, Manzil Zaheer, Hexiang Hu, R. Manmatha,
Alexander J. Smola, Philipp Kr¨ahenb¨uhl
Compressed Video Action Recognition


圧縮された動画の学習


紹介論文


Understanding Blackbox Predictions via Influence Functions

Pang Wei Koh, Percy Liang.
Understanding Blackbox Predictions via Influence Functions

学習するデータが、モデルの出力した結果に対してどれほど影響を与えたのか検証するための手法を提案

2018/9月

紹介論文


CNN-RNN: a large-scale hierarchical image classification framework

Yanming Guo, Yu Liu, Erwin M. Bakker, Yuanhao Guo, Michael S. Lew
CNN-RNN: a large-scale hierarchical image classification framework

従来のCNNの構造にわずかな修正を加えることにより、階層的な構造を持つラベルを学習
単純な分類タスクにおける正解率も増加

2018/8月

紹介論文


PredCNN: Predictive Learning with Cascade Convolutions(IJCAI 2018)

Ziru Xu†, Yunbo Wang†, Mingsheng Long∗, and Jianmin Wang
PredCNN: Predictive Learning with Cascade Convolutions


将来のビデオ予測手法PredCNN構造を提案
従来手法と比較し、最新の研究成果よりも高精度、低計算コスト、省メモリ化を実現している。


紹介論文


The Predctron: End-To-End Learning and Planning(ICML2017)

David Silver · Hado van Hasselt · Matteo Hessel · Tom Schaul · Arthur Guez · Tim Harley · Gabriel Dulac-Arnold · David Reichert · Neil Rabinowitz · Andre Barreto · Thomas Degris
The Predctron: End-To-End Learning and Planning


end-to-endなモデルベース強化学習のアーキテクチャであるpredictronを提案
迷路とビリヤードに適用した際に通常のDNNよりも正確な予測を達成

2018/7月

紹介論文


A PID Controller Approach for Stochastic Optimization of Deep Networks

Wangpeng An, Haoqian Wang, Qingyun Sun, Jun Xu, Qionghai Dai, Lei Zhang
A PID Controller Approach for Stochastic Optimization of Deep Networks


PID制御に基づいたNN最適化手法を提案した論文。
SGD-Momentumよりも早く高い精度に収束することを実験で示した。

紹介論文


Context Embedding Network

Kun Ho Kim Oisin Mac Aodha Pietro Perona (California Institute of Technology)

Context Embedding Networks

特徴量を得るためにクラウドソーシングを利用する上で、
依頼者の個人差を考慮した特徴量抽出手法の提案を行っている。

 

紹介論文


Rainbow: Combining Improvements in Deep Reinforcement Learning

Matteo Hessel, Joseph Modayil, Hado van Hasselt, Tom Schaul, Georg Ostrovski,
Will Dabney, Dan Horgan, Bilal Piot, Mohammad Azar, David Silver
AutoAugment:Learning AUgmentation Policies from Data


RainbowというDQNの改良手法を提案。
従来手法に比べスコアが大幅に更新された。

紹介論文


Dense Pose: Dense Human Pose Estimation In The Wild

Riza Alp Guler, Natalia Neverova, Iasonas Kokkinos
(Facebook AI Research)
Dense Pose: Dense Human Pose Estimation In The Wild


一般的なRGB画像から人物領域のUV座標(テクスチャ座標)を出力.
物体領域抽出の手法であるMask-RCNNとDenseRegを組み合せたCross-cascading architecture
やRegion Proposal Networkをend to end で学習することで,複数の人物に対するUV座標を高速かつ高精度で算出することを可能にした.

2018/6月

紹介論文


AutoAugment:Learning AUgmentation Policies from Data

Ekin D. Cubuk, Barret Zoph , Dandelion Mané, Vijay Vasudevan, Quoc V. Le
AutoAugment:Learning AUgmentation Policies from Data


強化学習に寄ってデータの水増し方法を学習する。
CIFAR-10,CIFAR-100,SVHN,ImagenetでSoTA(2018/5)


紹介論文


On the Convergence of Adam and Beyond

Reddi S. J., Kale S., Kumar S.

Adamの問題点を改良したAMSGradを提案。
Adamが最適解に収束しない例の一部を定式化し、そのような例に対しても最適解に収束するようにアルゴリズムを修正。
一般的な画像認識タスクにおいてもAdamより早い収束を達成した。


紹介論文


World Models

David Ha, Jürgen Schmidhuber

人間の思考と同じように環境をとらえる内部モデルを作成し、エージェントの学習を行う。
RNNの学習が完了している状態であれば、実際の環境でエージェントに行動させなくとも学習させることが可能。
ビデオゲームにて性能を検証し、スコアが既存手法より良くなった。

2018/5月

紹介論文


Automatic Understanding of Image and Video Advertisements

Zaeem Hussain, Mingda Zhang, Xiaozhong Zhang, Keren Ye, Christopher Thomas, Zuha Agha, Nathan Ong, Adriana Kovashka
Automatic Understanding of Image and Video Advertisements


広告画像から受ける印象やメッセージを理解する。

紹介論文


Enriching Word Vectors with Subword Information

P. Bojanowski, E. Grave, A. Joulin, T. Mikolov

Word2Vecの改良系の論文.
字面が近い単語のベクトルが近くなるようにWord2Vecを学習させるようにした.
fasttext(https://fasttext.cc/)でライブラリとして簡単に 利用可能.

紹介論文


SmoothGrad: removing noise by adding noise

Daniel Smilkov, Nikhil Thorat, Been Kim, Fernanda Vie ́gas Martin Wattenberg

CNNが画像のどこに注目しているかを可視化し、判断根拠を示す手法”SmoothGrad”について紹介する。本手法によって、従来手法で課題だったノイズの軽減を行なっている。

2018/1月

紹介論文


Dynamic Routing Between Capsules

Sara Sabour, Nicholas Frosst, Geoffrey E. Hinton

CNNをベースとしたCaspNetを提案しています。
従来のCNN構造の問題点であるpooling層を用いず、カプセル構造をもたせることで位置関係情報を持たせています。

2017/11月

紹介論文


Mastering the game of Go with deep neural networks and tree search

Silver, David, et al

Mastering the game of Go with deep neural networks and tree search
http://web.iitd.ac.in/~sumeet/Silver16.pdf

アルファ碁の開発論文

紹介論文


Self-Paced Learning with Diversity

Lu Jiang, Deyu Meng, Shoou-I Yu, Zhenzhong Lan, Shiguang Shan, Alexander Hauptmann

Self-Paced Learning with Diversity(NIPS2014)


カリキュラム学習の手法であるSPLDの提案


紹介論文


MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

Andrew G. Howard  Menglong Zhu  Bo Chen Dmitry Kalenichenko  Weijun Wang Tobias Weyand  Marco Andreetto  Hartwig Adam
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications


モバイル端末向けのネットワーク


紹介論文

タイトル

Generating Videos with Scene Dynamics

著者

Carl Vondrick, Hamed Pirsiavash, Antonio Torralba

参考URL

研究紹介ページ
研究トレーラー

概要

3D GANを用いて動画を学習する研究です。

10月

紹介論文


Deep Forest: Towards An Alternative to Deep Neural Networks

Zhi-Hua Zhou, Ji Feng
Deep Forest: Towards An Alternative to Deep Neural Networks


決定木アンサンブルアプローチDeepForest(gcForest)の提案

9月

紹介論文


Densely Connected Convolutional Networks

Gao Huang, Zhuang Liu, Kilian Q. Weinbeger, Laurens van der Maaten
Densely Connected Convolutional Networks

8月

紹介論文


Globally and Locally Consistent Image Completion

Satoshi Iizuka Edgar Simo-Serra Hiroshi Ishikawa
DeepFix: A Fully Convolutional Neural Network for Predicting Human Eye Fixations


ディープネットワークによる
シーンの大域的かつ局所的な整合性を考慮した画像補完

7月

紹介論文


DeepFix: A Fully Convolutional Neural Network for Predicting Human Eye Fixations

Kruthiventi, Srinivas SS, Kumar Ayush, and Radhakrishnan Venkatesh Babu
DeepFix: A Fully Convolutional Neural Network for Predicting Human Eye Fixations

画像を見たときに人間が無意識に目線を固定する位置を推定

紹介論文


Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Network

Jun-Yan Zhu∗ Taesung Park∗ Phillip Isola Alexei A. Efros
Berkeley AI Research (BAIR) laboratory, UC Berkeley
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Network

対訳(pire)なしにCycleGANという「画像翻訳」(Image-to-Image Translation)モデルを作った話。

紹介論文


A simple neural network mnodule for relation reasoning

Adam Santoro , David Raposo , David G.T. Barrett, Mateusz Malinowski, Razvan Pascanu, Peter Battaglia, Timothy Lillicrap
DeepMind
London, United Kingdom
A simple neural network mnodule for relation reasoning


ニューラルネットワークが学習するのが困難な関係推論問題に対してRelation Networks (RN)と呼ばれるモジュールを使⽤してこの問題を解決する⼿法を提案している。

6月


Deeply-Recursive Convolutional Network for Image Super-Resolution

Jiwon Kim, Jung Kwon Lee, Kyoung Mu Lee
Deeply-Recursive Convolutional Network for Image Super-Resolution

超解像技術(SR)を畳込み層を再帰的に用いるDeeply-Recursive Convolutional Network(DRCN)を用いた手法で、state-of-the-artな性能を発揮した論文。


紹介論文


Asynchronous Methods for Deep Reinforcement Learning

Volodymyr Mnih,Adrià Puigdomènech Badia,Mehdi Mirza,et al.
Asynchronous Methods for Deep Reinforcement Learning

DQNの開発者による非同期並列な強化学習アルゴリズムの紹介


紹介論文


Colorful Image colorization

RICHARD ZHANG, PHILLIP ISOLA, ALEXEI A. EFROS
Colorful Image colorization

クラスリバランスと新しい損失関数を用いた、グレー画像のカラー化


紹介論文


DeepLoco : Dynamic Locomotion Skills Using Hierarchical Deep Reinforcement Learning

XUE BIN PENG and GLEN BERSETH, University of British Columbia
KANGKANG YIN, National University of Singapore
MICHIEL VAN DE PANNE, University of British Columbia
DeepLoco


深層強化学習によって二足歩行技術を学習する。
2レベルの階層的制御フレームワークの採用により再利用可能な、堅牢なコントローラを生成する。

5月

紹介論文

Deep Voice: Real-time Neural Text-to-Speech

Sercan O. Arik, Mike Chrzanowski, Adam Coates, Gregory Diamos, Andrew Gibiansky, Yongguo Kang, Xian Li, John Miller, Andrew Ng, Jonathan Raiman, Shubho Sengupta, Mohammad Shoeybihttps://arxiv.org/abs/1702.07825

完全にディープニューラルネットワークで構成された製品レベルの text-to-speech(TTS)システムであるDeep Voiceを提案している。
既存のTTSシステムよりもシンプル・柔軟となっている。

Evolving Deep Neural Networks

Risto Miikkulainen, Jason Liang, Elliot Meyerson, Aditya Rawal, Dan Fink, Olivier Francon, Bala Raju, Hormoz Shahrzad, Arshak Navruzyan, Nigel Duffy, Babak Hodjat https://arxiv.org/abs/1703.00548

GAを用いてDNNのパラメータと構造を学習する。
人手で作られた最先端のものと遜色のないものが生成された。

紹介論文

Learning to Skim Text, Adams Wei Yu Hongrae Lee Quoc V. Le
https://arxiv.org/abs/1704.06877v2

スキミングというテクニックは文章の斜め読みを行い、
素早く文章の大意を掴むことができる。
LSTMをベースとした「LSTM-Jump」モデルを提案し、従来の手法よりもより高速に処理を行う。

4月

紹介論文

DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations, Ziwei Liu, Ping Luo, Shi Qiu, Xiaogang Wang, Xiaoou Tang. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.,
http://personal.ie.cuhk.edu.hk/~lz013/projects/DeepFashion.html

服飾画像の属性認識を服の位置情報を組み合わせて学習を行うことで、既存の研究よりも高い精度で認識が可能になった。本実験で使用されたデータセットは、他の研究者も使用できるように公開されている。

紹介論文

Human-level control through deep reinforcement learning, Volodymyr Mnih, Koray Kavukcuoglu, David Silver, et al., Nature 518, 529-533, 2015.,
http://www.nature.com/nature/journal/v518/n7540/full/nature14236.html

Deep Q-Networkという学習方式を用いて、Atari2600のビデオゲームの画面を入力としてプレイを学習する。49種類のビデオゲームを学習させた結果、AIが人間の上級者のスコアの75%以上のスコアを記録したゲームは29種類にのぼった。

3月

紹介論文

Unsupervised representation learning with deep convolutional generative adversarial networks, Alec Radford, Luke Metz, Soumith Chintala, ICLR 2016,
https://arxiv.org/abs/1511.06434

あるテーマに沿った画像のデータセットを用意し、GeneratorとDiscriminatorの2つの対立するネットワークをお互いに学習させていくことによって、データセットにそっくりな画像を生成することのできるGeneratorを獲得することができる。

紹介論文

On-line deep learning method for action recognition, Charalampous, Konstantinos, and Antonios Gasteratos, Pattern Analysis and Applications 19.2 (2016): pp. 337-354.

オンライン学習によって、動画の中の人物がどのような動きをしているのかを分類するための方法。ノイズが多い現実のデータでも高い精度での特徴抽出が可能であり、事前学習の必要もないので未知のデータに対しても適用可能である。

論文リスト

・Deep Q Network
Human-level control through deep reinforcement learning, Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg, Demis Hassabis, Nature 518, 529?533 (26 February 2015)

・深層強化学習を並行して非同期に行う手法
Asynchronous Methods for Deep Reinforcement Learning, Volodymyr Mnih, Adrià Puigdom ènech Badia, Mehdi Mirza, Alex Graves, Timothy P. Lillicrap, Tim Harley, David Silve r, Koray Kavukcuoglu,
https://arxiv.org/abs/1602.01783

・深層教科学習による複数エージェント間の通信プロトコルの獲得
Learning to Communicate with Deep Multi-Agent Reinforcement Learning, Jakob N. Foerster, Yannis M. Assael, Nando de Freitas, Shimon Whiteson,
https://arxiv.org/abs/1605.06676

・着衣画像の認識
DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations, Ziwei Liu, Ping Luo, Shi Qiu, Xiaogang Wang, Xiaoou Tang. Computer Vision and Pattern Recognition (CVPR), 2016

・GANによるキャプションからの画像生成の学習
Generative Adversarial Text to Image Synthesis, Scott E. Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele,
https://arxiv.org/abs/1605.05396

論文リスト(公開済)

・人の動作を写した動画の教師なしオンライン学習
On-line deep learning method for action recognition, Charalampous, Konstantinos, and Antonios Gasteratos, Pattern Analysis and Applications 19.2 (2016): pp. 337-354.

・DCGANによる画像生成モデルの学習
Unsupervised representation learning with deep convolutional generative adversarial networks, Alec Radford, Luke Metz, Soumith Chintala, ICLR 2016,
https://arxiv.org/abs/1511.06434

・GANを用いた画像から画像への変換の学習
Image-to-Image Translation with Conditional Adversarial Networks, Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros,
https://arxiv.org/abs/1611.07004

北海道大学大学院情報科学研究科 情報理工学専攻 複合情報工学講座 調和系工学研究室のウェブサイトです。