7/5に第7回学生ゼミが開催されました。 今回は深層学習の内容から離れ、片山さんから研究で必要となるツールについての説明をしていただき、実際に環境構築からPyTorch(※)の公式チュートリアルの実行までを行いました。 SSHでの研究室のGPUサーバーやGithubとの接続、Dockerによる仮想環境の構築など、一人で行うには骨の折れる工程を先輩方に丁寧に教えていただけて、頭が上がりません。 やり方を忘れない内に復習しておこうと思います。 次回は前回のゼミで扱った12章「生成モデル」の続きの、GANや正規化フローについて扱います。 ※PyTorch…Python向けのオープンソース機械学習ライブラリ。近年最もシェアが高い。本研究室では主にこれを使ってモデルの構築、学習を行う。 We learned how to use the tools such as Git, Github, Docker and PyTorch(※), which are necessary for research from Katayama-san. It is very painstaking work for those with no experience of…
第6回学生ゼミが開かれました The 6th student seminar was held.
6/28に第6回学生ゼミが開催されました． 今回はD3の邱から，12章の生成モデル（前半）について発表しました． 生成モデルの概要，自己符号化器とスパース自己符号化器について説明しました． 議論の場では，スパース自己符号化器の実用例について考えて，事前学習や分類器の学習に有用であるという話しをしました． 次回は特別の回で，M2の片山くんがサーバーの使い方や深層学習モデルの実装を紹介して，みんなが実際に手を動かしてみる予定です． The 6th student seminar was held on 28th June. Qiu (D3) gave a presentation on the first part of Chapter 12, generative models. An overview of generative models, autoencoders, and sparse autoencoders was explained. During…
第5回学生ゼミが開かれました The 5th student seminar was held.
6/21に第5回学生ゼミが開催されました． 今回はB4の嶋野くんから，5章の畳み込みニューラルネットワーク（CNN）について発表しました． 基本的な畳み込みの計算から多様な形式のCNNを紹介していただきました．分厚い章で，お疲れ様でした． 同変性と不変性のところ，Group Convolutional Neural Networksという，回転や反転まで同変性を持たせるための研究について一緒に読んでみました．私は群論に関する知識が足りなくて，苦戦しました． 後半は，OBの稲福くんにオンラインで参加してもらい，彼がB4時にCNNを勉強して研究で用いた話しを伺いました．物体検出やセグメンテーションなどの手法はやはり面白いし，幅広く使えますね． 次回は第12章の生成モデル，自己符号化器や変分自己符号化器について扱います． 最近は梅雨の季節で，雨が降ったりやんだり，暑かったりで，皆様くれぐれもご自愛くださいね． The 5th student seminar was held on 21st June. Mr Shimano (B4) gave a presentation on Chapter 5, convolutional neural networks (CNN). It was an abundant chapter, introducing everything from…
第4回学生ゼミが開かれました
6/14に第4回学生ゼミが開催されました。 今回は4章の誤差逆伝播法についてB4の坂番さんから発表がありました。 誤差逆伝播法の原理について説明してもらった後に、自動微分や勾配消失問題、残差接続についても説明していただきました。 その後、逆誤差伝播法の出発点となる出力層でのデルタが活性化関数で上手く決定できること、関数を原始的な演算の列で表す自動微分を行う意義などについて議論しました。 最後に、最適輸送で良く使われているSinkhornアルゴリズムについての議論となりましたが、内容が難しく今回の学生ゼミはお開きとなりました。若い方が活躍されている分野で、自分自身と年齢が近いこともあり驚かさせられました。 次回は5章の畳み込みニューラルネットワークについて扱います。 The 4th student seminar was held on June 14. Ms. Sakaban, B4, gave a presentation on the back propagation in Chapter 4. After explaining the principle of the back propagation, she also explained…
第3回学生ゼミが開かれました
6/7に第3回学生ゼミが開かれました。 『深層学習 第二版』の3章「確率的勾配降下法(SGD)」の後半部分について、D1の諸田さんに発表していただきました。SGDの改良法として、重みの更新幅の調整(AdaGrad, Adamなど)やより平坦な局所形状を持つ極小点を探索するためのSAM、層出力や重みの正規化について学びました。 ゼミでは多くの活発な議論が行われました。関連して、このような学生同士の議論で生まれたランダムなアイディアが深層学習の研究を進めることを揶揄した「学生勾配降下法(SGD/ student gradient descent)」という言葉が話題に上がったのが、個人的に面白く印象に残っています。 また、よく理解できていなかったSAM、バッチ正規化やネットワークやデータの並列処理について先輩方に教えていただけて、新しい発見があり非常に勉強になりました。 次回は第4章「誤差逆伝播法」について扱います。 The third student seminar was held on July 7th. Mr. Morota, D1, gave a presentation on the latter half of Chapter 3, “Stochastic Gradient Descent (SGD),” in “Deep Learning,…