6/21に第5回学生ゼミが開催されました． 今回はB4の嶋野くんから，5章の畳み込みニューラルネットワーク（CNN）について発表しました． 基本的な畳み込みの計算から多様な形式のCNNを紹介していただきました．分厚い章で，お疲れ様でした． 同変性と不変性のところ，Group Convolutional Neural Networksという，回転や反転まで同変性を持たせるための研究について一緒に読んでみました．私は群論に関する知識が足りなくて，苦戦しました． 後半は，OBの稲福くんにオンラインで参加してもらい，彼がB4時にCNNを勉強して研究で用いた話しを伺いました．物体検出やセグメンテーションなどの手法はやはり面白いし，幅広く使えますね． 次回は第12章の生成モデル，自己符号化器や変分自己符号化器について扱います． 最近は梅雨の季節で，雨が降ったりやんだり，暑かったりで，皆様くれぐれもご自愛くださいね． The 5th student seminar was held on 21st June. Mr Shimano (B4) gave a presentation on Chapter 5, convolutional neural networks (CNN). It was an abundant chapter, introducing everything from…
第4回学生ゼミが開かれました
6/14に第4回学生ゼミが開催されました。 今回は4章の誤差逆伝播法についてB4の坂番さんから発表がありました。 誤差逆伝播法の原理について説明してもらった後に、自動微分や勾配消失問題、残差接続についても説明していただきました。 その後、逆誤差伝播法の出発点となる出力層でのデルタが活性化関数で上手く決定できること、関数を原始的な演算の列で表す自動微分を行う意義などについて議論しました。 最後に、最適輸送で良く使われているSinkhornアルゴリズムについての議論となりましたが、内容が難しく今回の学生ゼミはお開きとなりました。若い方が活躍されている分野で、自分自身と年齢が近いこともあり驚かさせられました。 次回は5章の畳み込みニューラルネットワークについて扱います。 The 4th student seminar was held on June 14. Ms. Sakaban, B4, gave a presentation on the back propagation in Chapter 4. After explaining the principle of the back propagation, she also explained…
第3回学生ゼミが開かれました
6/7に第3回学生ゼミが開かれました。 『深層学習 第二版』の3章「確率的勾配降下法(SGD)」の後半部分について、D1の諸田さんに発表していただきました。SGDの改良法として、重みの更新幅の調整(AdaGrad, Adamなど)やより平坦な局所形状を持つ極小点を探索するためのSAM、層出力や重みの正規化について学びました。 ゼミでは多くの活発な議論が行われました。関連して、このような学生同士の議論で生まれたランダムなアイディアが深層学習の研究を進めることを揶揄した「学生勾配降下法(SGD/ student gradient descent)」という言葉が話題に上がったのが、個人的に面白く印象に残っています。 また、よく理解できていなかったSAM、バッチ正規化やネットワークやデータの並列処理について先輩方に教えていただけて、新しい発見があり非常に勉強になりました。 次回は第4章「誤差逆伝播法」について扱います。 The third student seminar was held on July 7th. Mr. Morota, D1, gave a presentation on the latter half of Chapter 3, “Stochastic Gradient Descent (SGD),” in “Deep Learning,…