6/7に第3回学生ゼミが開かれました。
『深層学習 第二版』の3章「確率的勾配降下法(SGD)」の後半部分について、D1の諸田さんに発表していただきました。SGDの改良法として、重みの更新幅の調整(AdaGrad, Adamなど)やより平坦な局所形状を持つ極小点を探索するためのSAM、層出力や重みの正規化について学びました。
ゼミでは多くの活発な議論が行われました。関連して、このような学生同士の議論で生まれたランダムなアイディアが深層学習の研究を進めることを揶揄した「学生勾配降下法(SGD/ student gradient descent)」という言葉が話題に上がったのが、個人的に面白く印象に残っています。
また、よく理解できていなかったSAM、バッチ正規化やネットワークやデータの並列処理について先輩方に教えていただけて、新しい発見があり非常に勉強になりました。
次回は第4章「誤差逆伝播法」について扱います。
The third student seminar was held on July 7th.
Mr. Morota, D1, gave a presentation on the latter half of Chapter 3, “Stochastic Gradient Descent (SGD),” in “Deep Learning, Second Edition.
We learned about SGD improvements such as adjusting the update range of weights (AdaGrad, Adam, etc.), SAM for searching for minima with flatter local shapes, and normalization of layer outputs and weights.
Many lively discussions took place in the seminar. It was personally interesting that the term “student gradient descent (SGD/ student gradient descent),” came up in the discussion, which ridiculously refers to the fact that random ideas generated by such discussions among students advance research in deep learning.
I also learned a lot from my seniors who taught me about batch normalization, and parallel processing of networks and data, which I did not understand well, and I made some new discoveries.
We will deal with Chapter 4, “Error Back Propagation Method at the next seminar
投稿者 | 坂番