地域/情報研究室

7/5に第7回学生ゼミが開催されました。

今回は深層学習の内容から離れ、片山さんから研究で必要となるツールについての説明をしていただき、実際に環境構築からPyTorch(※)の公式チュートリアルの実行までを行いました。

SSHでの研究室のGPUサーバーやGithubとの接続、Dockerによる仮想環境の構築など、一人で行うには骨の折れる工程を先輩方に丁寧に教えていただけて、頭が上がりません。

やり方を忘れない内に復習しておこうと思います。

次回は前回のゼミで扱った12章「生成モデル」の続きの、GANや正規化フローについて扱います。

※PyTorch…Python向けのオープンソース機械学習ライブラリ。近年最もシェアが高い。本研究室では主にこれを使ってモデルの構築、学習を行う。

We learned how to use the tools such as Git, Github, Docker and PyTorch(※), which are necessary for research from Katayama-san.

It is very painstaking work for those with no experience of using such tools to make SSH connections to servers and build virtual environments with Docker, so I truly appreciate that the senior staffs taught me those tasks carefully from the very beginning!

The next seminar will deal with GANs and normalization flows in Chapter 12 of ‘Deep Learning’.

※PyTorch…Open source machine learning library for Python. It has the largest market share in recent years. In our laboratory, we mainly use it to build and train models.

6/28に第6回学生ゼミが開催されました．

今回はD3の邱から，12章の生成モデル（前半）について発表しました．
生成モデルの概要，自己符号化器とスパース自己符号化器について説明しました．
議論の場では，スパース自己符号化器の実用例について考えて，事前学習や分類器の学習に有用であるという話しをしました．

次回は特別の回で，M2の片山くんがサーバーの使い方や深層学習モデルの実装を紹介して，みんなが実際に手を動かしてみる予定です．

The 6th student seminar was held on 28th June.

Qiu (D3) gave a presentation on the first part of Chapter 12, generative models.

An overview of generative models, autoencoders, and sparse autoencoders was explained.
During the discussion, we considered practical examples of sparse autoencoders and talked about their usefulness for pre-training and classifier training.

The next session will be a special one, where Mr. Katayama (M2) will introduce the usage of our server and the implementation of deep learning models. Everyone will practice hands-on with it.

投稿者｜邱 (QIU)

6/21に第5回学生ゼミが開催されました．

今回はB4の嶋野くんから，5章の畳み込みニューラルネットワーク（CNN）について発表しました．

基本的な畳み込みの計算から多様な形式のCNNを紹介していただきました．分厚い章で，お疲れ様でした．
同変性と不変性のところ，Group Convolutional Neural Networksという，回転や反転まで同変性を持たせるための研究について一緒に読んでみました．私は群論に関する知識が足りなくて，苦戦しました．
後半は，OBの稲福くんにオンラインで参加してもらい，彼がB4時にCNNを勉強して研究で用いた話しを伺いました．物体検出やセグメンテーションなどの手法はやはり面白いし，幅広く使えますね．

次回は第12章の生成モデル，自己符号化器や変分自己符号化器について扱います．

最近は梅雨の季節で，雨が降ったりやんだり，暑かったりで，皆様くれぐれもご自愛くださいね．

The 5th student seminar was held on 21st June.

Mr Shimano (B4) gave a presentation on Chapter 5, convolutional neural networks (CNN).
It was an abundant chapter, introducing everything from basic convolutional computation to various forms of CNNs.

In the section on equivariance and invariance, we read together about Group Convolutional Neural Networks, a study to keep the equivariance about rotations and flips. I struggled with it because I lacked knowledge about group theory.

Besides, Mr. Inafuku, an alumni of our lab, joined us online. He shared about how he studied CNNs during his B4 and used them in his research. Methods such as object detection and segmentation are interesting and widely used.

Next seminar, we will deal with generative models, such as self-encoders and variational self-encoders in Chapter 12.

It’s the rainy season these days. Sometimes it rains and sometimes it’s hot. Please take care.

投稿者｜邱

6/14に第4回学生ゼミが開催されました。

今回は4章の誤差逆伝播法についてB4の坂番さんから発表がありました。
誤差逆伝播法の原理について説明してもらった後に、自動微分や勾配消失問題、残差接続についても説明していただきました。

その後、逆誤差伝播法の出発点となる出力層でのデルタが活性化関数で上手く決定できること、関数を原始的な演算の列で表す自動微分を行う意義などについて議論しました。
最後に、最適輸送で良く使われているSinkhornアルゴリズムについての議論となりましたが、内容が難しく今回の学生ゼミはお開きとなりました。若い方が活躍されている分野で、自分自身と年齢が近いこともあり驚かさせられました。

次回は5章の畳み込みニューラルネットワークについて扱います。

The 4th student seminar was held on June 14.

Ms. Sakaban, B4, gave a presentation on the back propagation in Chapter 4.
After explaining the principle of the back propagation, she also explained about automatic differentiation, vanishing gradient problem, and residual connection.

We then discussed the fact that the delta at the output layer can be successfully determined by modifying the activation function, and the significance of doing automatic differentiation.
Finally, the Sinkhorn algorithm, which is often used in optimal transport, was discussed, but the content was difficult. Then, this student seminar was finished. I was surprised at the fact that young person, who is close to my own, is active in this field.

Next time, we will deal with convolutional neural network (CNN) in chapter 5.

投稿者｜嶋野

6/7に第3回学生ゼミが開かれました。

『深層学習　第二版』の3章「確率的勾配降下法(SGD)」の後半部分について、D1の諸田さんに発表していただきました。SGDの改良法として、重みの更新幅の調整(AdaGrad, Adamなど)やより平坦な局所形状を持つ極小点を探索するためのSAM、層出力や重みの正規化について学びました。

ゼミでは多くの活発な議論が行われました。関連して、このような学生同士の議論で生まれたランダムなアイディアが深層学習の研究を進めることを揶揄した「学生勾配降下法(SGD/ student gradient descent)」という言葉が話題に上がったのが、個人的に面白く印象に残っています。

また、よく理解できていなかったSAM、バッチ正規化やネットワークやデータの並列処理について先輩方に教えていただけて、新しい発見があり非常に勉強になりました。

次回は第4章「誤差逆伝播法」について扱います。

The third student seminar was held on July 7th.

Mr. Morota, D1, gave a presentation on the latter half of Chapter 3, “Stochastic Gradient Descent (SGD),” in “Deep Learning, Second Edition.

We learned about SGD improvements such as adjusting the update range of weights (AdaGrad, Adam, etc.), SAM for searching for minima with flatter local shapes, and normalization of layer outputs and weights.

Many lively discussions took place in the seminar. It was personally interesting that the term “student gradient descent (SGD/ student gradient descent),” came up in the discussion, which ridiculously refers to the fact that random ideas generated by such discussions among students advance research in deep learning.

I also learned a lot from my seniors who taught me about batch normalization, and parallel processing of networks and data, which I did not understand well, and I made some new discoveries.

We will deal with Chapter 4, “Error Back Propagation Method at the next seminar

投稿者 | 坂番