地域/情報研究室

6/21に第5回学生ゼミが開催されました．

今回はB4の嶋野くんから，5章の畳み込みニューラルネットワーク（CNN）について発表しました．

基本的な畳み込みの計算から多様な形式のCNNを紹介していただきました．分厚い章で，お疲れ様でした．
同変性と不変性のところ，Group Convolutional Neural Networksという，回転や反転まで同変性を持たせるための研究について一緒に読んでみました．私は群論に関する知識が足りなくて，苦戦しました．
後半は，OBの稲福くんにオンラインで参加してもらい，彼がB4時にCNNを勉強して研究で用いた話しを伺いました．物体検出やセグメンテーションなどの手法はやはり面白いし，幅広く使えますね．

次回は第12章の生成モデル，自己符号化器や変分自己符号化器について扱います．

最近は梅雨の季節で，雨が降ったりやんだり，暑かったりで，皆様くれぐれもご自愛くださいね．

The 5th student seminar was held on 21st June.

Mr Shimano (B4) gave a presentation on Chapter 5, convolutional neural networks (CNN).
It was an abundant chapter, introducing everything from basic convolutional computation to various forms of CNNs.

In the section on equivariance and invariance, we read together about Group Convolutional Neural Networks, a study to keep the equivariance about rotations and flips. I struggled with it because I lacked knowledge about group theory.

Besides, Mr. Inafuku, an alumni of our lab, joined us online. He shared about how he studied CNNs during his B4 and used them in his research. Methods such as object detection and segmentation are interesting and widely used.

Next seminar, we will deal with generative models, such as self-encoders and variational self-encoders in Chapter 12.

It’s the rainy season these days. Sometimes it rains and sometimes it’s hot. Please take care.

投稿者｜邱

6/14に第4回学生ゼミが開催されました。

今回は4章の誤差逆伝播法についてB4の坂番さんから発表がありました。
誤差逆伝播法の原理について説明してもらった後に、自動微分や勾配消失問題、残差接続についても説明していただきました。

その後、逆誤差伝播法の出発点となる出力層でのデルタが活性化関数で上手く決定できること、関数を原始的な演算の列で表す自動微分を行う意義などについて議論しました。
最後に、最適輸送で良く使われているSinkhornアルゴリズムについての議論となりましたが、内容が難しく今回の学生ゼミはお開きとなりました。若い方が活躍されている分野で、自分自身と年齢が近いこともあり驚かさせられました。

次回は5章の畳み込みニューラルネットワークについて扱います。

The 4th student seminar was held on June 14.

Ms. Sakaban, B4, gave a presentation on the back propagation in Chapter 4.
After explaining the principle of the back propagation, she also explained about automatic differentiation, vanishing gradient problem, and residual connection.

We then discussed the fact that the delta at the output layer can be successfully determined by modifying the activation function, and the significance of doing automatic differentiation.
Finally, the Sinkhorn algorithm, which is often used in optimal transport, was discussed, but the content was difficult. Then, this student seminar was finished. I was surprised at the fact that young person, who is close to my own, is active in this field.

Next time, we will deal with convolutional neural network (CNN) in chapter 5.

投稿者｜嶋野

6/7に第3回学生ゼミが開かれました。

『深層学習　第二版』の3章「確率的勾配降下法(SGD)」の後半部分について、D1の諸田さんに発表していただきました。SGDの改良法として、重みの更新幅の調整(AdaGrad, Adamなど)やより平坦な局所形状を持つ極小点を探索するためのSAM、層出力や重みの正規化について学びました。

ゼミでは多くの活発な議論が行われました。関連して、このような学生同士の議論で生まれたランダムなアイディアが深層学習の研究を進めることを揶揄した「学生勾配降下法(SGD/ student gradient descent)」という言葉が話題に上がったのが、個人的に面白く印象に残っています。

また、よく理解できていなかったSAM、バッチ正規化やネットワークやデータの並列処理について先輩方に教えていただけて、新しい発見があり非常に勉強になりました。

次回は第4章「誤差逆伝播法」について扱います。

The third student seminar was held on July 7th.

Mr. Morota, D1, gave a presentation on the latter half of Chapter 3, “Stochastic Gradient Descent (SGD),” in “Deep Learning, Second Edition.

We learned about SGD improvements such as adjusting the update range of weights (AdaGrad, Adam, etc.), SAM for searching for minima with flatter local shapes, and normalization of layer outputs and weights.

Many lively discussions took place in the seminar. It was personally interesting that the term “student gradient descent (SGD/ student gradient descent),” came up in the discussion, which ridiculously refers to the fact that random ideas generated by such discussions among students advance research in deep learning.

I also learned a lot from my seniors who taught me about batch normalization, and parallel processing of networks and data, which I did not understand well, and I made some new discoveries.

We will deal with Chapter 4, “Error Back Propagation Method at the next seminar

投稿者 | 坂番

5/31（水）に第２回学生ゼミが開かれました。

引き続き，『深層学習 第二版』の輪読をすすめています．
今回は，『第３章確率的勾配降下法』の前半部分について，B4の嶋野さんから発表がありました．
（SGD・汎化性能と過剰適合・正則化・学習率の選定と制御など）
バッチ学習・ミニバッチ学習，モメンタム・ネステロフの加速勾配法，学習率の選定や制御などについて，議論の深ぼりもありました．

次週の学生ゼミでは，第3章の後半を扱います．
（SGDの改良・層出力の正規化・重みの初期化など）

——–
The second student seminar was held on May 31 (Wed.).

Following the 1st student seminar, we have been reading “Deep Learning, Second Edition” by turns.
This time, Mr. Shimano (B4) gave a presentation on the first half of “Chapter 3: Stochastic Gradient Descent Method.
(SGD, generalization performance and over-fitting, regularization, learning rate selection and control)
There was a deep discussion on batch learning, mini-batch learning, Momentum-Nesterov’s accelerated gradient method, learning rate selection and control, and so on.

Next week’s student seminar will cover the second half of Chapter 3.
(SGD improvement, normalization of layer outputs, initialization of weights, etc.)

投稿者 | 諸田

「測量の日」の記念行事として年1回行われる日本水準原点の一般公開が5/24（水）にあり、地域/情報研究室の先輩方と訪れました。

日本の標高の基準となっている水晶板の0表示を初めて自分の目で見ることができました。（水晶板に赤い線があるのですが、写真では分かりにくくなっています…）
水晶板が動かないように、支持基盤である岩石層まで繋がっているコンクリートは想像よりも太く驚きました。

日本水準原点を見た後は、水準原点を取りまく一等水準点（甲、乙、丙、丁、戊）を見て回りました。
一等基準点丁では表記がNo_丁となっており違和感が面白かったです。

On May 24 (Wed.), I visited the Japanese datum of leveling, which is open to the public once a year as a commemorative event for “Survey Day”, with members of the laboratory.

I was able to see for the first time the 0 indication on the quartz plate that serves as the standard for elevation in Japan. 

投稿者|嶋野