6/14に第4回学生ゼミが開催されました。 今回は4章の誤差逆伝播法についてB4の坂番さんから発表がありました。 誤差逆伝播法の原理について説明してもらった後に、自動微分や勾配消失問題、残差接続についても説明していただきました。 その後、逆誤差伝播法の出発点となる出力層でのデルタが活性化関数で上手く決定できること、関数を原始的な演算の列で表す自動微分を行う意義などについて議論しました。 最後に、最適輸送で良く使われているSinkhornアルゴリズムについての議論となりましたが、内容が難しく今回の学生ゼミはお開きとなりました。若い方が活躍されている分野で、自分自身と年齢が近いこともあり驚かさせられました。 次回は5章の畳み込みニューラルネットワークについて扱います。 The 4th student seminar was held on June 14. Ms. Sakaban, B4, gave a presentation on the back propagation in Chapter 4. After explaining the principle of the back propagation, she also explained…
第3回学生ゼミが開かれました
6/7に第3回学生ゼミが開かれました。 『深層学習 第二版』の3章「確率的勾配降下法(SGD)」の後半部分について、D1の諸田さんに発表していただきました。SGDの改良法として、重みの更新幅の調整(AdaGrad, Adamなど)やより平坦な局所形状を持つ極小点を探索するためのSAM、層出力や重みの正規化について学びました。 ゼミでは多くの活発な議論が行われました。関連して、このような学生同士の議論で生まれたランダムなアイディアが深層学習の研究を進めることを揶揄した「学生勾配降下法(SGD/ student gradient descent)」という言葉が話題に上がったのが、個人的に面白く印象に残っています。 また、よく理解できていなかったSAM、バッチ正規化やネットワークやデータの並列処理について先輩方に教えていただけて、新しい発見があり非常に勉強になりました。 次回は第4章「誤差逆伝播法」について扱います。 The third student seminar was held on July 7th. Mr. Morota, D1, gave a presentation on the latter half of Chapter 3, “Stochastic Gradient Descent (SGD),” in “Deep Learning,…
第２回 学生ゼミが開かれました
5/31（水）に第２回学生ゼミが開かれました。 引き続き，『深層学習 第二版』の輪読をすすめています． 今回は，『第３章確率的勾配降下法』の前半部分について，B4の嶋野さんから発表がありました． （SGD・汎化性能と過剰適合・正則化・学習率の選定と制御など） バッチ学習・ミニバッチ学習，モメンタム・ネステロフの加速勾配法，学習率の選定や制御などについて，議論の深ぼりもありました． 次週の学生ゼミでは，第3章の後半を扱います． （SGDの改良・層出力の正規化・重みの初期化など） ——– The second student seminar was held on May 31 (Wed.). Following the 1st student seminar, we have been reading “Deep Learning, Second Edition” by turns. This time, Mr. Shimano (B4) gave…
日本水準原点一般公開に行ってきました！
「測量の日」の記念行事として年1回行われる日本水準原点の一般公開が5/24（水）にあり、地域/情報研究室の先輩方と訪れました。 日本の標高の基準となっている水晶板の0表示を初めて自分の目で見ることができました。（水晶板に赤い線があるのですが、写真では分かりにくくなっています…） 水晶板が動かないように、支持基盤である岩石層まで繋がっているコンクリートは想像よりも太く驚きました。 日本水準原点を見た後は、水準原点を取りまく一等水準点（甲、乙、丙、丁、戊）を見て回りました。 一等基準点丁では表記がNo_丁となっており違和感が面白かったです。 On May 24 (Wed.), I visited the Japanese datum of leveling, which is open to the public once a year as a commemorative event for “Survey Day”, with members of the laboratory. I was…
第1回学生ゼミが開かれました
5/24（水）に第1回学生ゼミが開かれました。 『深層学習 第二版』の輪読を進めていく予定ですが、今回は第2章「ネットワークの基本構造」についてM1の小林さんから発表がありました。 活性化関数に関する議論では、特にGELU(Gaussian error linear unit)や正弦関数を活用したSIREN(sinusoidal representation network)について時間をかけて話し合いました。 自分は今まで触れたことがない分野であるだけに新鮮な時間でした。 来週は第3章「確率的勾配降下法」について扱います。 The first student seminar was held on Wednesday, May 24. In this time, M1 student Mr. Kobayashi gave a presentation on Chapter 2, “Basic Structure of Networks.” In the…