6/14に第4回学生ゼミが開催されました。
今回は4章の誤差逆伝播法についてB4の坂番さんから発表がありました。
誤差逆伝播法の原理について説明してもらった後に、自動微分や勾配消失問題、残差接続についても説明していただきました。
その後、逆誤差伝播法の出発点となる出力層でのデルタが活性化関数で上手く決定できること、関数を原始的な演算の列で表す自動微分を行う意義などについて議論しました。
最後に、最適輸送で良く使われているSinkhornアルゴリズムについての議論となりましたが、内容が難しく今回の学生ゼミはお開きとなりました。若い方が活躍されている分野で、自分自身と年齢が近いこともあり驚かさせられました。
次回は5章の畳み込みニューラルネットワークについて扱います。
The 4th student seminar was held on June 14.
Ms. Sakaban, B4, gave a presentation on the back propagation in Chapter 4.
After explaining the principle of the back propagation, she also explained about automatic differentiation, vanishing gradient problem, and residual connection.
We then discussed the fact that the delta at the output layer can be successfully determined by modifying the activation function, and the significance of doing automatic differentiation.
Finally, the Sinkhorn algorithm, which is often used in optimal transport, was discussed, but the content was difficult. Then, this student seminar was finished. I was surprised at the fact that young person, who is close to my own, is active in this field.
Next time, we will deal with convolutional neural network (CNN) in chapter 5.
投稿者｜嶋野