7月6日（水）に第9回学生ゼミが行われ、『深層学習』第7章の内容について木村・邱が発表しました。
邱からは注意機構とその応用であるTransformerについての紹介があり、注意機構の解釈や辞書学習との対比について議論しました。木村からはグラフニューラルネットワークの系譜についての紹介があり、Spectral Graph CNNからChebNet、その近似モデルとしてのGCNの解釈や、グラフの同型性について議論しました。
来週は河内が生成モデルの発表を担当します。
投稿者 | 河内
第8回学生ゼミが行われました
6/29(水)に第8回学生ゼミを行いました。今回は事前課題として今までの本ゼミで学習したことを踏まえ全員がCNNあるいはRNN(LSTM及びGRU)を実装し、発表しました。
CNNグループではCIFAR-10を対象に各々が素朴なモデルからデータ増強や正則化、転移学習(Fine-tuning等)といった様々な手法を試し、精度がどう向上するのかを実験しました。
RNNグループでは株価予測課題に対し、1つのモデルを基準として各ハイパーパラメータを調整した際に学習はどう変化するのかを検証しました。
それぞれのチームが課題を解く中で学んできた事の整理や実際に実装上どのような効果があるのかについての理解が深められたかと思います。
次回は邱さんが注意機構とトランスフォーマーについて、木村がグラフニューラルネットワークについて発表を行う予定です。
投稿者｜木村
第7回学生ゼミが行われました
6/22(水)に学生ゼミ第7回を行い、深層学習第9章「説明と可視化」についてM1の片山が発表しました。
ブラックボックスのような深層学習モデルへの入力は出力にどの程度影響を与えるかを可視化する手法をいくつか学びました。
特にSHAP（SHapley Additive exPlanations）については、ゲーム理論の報酬計算から、仮定や画像例の特徴まで議論をしました。
影響関数（influence function）の式の導出をまだよく理解できていない部分もありますが、議論を通して多くの式の意味をより理解できるようになると思います。
次回は実装の回です。実装結果をお楽しみに！
投稿者｜邱
第6回学生ゼミが行われました。
6/15(水)に学生ゼミ第6回を行い、深層学習第6章「系列データのためのネットワーク」についてB4の村上が発表しました。
系列データを扱うリカレントニューラルネットワーク (RNN) やそれを発展させたLSTMやGRU、自己回帰モデルやSeq2Seqについて学習しました。
発表は順を追った丁寧な説明でわかりやすく、LSTMの構造や知識蒸留を中心に議論も活発に行われました。
来週はM1片山が説明と可視化について発表します。
投稿者｜片山
第５回学生ゼミが行われました
6/8(水)に学生ゼミ第5回を行い、深層学習第5章「畳み込みニューラルネットワーク」の後半についてD2の邱が発表しました。
先週の畳み込みニューラルネットワーク（CNN）の基本的な演算や構造の内容に引き続き、畳み込み層の一般化や画像サイズのアップサンプリングの方法などを学習しました。
スライドがとても分かりやすく、議論も活発に行われました。
来週はB4村上が系列データのためのネットワーク（RNN）の前半を発表します。
投稿者｜村上