第9章 GNNの枠を超えて:その他のグラフ深層学習モデル
はじめに
深層学習モデルには,畳み込みニューラルネットワーク(CNN),リカレントニューラルネットワーク(RNN),オートエンコーダー,敵対的生成ネットワーク(GAN)など多くのモデルがある. これらのモデルによって様々な種類のデータに対応できる. 例えば,CNNは画像のような規則的な格子状のデータを処理することができ,RNNはテキストのような連続したデータを処理することができる. また,優れたCNNやRNNを学習させるためには,大量のラベル付きデータが必要だが(教師あり学習),オートエンコーダーやGANはラベルのないデータのみでも複雑なパターンを抽出することができる(教師なし学習). これらの多様なアーキテクチャにより,深層学習技術は画像処理,自然言語処理,データマイニング,情報検索など多くの分野に応用されている.
これまでの章では,単純グラフや複雑グラフを対象とした様々なグラフニューラルネットワーク(GNN)を紹介してきた. しかし,これらのモデルはノード分類やグラフ分類といったタスクに対してのみ開発されており,学習にラベル付きデータを必要とすることが多い. そこで,グラフ構造を持つデータに対して,より多様なアーキテクチャを適用する試みがなされてきた. 例えば,オートエンコーダーを,グラフデータにおけるノード表現の学習に用いた研究がある(Wang et al., 2016; Kipf and Welling, 2016b; Pan et al., 2018). また,変分オートエンコーダーや敵対的生成ネットワークなどの深層生成モデルも,ノード表現の学習(Kipf and Welling, 2016b; Pan et al., 2018; Wang et al., 2018a)およびグラフ生成(Simonovsky and Komodakis, 2018; De Cao and Kipf, 2018)に用いられている. これらの深層グラフモデルは,GNNがカバーできない状況下での幅広いタスクに対応でき,グラフの深層学習技術を大きく発展させている. 本章では,深層オートエンコーダー,変分オートエンコーダー,リカレントニューラルネットワーク,敵対的生成ネットワークを含む,グラフに関するより多くの深層モデルを取り上げる.
目次
- 9.1 はじめに
- 9.2 グラフ上のオートエンコーダー
- 9.3 グラフ上の RNN
- 9.4 グラフ上の VAE
- 9.4.1 ノード表現学習のための VAE
- 9.4.2 グラフ生成のための VAE
- 9.4.2.1 エンコーダー:推論モデル
- 9.4.2.2 デコーダー:生成モデル
- 9.4.2.3 再構成損失の評価
- 9.5 グラフ上の GAN
- 9.5.1 ノード表現学習のための GAN
- 9.5.1.1 生成モデル
- 9.5.1.2 識別モデル
- 9.5.2 グラフ生成のための GAN
- 9.5.2.1 生成モデル
- 9.5.2.2 識別モデルと判別モデル
- 9.5.1 ノード表現学習のための GAN
- 9.6 本章のまとめ
- 9.7 参考文献