VAE (Variational Autoencoder) - らんだむな記憶で言及した[1406.2661] Generative Adversarial Networksを読んでみる。“読む”という名の思考停止和訳・・・。適当にDeepL翻訳も活用する。
VAE とかでは確率的デコーダの分布に Bernoulli 分布や Gauss 分布を仮定したりしていたが (損失関数の実装に現れていた)、カーネル SVM で RBF カーネルを指定する分類問題が CNN による自動フィルタ学習による分類で代替できるように、GAN もまた特別な確率分布等を明示的に仮定する必要のないフレームワークのように見える。
・・・
概要
GAN とは
- データ分布をキャプチャする生成モデル $G$
- サンプルが $G$ ではなく訓練データから来た確率を推定する識別モデル $D$
の 2 つのモデルを同時に訓練する、敵対的プロセスを介して生成モデルを推定するための新しいフレームワーク。これはga136(推論・知識処理・自然言語処理)まとめ (2) - らんだむな記憶で出てきたゲーム理論の 2 人プレイヤゲームにおけるミニマックス戦略に相当する。任意の $G$ と $D$ に対して Nash 均衡解が一意に求まる:
- $G$ が訓練データの分布を回復
- $D$ がどこでも $\frac{1}{2}$ に等しい
$G$ と $D$ が多層パーセプトロンで定義されている場合，システム全体を勾配降下法で学習することができる。学習中もサンプル生成中もマルコフ連鎖や展開されていない近似推論ネットワークは必要ない。
イントロダクション
提案された敵対的ネットのフレームワークでは、生成モデルは敵対者と対戦する:
- 識別モデル: サンプルがモデル分布かデータ分布かを決定するために学習するモデル。偽造通貨を検出しようとする警察に例えられる。
- 生成モデル: 偽造通貨を製造して検出されずに使用しようとする偽造者のチームに例えられる。
このゲームでの競争は、偽造品が本物と区別がつかなくなるまで、両チームの方法を改善することを促す。
生成モデルが多層パーセプトロンにランダムノイズを通過させてサンプルを生成し、識別モデルも多層パーセプトロンである場合の特殊なケースを探求する。この特殊なケースを敵対的ネットと呼ぶことにする。この場合、勾配降下法とドロップアウトアルゴリズムのみを用いて両方のモデルを訓練し、前方伝播のみを用いて生成モデルからサンプルを抽出することができる。近似推論やマルコフ連鎖は必要ない。
