よく埋め込み (embedding) という概念に出会うが、あれは単語の埋め込み (word embedding) に由来するのか・・・。確かに CBOW の入力層の行列の行として分散表現（潜在表現）が埋め込まれているね。なるほど・・・。
https://github.com/pytorch/pytorch/blob/7b55dc8340a535b7256319585c85ef4e240d10c7/torch/nn/modules/sparse.py#L12-L218 を見てもちょっと大きくてピンとは来ないな・・・。
Embedding — PyTorch 1.10.0 documentation むむ・・・。
Negative Sampling の説明はなんとなく GAN の discriminator を感じるところがある。正例（本当のデータ）に対しては 1 を、負例（生成データ）に対しては 0 を出力するように訓練するのであった。そういう訓練に似ているような気がする。
この辺の内容は理学的な原理というよりは計算量を抑えるための工学的なテクニックといった感じか。back prop は数値計算なので理学的な原理に支えられているが、コンテキストに応じて理学的な観点と工学的な観点がスイッチしているので注意して読まないと混乱しそうだな。
とりあえず p.154 くらいまで進んだ。残りはまだまだあるな・・・。
