らんだむな記憶

blogというものを体験してみようか!的なー

sparse connectivity

full/dense/complex connectivity に対する local/sparse connectivity であるがhttp://www.deeplearningbook.org/contents/convnets.htmlの p.330 に書いてあるように、入力ノードのデータが畳み込みの結果のノードへの疎に繋がっているということらしい。
\begin{align}
v(x) = \int k(x-y)u(y) dy = \int k(y)u(x-y)dy
\end{align}

で $u$ に核 $k$ を畳み込んで $v$ を得ることを考える場合、 $\mathrm{supp}(k) \subset \{x;\ |x| < \epsilon \}$ とすると、 $x = x_0$ での $u$ の情報は $\{x;\ |x - x_0| < \epsilon \}$ までにしか影響しない。よって、入力データは出力データ側ではカーネルの大きさの範囲のノードまでしか接続しないので sparsely connected だ、ということになるようだ。