Greedy function approximation: A gradient boosting machine. の概要を読むと以下のようなことが書かれている:
関数の推定・近似を，パラメータ空間ではなく，関数空間における数値最適化の観点から捉える．段階的加法展開と最急降下法による最小化との間に関連がある．任意の適合基準に基づく加法展開のための一般的な勾配降下「ブースティング」パラダイムを開発した．回帰における最小二乗，最小絶対偏差，Huber-M損失関数，分類における多クラスロジスティック尤度に対する具体的なアルゴリズムが示されている．個々の加法要素が回帰木である場合の特別な拡張を導き出し，そのような「TreeBoost」モデルの解釈のためのツールを提示する．回帰木の勾配ブースティングは，回帰と分類の両方において，競争力のある，非常に頑健で解釈可能な手法を生み出し，特に，クリーンではないデータのマイニングに適している．このアプローチとFreund，Shapire，Friedman，Hastie，Tibshiraniのブースティング手法との関連についても議論されている．
最急降下法の関数空間版のような内容という解説をしているスライドもあるので、ぼんやりとそういうイメージを持っておけば良いのかもしれない。
XGBoost の論文を読んでみたけどよく分からなかったので、Kaggle 本の pp.243-246 あたりを読んでみるのが良いのかもしれない。ざっと見た感じでは論文と同じ記号を使っていそう。論文のほうではディスク I/O の話とかデータ圧縮や分散処理やキャッシングについて書いてあったけど、その辺は端折られてそう。ざっくりとは 2001 年頃からあった勾配降下ブースティング？の手法に正則化項を加えてごにょごにょしますという感じに見えたが、Kaggle 本を読むことで全貌が見えてくるか・・・。
