勾配ブースティング木 (1)

ということで、決定木のことがゆるふわで分かった気持ちになったので、勾配ブースティング木 (GBDT) に手を出してみよう。定番の Kaggleで勝つデータ分析の技術：書籍案内｜技術評論社 と 『実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＰｙｔｈｏｎではじめるＫａｇｇｌｅスタートブック』（石原 祥太郎，村田 秀樹）｜講談社BOOK倶楽部 を参考に、XGBoost と LightGBM を見てみる。たぶんまだオワコンにはなっていないはず・・・。

• XGBoost Documentation — xgboost 1.5.2 documentation
• Welcome to LightGBM’s documentation! — LightGBM 3.3.2.99 documentation

がそれぞれのドキュメントらしい。
XGBoost はインストレーションガイドの通り

$ pip install xgboost
$ pip list | grep xgboost
xgboost                 1.5.2

で一瞬でインストールできた。良い。
LightGBM は自分でビルドしないとならない様子。GPU バージョンもあるみたいだけど、そっちはニューラルネットでもいいかな？という気がするので、普通に CPU で。
・・・と思ったのだが、普通に

$ pip install lightgbm
$ pip list | grep lightgbm
lightgbm                3.3.2

で良かった。

思い出

$ git clone --recursive https://github.com/microsoft/LightGBM
$ cd LightGBM
$ mkdir build
$ cd build
$ cmake ..
$ time make -j4

...
[100%] Built target lightgbm

real	1m7.559s
user	3m31.839s
sys	0m9.351s