決定木 (1)

真面目に調べたことないなと。

• XGBoost: [1603.02754] XGBoost: A Scalable Tree Boosting System
  • with Greedy function approximation: A gradient boosting machine.
• LightGBM : https://proceedings.neurips.cc/paper/2017/file/6449f44a102fde848669bdd9eb6b76fa-Paper.pdf

決定木そのものは論文とかはよく分からなくて解説記事しかパッとは見つからない。

• 決定木の使い方と原理【scikit-learnによる実装】 | エビワークス
• [Python]決定木の理論と実装を徹底解説してみた - Qiita

scikit-learn を使うことは少ないが、O'Reilly Japan - Pythonではじめる機械学習 を持っていても良いのかもしれない。対応する GitHub は GitHub - amueller/introduction_to_ml_with_python: Notebooks and code for the book "Introduction to Machine Learning with Python" らしい。

とりあえず手元には Python機械学習プログラミング 達人データサイエンティストによる理論と実践 - インプレスブックス しかないからちょっと写経してみるか・・・。

＊＊＊＊＊

たぶんちゃんと本を読むなら sklearn/tree/_classes.py#L878-L887 あたりが参考になるはず・・・。

.. [1] https://en.wikipedia.org/wiki/Decision_tree_learning
.. [2] L. Breiman, J. Friedman, R. Olshen, and C. Stone, "Classification
and Regression Trees", Wadsworth, Belmont, CA, 1984.
.. [3] T. Hastie, R. Tibshirani and J. Friedman. "Elements of Statistical
Learning", Springer, 2009.
.. [4] L. Breiman, and A. Cutler, "Random Forests",
https://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm

まぁ、要するにカステラ本の p.305〜 を読めということ・・・。この本を読んで機械学習を学び、Kaggleの金メダルをとりました｜カレーちゃん｜note のカレーちゃんの記事からリンクがあるので・・・。