「情報理論」を読みつつ、エントロピーの意味を掘り下げたい 定義 確率 $p$ の情報が実際に生起したことを知らせる情報に含まれている情報量を$$ \begin{align*} - \log_2 p \end{align*} $$と定義する。とある。つまり、エントロピーとは、事象 $A_1, \cdot…

「情報理論」の話を思い出すと情報量はエントロピーの差で測られた。つまり不確定度の差が情報量ということであった。不純度もまた、不純度の差が情報利得ということのようである。ある程度同一視して、不純度が高いということは不確定度が高いことだと考え…

https://github.com/rasbt/python-machine-learning-book-3rd-edition/blob/master/ch03/ch03.ipynb を見ると決定木のところで Gini Impurity（ジニ不純度）やエントロピーとの比較が出ている。この不純度なるものが何かピンと来ないが手元の統計の本を見て…

真面目に調べたことないなと。 XGBoost: [1603.02754] XGBoost: A Scalable Tree Boosting System with Greedy function approximation: A gradient boosting machine. LightGBM : https://proceedings.neurips.cc/paper/2017/file/6449f44a102fde848669bdd9…