アンドリュー・エン教授のアドバイスによる機械学習キャリアの築き方と研究論文の読み方 | AI専門ニュースメディア AINOW
- 読むべき論文をリストアップする。
- リストアップした論文から読みたいものを複数選んで、選んだ論文を並行して読む。
- 論文を隈なく読もうとはせずに、タイトルや要旨のような重要箇所だけを読む。
上記を踏まえつつ、
- また機械学習エンジニアのキャリアを構築するにあたっては、様々な分野に関する基礎的な知識があると同時に特定の分野に関しては深い知識を持っている「T字型の知識ベース」を構築するのが望ましい、とアドバイスしています。
- また、企業のブランドにとらわれずに自分の成長に役立つチームやプロジェクトに参加することも強くすすめています。
どんな分野においても重要な話だな。「T字型の知識ベース」はまったくもってそうだと感じられて、どういう方向に行くにしても、基本的なニューラルネットワークの構造、畳み込みニューラルネットワーク、RNN や LSTM といった再帰型のニューラルネットワークを踏まえた上で、VGG や ResNet のような画像分類系、attention や Transformer や BERT のような自然言語処理系 etc. のテクニックや考えの基礎を習得する必要があるように思う。こういう基礎的な話とは別に Variational AutoEncoder や GAN のような生成系や DQN のような深層強化学習があったりするのだろう。きっとその中でもドメイン固有のテクニックやノウハウがあるはず。悲しいことにこれらの研究はここ 10 年以内になされたものばかりで、どんだけ勉強したらいいんだ状態である。さらには、そもそも深層学習には属さない機械学習、つまり、基礎的なパーセプトロンやランダムフォレストや SVM やカーネル法といった教師ありの分類系、k-近傍法のような教師なし学習、重回帰分析による説明や主成分分析による次元削減といった多変量解析的なテクニックや可視化も重要になってくる。最近は深層学習の説明責任も問われるので課題は山積みだ。モデルの商用利用に関する法律やライセンスの話も頭が痛い・・・。ここ近年では、畳み込みニューラルネットワークにおけるプーリング層がよろしくないということで、積層カプセルオートエンコーダのような最先端の教師なし学習の考えもでてきている。論文を読んでもなかなか意味が分からない、ピンとこないものでしんどいが動向を見る必要があるのだろう。
こういった山のような generic な話を横棒として縦棒を伸ばしていく必要がある。なんともつらい話だ。
とりあえず広い範囲の話は基本的に論文を軽く流す程度にしたいが、個々の領域で最重要だったり転換期を生み出したような論文は比較的隈なく読むようにして “縦方向” の知識にしていきたい・・・。
