あした、なに観て 生きていく？
面白い論文を読んだので、久しぶりにちょっとブログを書いてみる。Chainer が残念ながら開発中止となり最近 PyTorch に移行したので、その練習を兼ねて実装もしてみた。
ニューラルネットを学習する時、ハイパーパラメータも同時に最適化したい… という場合がよくある。しかし、ただでさえ多いパラメータにハイパーパラメータも最適化するとなると途方に暮れることが多い。この論文は、ちょっとウィットな手法で効率的に最適化できるよというもの。
“Optimizing Millions of Hyperparameters by Implicit Differentiation” (Lorraine et al. 2019)
https://arxiv.org/abs/1911.02590
ChainerX は、最近精力的に開発されていると聞く Chainer の新機能で、ざっくり NumPy/CuPy で遅かった部分を C++ に置き換えることで高速化されたそうな。Chainer 6 に統合予定で、現在はβ版で遊ぶことができる。
Leave a Comment先日こんな記事を書いたが
Hamiltonian Descent Methods の Second Explicit Method を Chainer で実装して検証した
この中のアルゴリズムである Implicit Method について少し。
Leave a Comment前々からすごいと思ってたハミルトニアン降下法 (Hamiltonian Descent Methods) だけど、最近さらに解説・実装も充実してきたので自分も検証してみようと思った次第。
[1809.05042] Hamiltonian Descent Methods
Leave a Comment最近教育にも力を入れてるなーと思っていたら Chainer チュートリアルも公開されて。ディープラーニング入門なところを日本語でちゃんと勉強できるコンテンツは今すごく求められていますね。
(僕も一通り見ましたが、自分の Chainer のコードの参考にさせて頂きました)
ということで、今回はこの第10章 CuPy 入門 + α でも書こうかと。
10. CuPy 入門 — ディープラーニング入門：Chainer チュートリアル
Leave a Comment