Skip to content

カテゴリー: 趣味

“Optimizing Millions of Hyperparameters by Implicit Differentiation” ハイパーパラメータ最適化の概要とPyTorchで実装練習

面白い論文を読んだので、久しぶりにちょっとブログを書いてみる。Chainer が残念ながら開発中止となり最近 PyTorch に移行したので、その練習を兼ねて実装もしてみた。

ニューラルネットを学習する時、ハイパーパラメータも同時に最適化したい… という場合がよくある。しかし、ただでさえ多いパラメータにハイパーパラメータも最適化するとなると途方に暮れることが多い。この論文は、ちょっとウィットな手法で効率的に最適化できるよというもの。

“Optimizing Millions of Hyperparameters by Implicit Differentiation” (Lorraine et al. 2019)
https://arxiv.org/abs/1911.02590

1 Comment

Hamiltonian Descent Methods の Second Explicit Method を Chainer で実装して検証した

前々からすごいと思ってたハミルトニアン降下法 (Hamiltonian Descent Methods) だけど、最近さらに解説・実装も充実してきたので自分も検証してみようと思った次第。

[1809.05042] Hamiltonian Descent Methods

omedstu.jimdo.com

Leave a Comment

Chainer チュートリアルも公開されたし GPU がもうちょっと楽しくなる CuPy カーネル入門

最近教育にも力を入れてるなーと思っていたら Chainer チュートリアルも公開されて。ディープラーニング入門なところを日本語でちゃんと勉強できるコンテンツは今すごく求められていますね。

(僕も一通り見ましたが、自分の Chainer のコードの参考にさせて頂きました)

tutorials.chainer.org

 

ということで、今回はこの第10章 CuPy 入門 + α でも書こうかと。

10. CuPy 入門 — ディープラーニング入門:Chainer チュートリアル

Leave a Comment