もっちさんの明日はどっちだ Posts

　2020年も終わろうとしているので久々にブログを書こうと思う。

　今回はAIセキュリティについて。(異論はあると思うが) いわゆる AI = ニューラルネットな昨今、AI セキュリティ問題といえばほほぼ敵対的攻撃 (Adversarial Attack) の攻防について侃々諤々されている。敵対的攻撃については既にたくさんの記事があり、技術と情報も凄い勢いでアップデートされているので、今回はまったり (比較的マイナーな) 抽出攻撃 (Extraction Attack) について紹介しようと思う。

面白い論文を読んだので、久しぶりにちょっとブログを書いてみる。Chainer が残念ながら開発中止となり最近 PyTorch に移行したので、その練習を兼ねて実装もしてみた。

ニューラルネットを学習する時、ハイパーパラメータも同時に最適化したい… という場合がよくある。しかし、ただでさえ多いパラメータにハイパーパラメータも最適化するとなると途方に暮れることが多い。この論文は、ちょっとウィットな手法で効率的に最適化できるよというもの。

“Optimizing Millions of Hyperparameters by Implicit Differentiation” (Lorraine et al. 2019)
https://arxiv.org/abs/1911.02590