平成の桃太郎

自動微分を手動でやってみるという表面的な日本語としては違和感を感じますが、このタイトルでOKだと思います。

感動のポイントとしては、普通に関数を計算するのと同じ手順で、四則演算の計算の組み合わせで、導関数を計算することができることです。複雑な関数であっても、単純な式の組み合わせで、その関数の勾配を求めることができ、しかも数値微分よりも正確に計算することができる。

自動微分の特徴としては、関数をアルゴリズムの概念で扱うので、その関数が数式的に表現できないような複雑な条件、例えば繰り返しの計算や条件分岐による式の変化にも柔軟に対応できることです。

自動微分がなぜ重要なのか。人工知能もしくは機械学習の分野で、特定の変数の値に対応した関数の勾配を求めることで、勾配降下法という手法を使って、目的の関数の最小値を得ることができるからです。勾配降下法を使うには、関数の勾配を求める必要があり、その有力な手法が自動微分ということです。