ニュートン法も最急降下法もニューラルネットの重みのチューニングに利用される最適化の方法

【最急降下法】
適当な初期点xを選ぶ
xでの勾配ベクトルを求めて勾配ベクトル方向（最も急な方向）に点を移動させる
収束するまで2.を繰り返す

【ニュートン法】
f(x)=0になるようなxを求めるアルゴリズムの１つで、方程式の解を近似的に求めることができる方法です。
ニュートン法を用いると、√2の値やsin(x)=0.5になるようなxの値など近似的に求めることができます

ュートン法では、以下の考え方に基づいて計算が行われます

f(x) = 0になるような値xを探す時、ある値x1における接線の切片x2は、元の値x1より真の値xに近くなる

この考え方は下の図のように、f(x)という関数においてf(x) = 0になるようなxを求めたいとき、
ある値x1における接線f'(x)の切片x2を求めると、求めたい値xに対して、x1よりもx2の方が近くなるということを意味しています

figure111.png

先ほど算出したx2の値を元にして同様の操作を行うと、x3は目的となる値xにより近づきます

figure22.png

この手順を繰り返せば繰り返すほど、算出される切片の値は目的となる値xに近づいていきます

http://qiita.com/PlanetMeron/items/09d7eb204868e1a49f49

http://techtipshoge.blogspot.jp/2016/07/blog-post.html