Deep Learningを学ぶ上で必要な知識 – ニューラルネットワーク

ニューラルネットワーク: 入力層、中間層(隠れ層)、出力層の3種類の層からなる。 層の数え方は重みを持つ層のみをカウントするパターン(中間層が1層の場合、2層ネットワークと呼ぶ)とすべての層をカウントするパターン(中間層が1層の場合、3層ネットワークと呼ぶ)があるので注意が必要。 ニューラルネットワークの繋がり方自体はパーセプトロンと同一。     活性化関数: パーセプトロンの以下の式を一つにまとめる。 y = 0 :  x1 * w1 + x2 * w2 + b  <= 0 y = 1 :  x1 * w1 + x2 * w2 + b  > 0   h(x)

Deep Learningを学ぶ上で必要な知識 – パーセプトロン

単純パーセプトロン: 入力信号xに対して、重みづけwを行い、その結果が閾値θを超える場合発火する(1を返す) パーセプトロンは以下の数式で表すことができる。 y = 0 :  x1 * w1 + x2 * w2 + b  <= 0 y = 1 :  x1 * w1 + x2 * w2 + b  > 0 単純パーセプトロンは線形(x1, x2の一次関数)で表現されるため、AND/NAND/ORといったゲートは表現できるが、XORゲートは表現できない。=単純パーセプトロンの限界 多層パーセプトロン: パーセプトロンを複数個組み合わせて層にしたもの。 XORゲートがAND/NAND/ORゲートを組み合わせることで表現できるように、一つのパーセプトロンでは表現できないものを表すことができる。   ニューロン、ノード: