人工知能について
クリスマスぐらいから人工知能を作りたくなったのでいろいろ調べてみました。
・階層型ニューラルネットワーク
・逆伝播法
・事前学習
などなどいろんな専門用語があり、なかなか歯ごたえのある分野ですね。
とりあえずこのブログをメモ代わりに使うことにします＾＾；
今日は事前学習の一つ制限ボルツマンマシンについて書きます。
deep learningに使われる制限ボルツマンマシン(RBM)についてわかったこと・・・
・ではボルツマンマシンとはなにか？
確率を考慮したホップフィールドネットワークのこと
・ではホップフィールドネットワークとはなにか？
ニューロンどうし関係を持っているネットワークのこと。つまりニューラルネットワークの原型。。。かな？
別分野のエネルギー関数をまねて作ったエネルギー関数は、情報がニューロン間を移動するごとに減少することが知られている。
ただしエネルギー関数は極小値に落ち着くだけで最小値とは限らない。
・そこで考えられたのがボルツマンマシン。活性化関数に確率を導入することにより、極小値からの脱出を可能にした。（焼きなまし法？）
・制限ボルツマンマシンの実用について
制限ボルツマンマシンをdeep learningに応用するには、CD法というものを使うようです。僕はまだなんとなくしかわかっていない。以上！
