ε-δ論法,ε-N論法を含めた数学的コンテンツの可視化とアプリケーション開発のブログ
読者です 読者をやめる 読者になる 読者になる

Hello Dream World

作ったもの,感じた事をつらつらと。。。

人工知能について

プログラミング

クリスマスぐらいから人工知能を作りたくなったのでいろいろ調べてみました。

・階層型ニューラルネットワーク

・逆伝播法

・事前学習

などなどいろんな専門用語があり、なかなか歯ごたえのある分野ですね。

とりあえずこのブログをメモ代わりに使うことにします^^;

今日は事前学習の一つ制限ボルツマンマシンについて書きます。

 
deep learningに使われる制限ボルツマンマシン(RBM)についてわかったこと・・・
・RBMとはニューロンの接続を制限したボルツマンマシン(BM)のこと。(同じ階層のニューロンとは接続しない)
 
・ではボルツマンマシンとはなにか?
確率を考慮したホップフィールドネットワークのこと
 
・ではホップフィールドネットワークとはなにか?
ニューロンどうし関係を持っているネットワークのこと。つまりニューラルネットワークの原型。。。かな?
別分野のエネルギー関数をまねて作ったエネルギー関数は、情報がニューロン間を移動するごとに減少することが知られている。
ただしエネルギー関数は極小値に落ち着くだけで最小値とは限らない。
 
・そこで考えられたのがボルツマンマシン。活性化関数に確率を導入することにより、極小値からの脱出を可能にした。(焼きなまし法?)
 
・制限ボルツマンマシンの実用について
制限ボルツマンマシンをdeep learningに応用するには、CD法というものを使うようです。僕はまだなんとなくしかわかっていない。以上!