【感想】深層学習の原理に迫る　数学の挑戦

図書館で借りた。
第3次ブームと言われて久しい人工知能分野。その中核的な要素であるディープラーニングについて語った1冊。タイトル通り「原理に迫る」ということで、分かりやすく噛み砕き、表面的な解説をした…印象だ。
言い換えれば、しっかりとした教科書ではないので、専門外の人がなんとなく知りたいという目的や、あくまで「初歩中の初歩でいいんだよね～」という人に薦める感じかなと思った。
個人的には、ニューラルネットワークを多層で積み重ねたのが～は分かるが、その"原理"を解説してくれている部分は、非常に分かりやすくて腑に落ちた。続きを読む

今泉允聡「深層学習の原理に迫る」読了。深層学習の根幹をなすニューラルネットワークは二層で数学的に十分であるにも関わらず多層になるほど性能が上がるとの事。しかしそれはその数学が適正でない。これは実世界が…非均一的な滑らかさを持つ関数の近似でしか捉えられないからという事を示唆するのかなと思った。続きを読む

相転移現象の記述に深層学習を適用可能とか、暗黙的正則化による過適合抑制というのは初めて知った。PACベイズ、二重効果理論、ランジュバン動力学(焼きなまし法の解析に便利)等々、興味深かったが、いずれも深…層学習の理解には未完成のツールとのことなので、日進月歩のこの分野でいまそれぞれの手法での理解がどこまで進んでいるか知りたい。また、30-40年前に既に発見されていた手法が忘れ去られ、車輪の再発明に研究者たちの貴重な人生の時間が奪われているのがもどかしいと感じた。知識・技術の体系化と継承は、それが積み上がるほど難しくなっていくが、これを諦めると人間の進歩は止まってしまうのかもしれない。続きを読む

深層学習 の議論について 手際よくまとめた本。最新の理論動向を勉強するには良い一冊。
AIを研究している修士なら一通りの読んでおいて損はしない。

タイトル通り、なぜ深層学習は人間の予測を超える結果を出すのか？を難しくない数学で解説してくれている本。時間があれば再読したい。

ChatGPTで起きている事象の意味は何なのか: プログラマの思索 https://forza.cocolog-nifty.com/blog/2023/04/post-ff1901.html