メモ→ https://x.com/nobushiromasaki/status/1795398073583272322?s=46&t=z75bb9jRqQkzTbvnO6hSdw

人工知能について21年現在までにわかっていることが網羅的に解説されている。あなたの人工知能についての疑問は、この本の目次のどこかにあるかもしれない。

なかなか壮絶な内容。 まず、人類の知能を圧倒的に上回る汎用知能である「スーパーインテリジェンス」は、様々なハードルはあるもののいずれ達成されることがほぼ確実であることについての詳細説明があり、これがものすごく面白かった。 達成の手段として、著者は、人工知能の自己学習プログラム及びハードウェアの発展による（いくつかの技術的ブレークスルーが必要）マシンインテリジェンスの実現（どのように汎用知性を手に入れるかに関して現時点で保証できる確実なボーダーラインである「生物進化のシステム上での再現」は計算能力の観点で完全な実現は不可能であるが、例えば脳神経科学の発展に伴う技術的革命や発見によってこれよりショートカットの手法が見つかることは十分に考えられる）や、人間の頭脳を物理的に解析して再現構築する全能エミュレーション（解析技術や構築技術の著しい発展により達成可能で、技術的ブレークスルーは不要）、生身の生体脳の強化（エンハンス。優生遺伝やゲノム操作等により実現可能だが、超絶知能とまではいかない）、人間の脳とコンピュータの接続による強化（結局脳の構造や情報処理のしくみが解明されなければならず、これができるなら人工知能アプローチによるマシンインテリジェンスも達成可能か）、集合知によるスーパーインテリジェンスの達成（広義での緩やかな達成のイメージ）などが挙げられており、これらが並行して進捗すれば、あるプロジェクトの成果や発見が他のプロジェクトの前進を促す効果も考えられ、いずれほぼ確実に少なくともいずれかの方法で達成されると予測していた。 そして、人類と同等の汎用人工知能が達成されると、瞬時にスーパーインテリジェンスが達成される可能性が高いことにも同感。そうなってから超知能のコントロール方法を考えても時すでに遅しで、今のうちから研究し、準備しておかなくてはならないと警鐘を鳴らしていることにも同感。 だが、コントロール問題は一筋縄ではいかない。超知能の最終目標の設定に関して、まず人間が自らの意図を自らが理解でき納得できる形で定義できるか、できたとしてそれを超知能が誤解や曲解をする恐れのない形で表現できるか といった、哲学的な難問である。そもそも、今後知能が向上していくかも知れない人類のうち、超知能を開発する時期という特定世代の人類の持つ価値を絶対的指標とするのか といったことも考慮せねばならない。（歴史をみれば、例えば数百年前の人類の至上と考える価値と現代の人類の価値は異なる） ひとたび超知能が走り出せば、一見無害に思える最終価値の設定をしていても、超知能がその結果の達成のみを最重要視する過程で、世界を破滅に追いやることが考えられるのであり、例えば、ある砂浜の砂の数を数えることを至上命題とする超知能は、数え間違いの恐れを極小化するために自らの計算機構の能力の最大化を図り宇宙全体を自らの計算素子に作り替えるかも知れないのである。 これは、本書を読んで気づかされた恐ろしい観点だった。著者は、目標設定は非常な難問であり、まだ解は出ないが、例えば、超知能に人間の意図するところを探求させ、十分に間違いないという確信が得られるまでは特定目的のために現実世界に多大な影響を及ぼす行動に出ないように保守的な設定を施しておくような手段が有効ではないかと提言してくれている。 スーパーインテリジェンスのコントロール問題は、人類史上最も重要で最も困難な問題であり、今のところ、超知能の達成に向けて無邪気に進んでいる人類は、まるで、爆弾で遊んでいる幼児のようなものだということだった。

人類がスーパーインテリジェンス（以下AI）を利用するために解決すべき課題とは。 いつか生まれるであろうAIを、当然のように従えられると考えている。そんな考え方は妄想でしかなく、AIが人類に従う必要性なんてないことを最初に理解する。そこで、AIコントロールについて、偏執的とも思ってしまうほどにあらゆる可能性を考慮する。 あらゆる考慮を経てもなお、著者は、AIはそれを裏切る能力を身につけるだろうと結論する。 人類は生き残れるのでしょうか。

著者はシンギュラリティがいつかは到来するという考えを持っている。マシン・インテリジェンスが人間の知能を越えるのを前提に、人類は何を用意しないといけないのか、AIのコントロール方法などを考察する。ページ数が多く、とても読みやすいとは言えないが、最低限AI技術者は本書を読むべきだろう。AIは人類を滅ぼしかねない危険な存在にもなりえる。そうならないようにする方法を考察するのだが、そこは人類とAIの知恵比べにもなりかねず、悲観的な未来しか私には見えなかった。核兵器と同程度の危険性をAIが持ってしまうのではないかと、本書を読むとそんな心配までしてしまう。論文のような書籍であるが、AIに興味を持っている人は読んでおいたほうが良い。明るい未来しか語らない本よりも、よっぽど役に立つと思う。

著者はオックスフォード大学哲学科教授。本書は分析哲学の見地からAIコントロール問題の解決策を探る大著。原著の初出は’14年9月と意外に年数が経っている。本文のみで約560ページと長いうえ直訳調の文章がとっつきにくく、読み進めるのにはかなりの負荷を感じた。 ここでの「AI」や「スーパーインテリジェンス（以下SI）」とは、人類の叡智を遥かに超越する水準の人工知能を指す概念であり、我々が日常これらの言葉から連想する、例えば「アルファ碁」や「フィンテック」などの水準からは大きくかけ離れたもの。したがって著者の提起する「人類が存在論的リスク（＝絶滅）を回避するため、SIをどのようにコントロールすべきか」といった問題の前提条件を共有することが、我々レイパーソンには少々困難である。しかもその定義上、SIの具体的な在り様を一般的な言語で表現することも極めて難しい。したがって、勢いその論述は抽象的で（我々一般人には）捉えどころのないものを土台とせざるを得ず、本書が思考実験的な色彩を纏う大きな理由になっている。 巻頭から繰り返し述べられるように、SIの実現可能性は高い。そしてそれはこれまで人類が作り上げてきたものとは大きく性質を異にし、人類のコントロール下から脱して自律的な意思決定を行い、人類の存在を脅かすような行動に出る可能性がある。そうならないためのSIコントロールとは一体いかなるものかを論ずるにあたり、著者は周到に要件定義を進めていく―SI出現の経路、スピード、多極か単極か、そしてそのコントロール手法や動機付けの可能性、etc....。それぞれが詳細に過ぎるためスムーズな読み進めを阻むが、著者の主張をあえて要約すれば「AIの有効性の研究と安全性の研究は歩調を合わせて進めなければならない」というもの。 本書のスケールは相当に大きいうえ、細部に目をやればさらなる深淵が待つというフラクタル構造を内含するため、正直なところどこまで理解できたかは自信がない。しかしいくつかの点につき共感することができた。例えばSI出現後、効率性が極限まで追求された社会では既存の社会基盤の一つであった倫理性が重要視されず、したがってそこで暮らす人々は極めて経済的に恵まれながらも精神的な充足は得られないのではないか、とする点。また、SI出現までの時間が長ければ長いほどコントロール問題にかかわる技術が進展する、という逆説も面白いと思った。

オックスフォード大学マーティンスクール哲学科教授ニック・ボストロムさんによる人工知能と人類の関係性に燗する様々な角度からの思考実験。

手に取ってみたら、メチャクチャ分厚い本でビビった。 著者は、ニック・ボストロム氏。メチャクチャ頭が良くて、大学時代に様々な分野を勉強しすぎて、心理学部長から停学になった伝説を持っているらしい。心理学、物理学、哲学、数理理論学を同時専攻とかどうなってんだろう… 現職は、オックスフォード大学マーティン・スクール哲学科教授。最近の人工知能本の良い本は、哲学科の人が多いと感じる。 この本は、この天才の思考実験が書かれている… 「もし、近未来にスーパーインテリジェンス（超絶知能）が出現する事が現実的に可能であれば、われわれ人類は存在論的リスク（滅亡リスク）に直面する可能性があり、そのリスクを回避するためには、コントロール問題を解決しなければならない」 この書籍が出版されて、イーロン・マスク、故スティーブン・ホーキングなどなどが、AIやばい！の説を騒ぎ出したそうな。 スーパーインテリジェンスが出現するのか？ この問いとシンギュラリティ説が混ざって、現在のブームと混沌があるのかと思う。 ボストロム氏の思考実験が読んで難しいのは、スーパーインテリジェンスなるものの出現がいまだ見たこともないものである事や、存在した場合のコントロール問題への解決策が見当たらないことかと思う。 この本は、相当なかみごたえあり。正直、いくつかある趣味の１つは読書ですといったレベルの自分にはきつかった。著者との思考対話にある程度付き合える時間を作らないと行けない。そして、その時間に対するリターンを考えると、今は、ざっと読んだ程度で読了とした。 『そろそろ人工知能の真実を語ろう』の著者は、シンギュラリティをぶった切ってたから、スーパーインテリジェンスなんて出現しない派だろうと思うが、あちらも哲学者だったから思考実験としては、受け入れるのかもなぁ。 日本語版は、2017年11月が初版で、今が2018年４月。2027年にまた読むかな。

2014/9 出版 SuperIntelligence Paths,Dangers,Sterategies イーロン・マスク、ビル・ゲイツ、スティーブン・ホーキングに影響 AIの研究開発は安全性の確保が至上命題。人工知能本ブームのきっかけ。

今日もアウトプット☆ チェスのチャンピオンを破ったプログラム等の技術的臨界点とは少し違う話で、狭い範囲で超絶的な能力を発揮するという意味ではなく、 広い意味で人間の頭脳・認知をはるかに超える知能がでてくる、というお話。 この本はネガティブだが、個人的には、 AIと人間は良きパートナーになっていけると信じてます。