アライメント問題、不可謬性、執拗さ、理解不能な多元データに基づく判断、そして自律性。そういった特徴を持つAIは経済動機や国家統制の動機で社会の混乱や対立を煽ったり、監視やスコア制に活かされたりするかもしれない。疑心暗鬼に陥った独裁者と組み合わさると破壊兵器の使用に繋がるかもしれない。 これらを回避するには人類がAIをコントロールしないといけない。はたして人類は協調してそれができるのか、が問題。まさに技術はどう使うか。痛い目を見ないと協調できない気がするが、その痛みにたえられるのか。ラジオがナチスに繋がったようなことがもっと酷い形で起きないか。心配。

＜OPAC＞ https://opac.jp.net/Opac/NZ07RHV2FVFkRq0-73eaBwfieml/3ciKjFS9D8JRnl6ZPHxA97LyUlc/description.html

AIがどう発展していくか、中国やロシアで人間に取って代わっていくのか、データはグローバルに区分化されて管理、支配されていくのか、悩ましい話だが、自己修正メカニズムをきちんと機能する形で人類は発展していけるのか？そうであって欲しい。

　現在進行形のAI革命をこのまま放置したら民主社会を崩壊させる、と言われても実感として感じられなかった。 　示されたシナリオに反論できないのに、そんなこと本当に起こるはずがないと、どうしても思ってしまう。

ＡＩの真の新しさとは何か？それは、自ら決定を下したり、新しい考えを生み出したりすることができるようになった史上初のテクノロジーだという点にある。私たちは、ついに「人間のものとは異質の知能」と対峙することになったのだ。憎悪の拡散、常時オンの監視、ブラックボックスの中で下される決定…。ＡＩが社会の分断を加速させ、ついには全人類から力を奪い、人間と人間以外という究極の分断を生み出すのを防ぐことはできるのか？今こそ、過去の歴史に学ぶときだ―古代ローマの政争や、近世の魔女狩り、ナポレオンの生涯などから得られる教訓を通じて、知の巨人が「ＡＩ革命」の射程を明らかにする。（e-hon）

“NEXUS“、本書ではAIに焦点をあて、人類の体制メカニズムにどう影響するか、功罪を鋭い視点で分析。AIを「知識はあれば意識はない」"Alien Intelligece"とし、我々が過ごしてきた時代とは根本的に質の異なる時代の到来を指摘している。 確かにいまのAIは偏ったデータセット、特にそれらは「負の感情」が渦巻くSNSを大量に食べて育っている。そして人類の目的とAIの目的は多くの場合アラインメントしておらず（そもそも人類は自身の目的を理解出来ていない）、AIに判断を委ねる世界では彼ら彼女らのデータポイントは人間の既知を超えるものになる。結果、使う側の人間の思想が色濃く反応したデジタルコクーンが生じ、分裂の時代が再び訪れる。それに対して著者は、民主主義と同様、AI自身の自己修正メカニズムの必要性を唱える。 著者が語るように、AIはもちろん人類に発展に大きく貢献した資する面が多く、我々の生活に益々欠かせないものになっている。そのうえで課題や懸念をしっかりと捉えることで来るべき未来に備える心構えを醸成する、示唆に富む本である。

　情報テクノロジーの歴史について、様々な事例を本に解説されていてとてもわかりやすかった。 　そして、事例の一つ一つがとても興味深く、見識に富んだものだった。 　情報テクノロジー歴史をもとに、AIの危険性を重点に置き説明されていた。 　AIはただの情報テクノロジーではなく、主体になり得る情報テクノロジーであることに気付かされた。 　欲望のままにAIからもたらされるメリットにばかり目を奪われるのではなく、危険性をはらんでいることを認識しなければならない。 　ホモ・サピエンスの名の通り、賢き人にならなければならない。 　

「サピエンス全史」が面白かったので読んでみた 自分の手に余る力を呼び出す傾向は、個人の心理ではなく、私たちの種に特有の、大勢で協力する方法に由来する。人類は大規模な協力のネットワークを構築することで途方もない力を獲得するものの、そうしたネットワークは、その構築の仕方のせいで力を無分別に使いやすくなってしまっているというのが、本書の核心を成す主張だ。 らしいです とにかく全ての説明が長いです 上は「サピエンス全史とホモ・デウス」の 内容を書いている感じで ２冊を読んでいる人なら読む必要性を感じない

・AIアルゴリズムの真髄は、人間のエンジニアが誰もプログラムしなかったことを、自力で学習でき、人間の重役が誰も予見しなかった事柄を決定することができるところにある。 ・テクノロジーは決定論的なものではなく、人間の使い方にも相当の責任がある。 ・ポイント制が最初に生まれたのは5000年前のメソポタミアで、それは貨幣として現れた。貨幣が市場の外に行き渡ることができなかったのに対して、21世紀の社会信用システムは市場の外でも厳密な価値を割り振ることを目指す。 ・ユーザーエンゲージメントの最大化は、もともと人間が定めた目標と一致しない結果を招く（アラインメント問題）恐れがある。アラインメント問題自体はクラウゼヴィッツの「戦争論」にもあるように（軍事行動は何らかの包摂的な政治目標と一致していない限り不合理）、決して新しいものではない。 ・これまで官僚制のシステムは神話から最終目標を設定し、それは我々の共同主観的な信念に支えられていた。一方でコンピュータは互いに通信することでコンピュータ間現実なるものを創り出す可能性がある。 ・聖書は自らを解釈できないため、人間が制度や機関をつくることで自己修正システムを維持してきたが、今日の我々は自らを解釈できるテクノロジーを考案したがために、そのテクノロジーを深く監視する制度や機関の創出を求められている。 ・こうした問題の解決はテクノロジー上のものではなく、政治上のものになる。 ［民主主義] ・民主社会が機能する条件は、主要な問題について公の場で自由に話し合いができることと、最低限の社会秩序・制度や機関に対する信頼が維持されることの2つ。 ・新しいテクノロジーは、これらの条件を毀損させ、デジタルな無政府状態をマネ宇恐れがある。 ・新しいテクノロジーは、我々からプライバシーを奪い、言動・思考・感情のいっさいを罰したり報いたりする恐れがある。 ・また、新しいテクノロジーは自動化によって雇用市場を不安定にする恐れがある。 （・これまで保守はイデオロギーよりもペースに対して保守的であることを意味してきたが、2010年代には保守党がトランプのような非保守的な指導者にジャックされ、既存の制度の破壊と社会の変革が目指されている。） ・社会が意思決定をコンピュータに委ねることで民主的な自己修正メカニズムの信頼性が損なわれるおそれ。 [全体主義] ・独裁情報ネットワークの基盤は恐怖にあるが、新しいテクノロジーは投獄や殺害を恐れない。 ・アルゴリズムの不透明な新しいテクノロジーに、不都合な事実を忘れるよう学習させるのが難しい。 ・アルゴリズムによる権力奪取が起こる可能性がある。 [まとめ] ・新しいテクノロジーによって、人類は新たな帝国主義の時代に突入する可能性があある。そこでは複数・単一の帝国が全世界を統制下に置く。 ・人類はそれらデジタル帝国どうしの境に下ろされたシリコンのカーテンに沿って分断される可能性。

ちょっと自分には難解だった。 あと二回くらい読めば理解できるかも知れない。 本書でも紹介されてた言葉に、「私は知らない」というのは叡智へと繋がる道を進む上で不可欠な一歩だ、とあったのでこれで良いと思う。

図書館の返却きげんで半分しか読んでませんがが、今後続くAI時代に何が起こるのか、過去の出来事の人間の振る舞いから様々な事を考えさせられました。凄く情報量が多く咀嚼するのは大変だが、ワクワクしながら読むる本でした。

上巻でナラティブの威力を思い知らされたが、 下巻はそこにAIわる。 AIのアルゴリズムの危うさ。 この辺りは昨今叫ばれているところで、 もしかしてこの本が起点になっているのか？ と思わせるほど。 「人間のものとは異質の知能」（エイリアン・インテリジェンス）という表現で。 それと、、、上巻の感想で書きそこなった無謬。 教会、聖書は間違えない、という前提が、力を持っていた。 一方AIは可謬、間違える。実によく間違える。 しかし人々がそれをどう扱うか、どう利用するか、、 そこに民主主義と全体主義という二つの体制がかかわると、どんな世の中になるか。 トランプ大統領のふるまいを見ていると暗澹とした気分になってくるが、、 流石のハラリ氏もこたえは出せていない。 第II部　非有機的ネットワーク 第6章　新しいメンバー――コンピューターは印刷機とどう違うのか 連鎖の環 人間文明のオペレーティングシステムをハッキングする これから何が起こるのか? 誰が責任を取るのか? 右も左も 技術決定論は無用 第7章　執拗さ――常時オンのネットワーク 眠らない諜報員 皮下監視 プライバシーの終わり 監視は国家がするものとはかぎらない 社会信用システム 常時オン 第8章　可謬――コンピューターネットワークは間違うことが多い 「いいね!」の独裁 企業は人のせいにする アラインメント問題 ペーパークリップ・ナポレオン コルシカ・コネクション カント主義者のナチ党員 苦痛の計算方法 コンピューターの神話 新しい魔女狩り コンピューターの偏見 新しい神々? 第III部　コンピューター政治 第9章　民主社会――私たちは依然として話し合いを行なえるのか? 民主主義の基本原則 民主主義のペース 保守派の自滅 人知を超えたもの 説明を受ける権利 急落の物語 デジタルアナーキー 人間の偽造を禁止する 民主制の未来 第10章　全体主義――あらゆる権力はアルゴリズムへ? ボットを投獄することはできない アルゴリズムによる権力奪取 独裁者のジレンマ 第11章　シリコンのカーテン――グローバルな帝国か、それともグローバルな分断か? デジタル帝国の台頭 データ植民地主義 ウェブからコクーンへ グローバルな心身の分断 コード戦争から「熱戦」へ グローバルな絆 人間の選択 エピローグ 最も賢い者の絶滅 謝辞 訳者解説 原註 索引

詳細は、あとりえ「パ･そ･ぼ」の本棚とノートを　ご覧ください。 　→　https://pasobo2010.blog.fc2.com/blog-entry-2196.html 下巻には、AI時代の懸念が書かれています。 人間だけでも、今　そうとうに危うい状況なのに、それにコンピューター、そしてAIの時代となれば、予測のつかない状況になっていきそうです。 そういう事は考えずに、穏やかに暮らせるといいのですが・・・。 今回は、上下２冊を、飛ばしたりじっくり読んだりして最後までたどり着きましたが、またゆっくり読み直したいです。

Audibleで聴読。 AIによって起こる革命的な変化の片鱗を知ることが出来た。 AIにより生成されるコンテンツも学習によっては偏りや偏見を持つことを覚えておこうと思った。また、AIはairtifical intelligence(人工知能）ではなく、alian intelligence(人外知能)として、人間の知能を超越したものとして注意しようと感じた。 AIによって仕事や働き方が変わってくるので、自分も合わせて情報を取り入れてアップデートし続けていかなければならないという危機感を覚えた。

歴史学者ならではの視点で情報とは何か、人類にとって情報がもつ役割などについて論じた一冊。 以下、上下巻を読んだ上での自分なりの解釈。 情報とは、宗教や国家、貨幣など、人類自らが作り出した虚構や物語（共同主観的現実）を繋ぎとめるためのものであり、情報のネットワークの構築により人類は発展してきた。 過去の人類史における革命的な出来事である文字の発見、印刷技術などは、虚構や物語を生み出し強化するのに大きく寄与した。 AIの大きな問題は、今までは人類が自らが生み出し、強化し、ある程度操作することができた物語を、人類の想像がつかない所で生み出せることにある。 AIはすでに日常に溶け込んでおり、日頃からAIに質問したり、アイデアをもらったりしており、その答えの速さや最もらしさから、AIは正しいと思ってしまう節がある。 ただ、筆者曰く、AIは必ずしも不可謬では無く誰がどんなインプットをしているかで十分間違える可能性がある。 つまり、間違った情報を生み出し、それを共同主観的現実として拡散する可能性があるという事。 そして、その間違いに人類は気付けない可能性があるという事。 大事なのは、自己修正メカニズムである。物語や虚構を可変可能であるものと認識し、自己修正メカニズムを持つ制度や機関が必要である。 以上が解釈である。 筆者は歴史学者だけあり、過去から現在に至るまでを俯瞰し、いくつもの具体的な事例を用いながら情報について語っている。 とてつもない作業であり、まさに現代の知の巨人である。 AIについては、今までの技術的、産業的な革命とは違い、自ら虚構や物語を生み出す力がある事に警鐘を鳴らしていると読み取った（私の認識が間違っていなければ）。 こらからAIとどのように付き合っていくべきかを考えるのに大変参考になる一冊だった。

最近、Web上の文章を読んでいて、「これ、本当に人が書いたのかな？」と思うことがある。 生成AIで推敲された文章はあたりまえに増えているし、それ以上にAIに任せている文章も出てきていることは疑いもないだろう。 歴史学者のハラリは、人類が紙や印刷、コンピュータといった技術を通じて、どのように情報をコントロールし共有し社会を作り上げてきたのかを指摘する。そして、現在のAI技術について「もはや人類がAIを使う段階を越え、AIが人類をコントロールする時代に入りつつある」と警鐘を鳴らす。 これはSFで昔から語られてきたテーマではあるが、意図を超え広がる偽動画などの情報に人々が翻弄され、実際に多くの事件が起きている今、決して絵空事とは言えない怖い時代になっていると実感する。

新たなツールを手に入れた人間がそれをどう使いこなすか…恐ろしい事例ばかりで愕然としました。過去に学ぶことはできないのか？結局声の大きい人が勝つのか？ 過ちを自己修正するメカニズムをひとつひとつ潰し始めている権力者を目の当たりにしてかの国の人はどう思っているのだろう？

まさに現代の必読書ではないか。 後半はAIによる今後の世界などについて、過去の歴史を参照しながら、詳述していくのであるが、本当に興味深く、多くの視点、気付きを与えられた。 以前見たアニメ「サイコパス」のシビュラシステムが統制するような社会がくるのか、それに向けて我々はどうしていくのか。 本書に示唆されている内容を、我が国の国会議員は何人かでも意識しているのだろうか？ 目の前の関税やお米や支持率だけに捉われているようでは、データ植民地化が一層進むという暗い未来しか見えない。

相互理解し続ける事は重要で、ただ全てを理解しあう事も出来ない。だが、それを放棄すればディストピア。フィクションなら大好きですが⋯暮らすなら、ドラえもん系のAIが多い世界が良いですね。常に自己修正を。

上下巻まとめてのレビュー。 AIは病気や貧困、環境悪化、人間のあらゆる弱点の克服といった直面している差し迫った難題に対処することを可能にするテクノロジーなのか、それとも人類に深刻な壊滅的でさえある害をもたらすのか。 害の方は二つのシナリオがある。AIの持つ力のせいで既存の人間の対立が激化し、人類が分裂して内紛を起こすこと。もう一つはAIが人類を全体主義的に統治すること。 それ故に私達は、AIが自ら決定を下したり新しい考えを生み出したり出来る史上初のテクノロジーであるという事実を肝に銘じるべきと著者は警告する。AIはツールではなく、行為主体である。 上巻は今まで人間が情報をどの様に収集し利用してきたか、魔女狩りからポピュリズムや全体主義等様々な歴史を振り返る。特に旧ソ連のスターリン時代は興味深い。この情報による統制は10人ほどが集まってサッカーをしたり、ハイキングしたり、ボランティアする等に際しては必ず共産党と秘密警察やNKVDの諜報員が立ち会う。そのおかげでスターリンはソ連の国民生活全般の統制が可能になった。 また、個人の農家を集団農場にすることで、収穫量の大幅アップを画策したが、それは私有財産をコルホーズに差し出さねばならず、農民は牛や馬を差し出さず殺した。畑仕事も家族の土地を耕作するときより熱心に取り組まず、収穫は大幅に減少したり、食料を没収されたりで飢饉となり450～850万人が死んだ。更に何百万の農民が国家の敵として追放、投獄され、また個人で人より多くの家畜や労働者を使っている農家（それは主にとりわけ勤勉で効率をあみだす優秀な人材だったが）クラーク（資本主義者農民）として追放（ノルマ有り）され、500万人が射殺されたり強制労働となり、その身分は次の世代にも継承された。 まぁこんなことをしていれば国を維持するのも難しいし、それが後の社会主義体制崩壊に繋がったと思うけど、全くの個人的な意見だが、その時の様々な粛清で批判的な目を持つ人々は一掃され、自ら考えることを放棄した人間の子孫が多数となった今、ウラジーミルの支配に従順に従っているのではないだろうか。 さて下巻であるがAIの判断が危機をもたらす例として、ナポレオンがその最終目標実現をAIに委ねた場合を想定し、その危険性をイメージしやすく解説したり、巨大テクノロジー企業がその対価をお金（個人情報の収集ではなく）で徴収すべきなどと説く。なぜならこの情報テクノロジーによるありとあらゆる個人情報の収集が民主主義に危険をもたらすのは、上巻で述べられた全体主義がいかに情報を収集し、それを体制の維持に利用してきたかを理解すれば明らかである。 また、AIによるあらゆる自動化は雇用市場を不安定（私が長年携わってきた会計、税務など真っ先にとって変わることだろう）にし、それは全体主義思想を広める糧となるだろう。 当初よく言われた創造性は人間特有のものだからその方面を磨くべきというものも、既に意味をなさなくなりつつある。 それは創造性はパターンを認識し、それからそのパターンを打破することであるが、コンピューターはパターン認識に秀でているため多くの分野で私たちより創造的になりそうだという。更に感情的知能でも人間を凌ぐとのこと。 その他プライバシー規制が緩い中国などの方が、個人のデータを収集しやすく、例えば医療分野のアルゴリズムでも中国の膨大なデータを活用したものの方が優位になる。体制の違いによるAIデータの量がなんでもかんでも一部の国を優位にするかもしれない。 結論は私達は歴史の教訓を肝に銘じ、政治的にAI革命にもっと注意を払うべきというものだ。 この自ら決定を下したり、新しい考えを生み出したり出来る人類史上初のテクノロジーに。

ハラリさんの著書には毎回、ハッとさせられる。 GPT-4が人間かどうかを確認するパズルを解けなかった時、人に依頼する理由をでっちあげたシーンは、衝撃だった。。。 大英帝国は、紡績工場をカルカッタからマンチェスターに移転することはできなかった。しかし、情報は違う。マレーシアやエジプトから、高速で北京やサンフランシスコへ送れる。世界のアルゴリズムの力は工業力とは異なり、単一の中枢に集中させることができる！ AIは、artificial intelligenceの略だが、ハラリ氏さんは　alien intelligenceだと言っている。人間とは全く異質のエイリアンの知能。その通りだなと認識。

禁酒の影響もあって 夕食後の時間がヒマヒマになったので 読書してたら 上下巻、読み終えました。 といっても、 オーディブルで耳読ですけれども。 情報が多ければ多いほど 正しい選択ができると思っているけれど それは違うっていうようなことが 印象に残った。 あとは、歴史の学者さんだから いろんな例をだしてくれて そうだったのかと 思うことがたくさんあった。 エピソードがいろんなところで脱線して 結局、何の話だっけと思ったりするので 普段から、世界史や歴史や 世界情勢に詳しい方には くどく感じるのかもしれないですね。 静かに聞いた時間もあるけど ながら聞きして 聞き逃したとこもあるから また、上巻から読みかえしています。 情報を個人が どうとらえて どうあつかうか。 やはり、個人個人の 人間の大切さ。 めぐりめぐって そこに戻ってくる感じ。 情報過多の現代は 安価な情報が氾濫して 真実性と知恵が増してはいない。 情報とは、人とモノを結び付けるもの。 では、あるのだが。 今の世界情勢 AIと私たち ひとりひとり 考えていかなければ。

「コンピューター」、「アルゴリズム」、「AI」という用語の間の厳密な関係については、本章の終わりのほうで論じることにし、まず、コンピューターの歴史の理解を深めておこう。ここではとりあえず、コンピューターとは本質的に、二つの驚くべきことをやってのける可能性を持った機械と言っておけば十分で、その二つとは、自ら決定を下すことと、自ら新しい考えを生み出すことだ。 　ここで、どうしても押さえておかなければならないことがある。それは、ソーシャルメディアのアルゴリズムは、印刷機やラジオとは根本的に違うということだ。フェイスブックのアルゴリズムは二一六~一七年に、致命的な決定を自ら能動的に下していた。そのアルゴリズムは、印刷機よりも新聞の編集者に近かった。 　このような異論は、決定を下したり新しい考えを生み出したりするには意識を持っていることが前提になると、決めてかかっている。ところが、これは根本的な誤解であり、それは、知能(intelligence)と意識(consciousness)の混同という、なおさら広く見られる誤解に由来する。この点についてはこれまでの拙著ですでに論じたが、ここで要点を手短に繰り返しておいたほうがよさそうだ。人々はよく知能と意識を混同する。そしてその結果、意識を持たない存在は知能を持っているはずがないという結論に飛びつく人も多い。だが、知能と意識はまったくの別物だ。知能とは、目標――たとえば、 ソーシャルメディアのプラットフォームでユーザーエンゲージメントを最大化するといった目標――― を達成する能力のことをいう。一方、意識とは、痛みや快感、愛や憎しみといった主観的な感覚や感情を経験する能力のことをいう。人間や他の哺乳動物では、知能は意識と密接に結びついていることが多い。フェイスブックの重役陣やエンジニアは、自分の感覚や感情に頼って決定を下し、問題を解決し、目標を達成する。 　 　それに引き換え、コンピューターとコンピューターの連鎖は、人間の介在がなくても、今では機能することができる。たとえば、こういう可能性だ。あるコンピューターがフェイクニュースの記事を生成し、それをソーシャルメディアのフィードに投稿する。別のコンピューターが、それをフェイクニュースと見破って削除するだけではなく、他のコンピューターにそのニュースをブロックするように警告もする。その間、この活動を分析しているさらに別のコンピューターが、これは政治危機の始まりを示していると推定し、危険な株式をただちに売却してより安全な国債を購入する。金融取引を監視している他のコンピューターがそれに反応し、さらに株式を売却し、それが金融危機の発端となる。このいっさいがほんの数秒のうちに起こりうる――これらのコンピューターがいったい何をしているのか、人間が誰一人気づいて把握できないうちに。 　コンピューターと、それ以前のあらゆるテクノロジーとの違いを理解するには、以下の点に注目する手もある。コンピューターは情報ネットワークの歴としたメンバーであるのに対して、粘土板や印刷機やラジオは、メンバーどうしを結びつけるものでしかない。メンバーは、自力で決定を下したり新しい考えを生み出したりすることのできる、能動的な行為主体だ。連結部はメンバーの間で情報を受け渡すだけで、自らは何も決めたり生み出したりしない。 　それにもかかわらず、私がソーシャルメディアの「ユーザーエンゲージメント」の大失敗にこれほど注意を向けてきたのは、それがコンピューターを悩ませているはるかに大きい問題、すなわち「アラインメント(一致)問題」を体現しているからだ。コンピューターは、ユーチューブのトラフィック〔訳註:ネットワーク上で送受信される情報の量や流れやそれに費やされる時間〕を一日当たり一〇億時間に増やすといった具体的な目標を与えられると、自らの力と創意工夫でその目標を達成する。コンピューターは人間とは機能の仕方がまったく違うので、コンピューターを支配している人間が予期していなかったような方法を使う可能性が高い。それが、危険な不測の結果につながりうる――もともと人間が定めた目標と一致しない結果に。たとえレコメンデーションアルゴリズムが憎しみを煽るのをやめても、アラインメント問題は他の形で、反ロヒンギャの組織的活動よりも大きな惨事を招きかねない。コンピューターの力と自主性が強まるほど、危険も大きくなる。 アラインメント問題が危険な理由 ・ネットワークがこれまでの人間の官僚制のどれよりも段違いに強力になりそうなこと ・コンピューターは非有機的な存在なので、どんな人間も思いつかないような戦略を採用する可能性が高い ・コンピューターは私たちとあまりにも違うので、アラインメントに欠陥がある目標を私たちが与えるという間違いを犯しても、気づいたり、説明を求めたりする可能性が低いこと 　結論としては、新しいコンピューターネットワークは、必ずしも悪でも善でもない。確実に言えるのは、そのネットワークが異質で可謬のものになるということだけだ。したがって私たちは、強欲や憎しみといった人間のお馴染みの弱点だけではなく、根本的に異質の誤りを抑制できる制度や機関を構築する必要がある。この問題にはテクノロジー上の解決策はない。むしろそれは、政治的な課題だ。 私たちには、それに取り組む政治的な意志があるのか? 現代の人類は二つの主要な政治制度を打ち立てた。大規模な民主主義体制と大規模な全体主義体制だ。第Ⅲ部では、この二つの制度のそれぞれが、人間とは根本的に異質で可謬のコンピューターネットワークにどう対処する可能性があるかを考察することにする。 コンピュータ時代の新しい現実にも当てはめれられる基本原則 　第一の原則は「善意」だ。コンピューターネットワークが私についての情報を集めるとき、その情報は私を操作するのではなく助けるために使われるべきだ。この原則は、医療などの多数の伝統的な官僚制度ですでに大切に守られている。たとえば、家庭医との関係を考えてほしい。家庭医は長年の間に、私たちの健康状態や家庭生活、性的習慣、不健康な悪習などについての厖大な個人情報を収集しうる。私たちは、自分が妊娠したことを上司に知られたくないかもしれないし、がんになったことを同僚に知られたくないかもしれないし、不倫をしていることを配偶者に知られたくないかもしれないし、嗜好用薬物を使っていることを警察に知られたくないかもしれないが、自分の健康を守ってもらえるように、医師を信頼してこうした情報をすべて伝える。もし医師がその情報を第三者に売り渡したら、それは倫理にもとるだけではなく、違法でもある。 　… 　全体主義的監視政権の台頭を防いで民主主義を守ってくれるだろう第二の原則は、「分散化」だ。 民主社会は、すべての情報が一か所に集中するのをけっして許すべきではない。そのような拠点が、 政府であろうと民間企業であろうと関係ない。人々により良い医療サービスを提供したり、感染症の流行を防いだり、新薬を開発したりするために、国民に関する情報を集める国の医療データベースを創設するのは、きわめて有効かもしれない。だが、そのデータベースを警察や銀行あるいは保険会社のデータベースと合併させるというのは、非常に危険な発想だ。そのようなことをすれば、医師や銀行員、保険業者、警察官の仕事がより効率的になるかもしれないが、そうした極端な効率性は、全体主義への道をいともたやすく拓きかねない。民主主義の存続にとって、ある程度の非効率性は利点であってバグではない。個人のプライバシーと自由を守るためには、警察も上司も私たちについて何から何まで知ってはいないのが最善なのだ。 　… 　第三の民主主義の原則は、「相互性」だ。もし民主社会が個人の監視を強めるのなら、同時に政府や企業の監視も強めなければならない。税務職員や福祉機関が私たちについて、より多くの情報を集めたとしても、それは必ずしも悪いことではない。そのおかげで課税や福祉制度はより効率的になるだけではなく、より公正にもなりうる。ただし、情報が下から上へと、一方向だけに流れるのは良くない。ロシアの連邦保安庁(FSB)は、ロシア国民について厖大な量の情報を集めているが、国民自身はFSBや、より一般的にはプーチン政権の内部の働きについては何も知らないに等しい。アマゾンとティックトックは私の好みや購入履歴や性格についてじつに多くを知っているのに対して、私は両社のビジネスモデルや納税の方針や支持政党に関しては、ほとんど知らない。彼らはどうやってお金を稼いでいるのか? 払うべき税金をすべて払っているのか? 誰か政治支配者の指図を受けているのか? ひょっとすると、政治家たちを自由に操っているのか? 　民主制にはバランスが必要だ。政府と企業は、トップダウンの監視を行なうためのツールとしてアプリやアルゴリズムを開発することが多い。だがアルゴリズムは、ボトムアップで透明性を確保したり責任の所在を明確にしたりするための強力なツールとしても、同じように手軽に利用し、贈収賄や脱税を暴くことができる。政府や企業が私たちについてより多くを知っても、同時に私たちが政府や企業についてより多くを知れば、バランスは保たれる。これは、けっして斬新な発想ではない。民主社会は一九世紀と二〇世紀を通じて、政府による国民の監視を大幅に拡大してきた。その結果、たとえば一九九○年代のイタリアと日本の政府は、独裁的なローマの皇帝や日本の将軍が夢見ることしかできなかった監視能力を持っていたにもかかわらず、両国は民主的であり続けた。それは、これら二国が政府の透明性と責任も併せて拡大したからだ。相互監視も、自己修正メカニズムを維持するための重要な要素だ。もし国民が政治家やCEOの活動についてより多くを知れば、彼らに責任を負わせたり、彼らの間違いを正したりしやすくなる。 　民主主義の第四の原則は、必ず監視システムに「変化と休止」の両方の余地を残すことだ。人間の歴史では、圧制は人間に対して変化することを認めないか、あるいは休むことを認めないかのどちらかの形を取りうる。たとえばヒンドゥー教のカースト制は、神々が人間を厳密なカーストに分割したという神話に基づいており、自分の身分を変えようとする試みはみな、神々や宇宙の正しい秩序に逆らうのにも等しかった。ブラジルやアメリカのような近代の植民地と国家における人種主義も、同じような神話に基づいていた。神あるいは自然が人間を厳密な人種集団に分割したという神話だ。人種を無視したり、異なる人種を混ぜ合わせようとしたりするのは、神の法または自然の法に対する罪であり、社会秩序の崩壊や、人間という種の破壊にさえつながりうるとされた。 　それとは正反対の極に位置する、スターリンのソ連のような近代以降の全体主義体制は、人間にはほぼ無限の変化が可能だと信じている。執拗な社会統制を通して、利己性や家族への愛着といった根深い生物学的特性さえも根絶し、新しい社会主義の人間を生み出せるというわけだ。 　国家の職員や聖職者や隣人による監視が、厳密なカースト制度や全体主義の組織的な再教育活動を人々に押しつけるためのカギだった。新しい監視テクノロジーは、社会信用システムと組み合わさったときには特に、人々に新しいカースト制度に従うこと、あるいは上からの最新の指示に即して行動や思考や性格を絶えず変えることを強制するかもしれない。 　したがって、強力な監視テクノロジーを使う民主的な社会は、過度な厳密さと過度な順応性の両方に用心する必要がある。一例として、アルゴリズムを使って私の健康状態を監視する国民医療制度を考えてほしい。この制度は、過度に厳密なアプローチを取り、私がどのような病気になる可能性が高いかをアルゴリズムに予測させることもできるだろう。アルゴリズムが私の遺伝データや医療ファイル、ソーシャルメディアでの活動、食生活、日々のスケジュールを詳しく調べ、私が五○歳で心臓発作を起こす可能性が九一パーセントあると結論したとしよう。この厳密な医療アルゴリズムを使えば、 私の加入している保険会社は、保険料を上げるかもしれない。私が口座を開いている銀行は、私がローンを申し込んでも断るかもしれない。結婚相手の候補は、私と結婚しないことにするかもしれない。 訳者解説より 　独裁的なAIによる核戦争や致命的なパンデミックの勃発といった、世界の終末につながるような筋書きは別として、国際政治は今後どのような動向を見せるのかにも、著者の考察は及ぶ。「コンピユーターのおかげで情報と権力を中央の拠点に集中しやすくなるので、人類は新しい帝国主義の時代に入る可能性がある」と著者は言う。それは、データ植民地主義の時代だ。従来は農産物や原材料などが植民地から本国へと運ばれていたが、新しい時代に流れるのは、そうした物ではなく、お金でさえなく、データだ。新しい帝国は「データを制御することで彼方の植民地を支配する」。そして、デジタル帝国と植民地の不均衡が拡大するという。 　デジタル帝国は、情報テクノロジーを使って他の帝国の支配も企てるかもしれない。近年、さまざまな国がソーシャルメディアを悪用して敵対国の選挙結果や人々の行動に影響を与えようとしていることは周知のとおりだ。そうした活動やデータの奪取を防ぐためには、国家間での情報の流れを遮断したり、国内で独自のデジタルネットワークを開発したりすることになる。著者はそのような遮断の仕組みを、冷戦時代の「鉄のカーテン」になぞらえて「シリコンのカーテン」と呼ぶ。こうして人類は、ライバルのデジタル帝国間に下りた新しいシリコンのカーテンに沿って分断されかねないのだ。 　人類が直面しているとして著者が挙げる三大危機、すなわち生態系の崩壊と世界戦争と制御不能のテクノロジーはグローバルな問題であり、その解決にはグローバルな協力が必要とされるので、国内であれ、国際間であれ、分裂や分断を許している場合ではない。幸い私たちは「バランスの取れた情報ネットワークを創出することができる」と著者は言う。 　ここで話が一巡して原点に戻ってくる。人類の強みは物語というネクサスで結びついた情報ネットワークを通して大勢が協力できることだった。そして、物語は虚構だから、いくらでも柔軟に変えたり新たに生み出したりできる。そして私たちは「話し合いができるかぎり、共有できる物語を見つけて互いに近しくなることができる」。もちろん、物語は真実とは別物であり、私たちもAIも可認だ。 だからこそ、「不可謬という幻想を脇に押しゃり、強力な自己修正メカニズムを持つ制度や機関を構築するという、困難でかなり平凡な仕事に熱心に取り組まなければならない」のだ。希望はある。そして、責任も伴う。著者が願っているとおり、本書がネクサスとなって、著者のメッセージが読者のみなさまに伝わりますように。

AIが出てきたこれからの世の中、人間はどう構えるべきか、を延々と述べている。 これまでに登場した核や工業的な技術と比較してAIがどのような特徴を持つのか、それゆえ世界に与える影響がいかに大きいのか、というところは自分の考えが及んでおらず、面白かった。 ただ、例とは歴史の解説が多くてマジで長い

ここまで読んでやっとハッとした。 「今日、教父のアタナシオスに相当するのが、ＡＩの〜をするエンジニアだ。ＡＩが権力と権威を増し、ことによると自らを解釈する聖典となりつつあるなか、現在のエンジニアたちが下す決定は、遥かな未来にまで影響を与え続け得る。」

上巻の土台があって、下巻ではAIや民主主義の未来に向かって心がけること(双方向のチェック体制など)が述べられている。AIを使ったアルゴリズムが知らない間に相当深いところまで入ってきて自身を操作している現実を知るとぞっとした。日々の出来事のポイント制も怖い。著者が懸念するようにいくつかの酷い事例の後にAIがまともに機能する世の中が来るのかな。

情報は力であり時に支配の道具となる。文明が情報をどう操りまた情報に操られてきたかを描く。国家は記録で統治し企業はデータで欲望を操作する。だが今AIが人間の理解を超えて情報を紡ぎ始めた。真実とは何か、自由とは何か――私たちは根本的な問いに向き合わざるを得ない。情報の海に溺れず舵を取るのは誰か、はたして人間なのか。AIが人間を超えるかもしれない。

あまりにもおもしろく、そしてあまりにもおそろしい——。 本書は「情報」についての人類史を、上下巻にわたって深く考察している。 上巻では主にこれまでの歴史を、下巻ではこれからのAIについての考察が述べられている。 読み進めるうちに、手塚治虫の『火の鳥 未来編』が強く脳裏をよぎった。 AIがこれから加速度的に進歩していくことで、人類が制御できないおそろしい未来を想像せずにはいられなかった。 現在、国家の分断や陰謀論など、情報の氾濫により、私たちはAIのアルゴリズムによって何が正しく、何が間違っているのかの判断すら難しくなってきている。 この状況がさらに進むことで、個人のあらゆるデータを掌握する国家や地域こそが、これからの覇権を握ることになるのだろう。 著書には「シリコンのカーテン」とも表現されていたが、今後はデータ規制がますます強化され、国や地域によっては、より厳しい情報統制が行われる可能性もある。 非常に興味深い内容ではあったが、それでもなぜか明るい未来を思い描くことができなかった。 この10年こそが、人類の未来のキーポイントになると強く感じた。 私たちは、もっと互いに協力し、助け合う社会を築いていかなければならない。 争っている場合ではないのだ。

メタ認知お化け、ユヴァル・ノア・ハラリさんが描く、 人類にとっての「情報」の役割とその機能の変化。 そして今後AIがもたらすであろうリスクとそのために必要な心構えの話。 最後、結構怖い話になっていきます。 サピエンス全史で有名な歴史学者のハラリさんは 人類が辿ってきた歴史を高度に抽象化して捉え直し、新たな視点を示すことに定評がある。 ■ 人類史を抽象化して捉え直す（サピエンス全史より） サピエンス全史で有名なのは、 「人間は麦を育てさせられている」という話。 もともと狩猟採集で生きてきた人間だが、 ある時から稲作中心の生活へと移行した。 効率的に生産することで余剰を生み、 食べる以外の活動にコストを割けるようになった人類は文明を発展させてきた。 というのがおおかたの人類史感だったのだけど。ハラリは別の視点を持ってくる。 種の繁栄が生命の至上命題とするなら、その成功者は麦の方である。 麦を育てるために人間は朝から晩まで稲作を強いられるようになった。 季節に合わせて規則正しく働くことを強いられている。 これは狩猟採集をやっていた人間にとっては本来体質に合わない生活であるにも関わらず、 未だにこの習慣に囚われている。そのように文明を作らされてしまった。 そのおかげで麦という種は爆発的に数を増やすことに成功している。と。 これはもちろんオカルトみたいな話がしたいのではなくて、 こういうふうにも物事って捉えられるよね。 こういう抽象度で見ていくと、いろいろな物の形が違って見えてくるよね。 という話なのだけど。 このレベルで抽象化して物事を見る人が、 情報とテクノロジーを見ていくのが本書です。 面白そうだと思うじゃないですか？ なんとびっくり、面白いです。 ■ 情報の役割はつながりを作ること 情報の役割は、世界を正しく描写することではない。 人と人のつながりを作ることだ。 人々は共通の情報・ストーリーによって結びつき 集団がひとつながりとなって動くことができる。 これは共同主観と呼ばれる。 人はこれにより個人としての利害に反する行動でも、全体のために遂行することができる。 これは人間の特性として顕著な傾向で、 この能力で生存競争に勝ち抜いてきたとも言える。 例えば、1日中ネジを閉めるだけの仕事をやりたい人間などいないが、 それが全体で「車を作る」という物語の中にいれば粛々と実行できる。 そしてその物語は、必ずしも真実である必要はない。 みんなが信じることができ、一体になれるのなら情報の役割は果たされる。 （だから陰謀論が蔓延する） そもそも人間の認識の外側に「真実」なるものがあると思われるようになってきたのは 科学が発展してきたつい最近のことだ。 かつてはそこには「神話」があった。 世界の様々な出来事を説明する、最も説得力のある物語を人々は信奉してきた。 それは今にしてみれば荒唐無稽な空想のようにも思われるが、 科学のない世界でそれは限りなく真実であった。 人類は虚構の物語でつながってきたのだ。 虚構を信じる能力があるからこそ、人間が覇者となったのである。 ■ 神話と官僚制 （ここよくわかんなかったので薄めです・・） 人間がつながり、集団が大きくなってくると、もう一つの情報の機能が生まれた。 それが「官僚制」である。 法律・税金・保険など集団を管理するシステムが生み出されたが これらは直感的でないためほとんどの人間はうまく認識できない。 社会の中枢にいる一部の人間だけがこれを管理し、運用している。 官僚は見えないところを整備する。みんなに見える共通の物語を神話作家が語る。 この官僚と、神話作家が人類を動かしてきたといえる。 ■ AIの登場 ここへきてハラリは人間のことを「炭素ベースの生命体」と言い始める。 いやちょっと、流石に抽象度のレベルが高すぎるだろ。って思うんだけど。 しかしその意図は明確だ。 炭素ベースの生命体の世界に、別の性質を持った行動主体が参加しているよと。 それが、シリコンベースの意思決定者。すなわちコンピューターだ。 これは人類文明に対して全く異質の行動原理を持った参加者で ハラリは「エイリアン・インテリジェンス」とも表現する。 人間にはその挙動を正確に理解することはできない。と。 面白かったので例え話を引用すると。 例えば人は、友人の結婚式の招待を辞退するとき、 相手に伝える理由は大抵ひとつにする。「親の具合が悪くて」とか。 間違っても50個の理由を並べ立てたりしない。それでは信用を失うから。 しかしコンピューターが行う意思決定は後者に近い。 「急な仕事が入った」し「体調がすぐれない」し「雨が降っている」など 50の理由を合計したスコアがしきい値を超えたため、辞退する。というような判断を行う。 これは人間の直感に反した合理性で、 この手の判断を人間はうまく咀嚼することができない。 ■ 著しい誤りや差別を生むAI ところがAIは、人間にとって不都合な、誤った判断を行うことがある。 人間のこれまでの振る舞いから学習しているため、 そこに根源的に潜む誤りを拡大させてしまうこともよくある。 例えばかつてAmazonでは、人材採用のためにAIを導入しようと試みたことがあったが、 実際開発したAIが明らかな差別を行ったため導入を見送ったという話がある。 そこで生まれてしまったのは、露骨に人種や性別を差別して書類選考を行うAIだった。 これもひとつの合理なのだが、現代の人類の人権意識からは遠く離れているし、 過去の人類の行いを振り返っても、これは誤りであったと今の我々は認識している。 そのためAmazonは導入を見送ることができたが、 このような明確な価値観に抵触しないレベルの様々な負の判断をAIが行っているとき、 人間がそれに気づくのは難しい。 いま、選挙においてもAIの意思決定者が多く参入している。 演説の原稿もAIが書いているし、それに盛り上がるSNSにもAIのBOTが含まれている。 大衆を特定のイデオロギーに向かわせようとするとき、AIは圧倒的に有利だ。 AIは論破できない。意思がないからだ。 しかしAIは人間との会話の中から学習し、相手の考えを誘導する方法を学ぶことができる。 親密な関係築くと考えを変えやすいと学べば、その様に振る舞うようになる。 いま、あなたが会話をし、説得を試みているSNSアカウントがAIだったら、 と想像してみると、この恐ろしさを感じられるだろう。 実際すでにそれは起きているかもしれないのだ。 ■ 情報空間はネット（網）ではなくコクーン（繭）へ インターネットは国や宗教といった現実世界の分断を突破し、 情報を開放すると思われてきた。 それはあらゆる人を分け隔てなく繋ぐ網なんだと。 しかし今、それは繭のように閉じていき、大きく分断されているのではないか。 とハラリは警鐘を鳴らす。 人類史を見ても、分断されると人間は判断を誤るということが分かっている。 判断を誤りやすい状況にある人類が、 誤りを見分けにくいAIに判断を受け渡していくのだとしたら、 その先で何が起こるのか。 それはかつて人類が経験したことのない、未曾有の事態を引き起こす可能性だってあるのだ。 炭素ベースの生命体である我々は、 既にプレーヤーとして文明に参加しているシリコンベースの行動主体を受け入れ、 共存していく道を探らなければならないのである。 そこにあんまり猶予はなさそうだぞ。と。 こえーーー！！！！

アラインメント問題 ペーパークリップ AIによる量刑と説明責任 ブラックボックス 統計的世界観を人間は認識できるのか？

人同士のつながり、AIがもたらす脅威、人間の判断について詳しく述べられていた。アルゴリズム、かびゅう、ネットワーク、シリコンのカーテン、データを支配する等これからを予言させる本だと思った。

AIは、人間のレベルの知能に向かって進歩しているわけではない。まったく違う種類の知能に向かって進化しているのだ。人間を凌駕する存在となりうる。

Audible にて読了。AI が史上初めて「意思決定を行う人間以外の主体」として (そのため作中では AI は Alien Intelligence と称される) 人類にどのような影響を与え、そして壊滅的な影響をいかに防ぐかという話。権力同様 AI も際限なく暴走できる状態に置いておくと際限なく暴走する可能性があるわけで、結局、強力な自己修正メカニズムを入れて仕組みで担保する必要があるということ。それで AI 企業において多様性への取り組みが重視されるのだな。

この作者は歴史学者なんですね。 上巻の情報の歴史も全てこの下巻のAI革命の問題に繋げているのですね。流石です。 私なりにこの本で述べたい事はこんな感じと捉えました。 ⚫︎AIも一つの道具。使う人によっては凶器にもなる。 ⚫︎これまで以上に情報が重要。情報を集めた者（国家）が覇者になる。 ⚫︎情報の分断→世界はグローバルから分断に。 ⚫︎世の中に絶対の倫理はない。その倫理をどの様にAIに植え付けるかがこれからの課題。 ⚫︎今までは人間のみが考えることが出来たがこれからは人間以外のもの（AI）が考える未知の世界が始まる。 個人的にはこの作者ほど未来には悲観的には考えてはいませんがAIという道具と共に生きていく為に読んでおく一冊かと思います。

人間とは異なる情報ネットワーク。 ・コンピューターは本質的に、自ら決定を下すこと、自ら新しい考えを生み出すことをやってのける可能性を持った機械。 ・ユーザーエンゲージメントを追い求めるにあたって、憤慨や憎悪を煽るコンテンツを拡散させるという決定を下す ・意識と知能の違い ・アラインメント問題（部分最適） ・アルゴリズムの学習のためのデータベース、目標の偏見、不可知性 ・民主主義の原則：善意、分散化、相互性、変化と休止 ・独裁国家、全体主義体制のほうがAIに支配されやすい ・シリコンのカーテン

全体主義体制では、独裁者は国民を監視・管理しやすくなる。しかし同時に、独裁者一人が情報操作の対象となることで、容易に生成AIに支配されてしまう危険性もはらんでいる。 では、民主主義はどうだろうか。生成AIの力によって、より良い社会が築かれることが期待されている。だが、それだけでは済まされない。偽情報の拡散により、民主主義そのものが機能不全に陥る恐れもあるのだ。 だからこそ重要なのは、情報の管理や監視を一極集中させず、分散しておくことだ。そして何より大切なのは、AIを単なる「技術」として扱うのではなく、「文化と人間性を問い直す鏡」として見直し、深く考え直す姿勢である。

一読しただけでは、真意が掴みづらいため、再読が必要である、という前提にて。 また、以下は、あくまでその前提で書いた、個人の理解、として。 現在はAI革命という、人類にとって四つ目の革命の最中である。 認知革命、農業革命、科学革命、AI革命。 それぞれ、 　虚構を語り多くの人がつながれた。 　多くの人を養えるようになった。 　生物の力を超えた仕事ができるようになった。 　人以外の知恵、alien intelligence (AI)が使えるようになった。 という革命と言える。 サピエンス全史では、科学革命までの歴史が。 ホモデウスでは、科学革命の先としての 人類の進化の可能性が語られた。 本書では、AI革命とは何をもたらすのか、 が語られる。 その理解のためのフレームワークが、 情報の流れ。 ある集団の中の要素を結束点として、情報がどのように流れ、結束点同士をつなぐか。これをNexus、と呼ぶ。 情報の流れ方は、二つ。 独裁型、すわなわち、一方通行型。 他方が、民主主義型、すなわち、ボトムアップ型。 何が流れるか、も二つ。 真実と、秩序を維持するための虚構。 虚構による集団の維持のために必要なものは、物語と官僚制。 この仕組み(官僚制=集団を維持するための仕組み)は、過ちを侵しうる、 として、修正するための仕組みがあれば、 民主主義型の集団に。 そうでなければ、独裁型の集団となる。 情報の流れを変えるキッカケは、テクノロジーにあった。例えば、書籍は、人の記憶に頼ることから人を解放した。 AIがこれまでのテクノロジーと異なるのは、AI自体が考えることができる結束点になりうること。 これまでの時代において、集団の結束点はすべて人間であり、人間同士の情報を文章などがつないできた。 AI革命では、人とAIがつながる。 このとき、どんな情報が、どう流れ、どのような集団が作られるのか。 この集団が破滅の方向(ディストピア)いかないためには、AIも過ちを起こしうるとして、予め、集団の方向を正すスタビライザーのようなものを仕込んでおく必要がある。 と、こんな感じだろうか。 今回は。なかなか難しい内容だった。

とっても面白かったです。しっかり読まないとなかなか頭に入ってこないので結構読むのに時間がかかってしまいました。 今までは、AI規制がヨーロッパ諸国で叫ばれるなかなぜ規制しないといけないのかが、いまいちわかっていませんでした。AIといえば日本はドラえもん、欧米諸国はマトリックスやターミネーターだから？欧米諸国はAIに厳しいという都市伝説を何となく信じてましたがこの本でやっと何が危険なのかわかりました。AIは意識も意志も持たないという根本的なところをもっと深く教えてくれる本です。 なぜ規制しなければいけないのかとてもわかりやすく書いてあります。たくさんの人がこの本を読み、うまくこのテクノロジーと付き合っていければいいなと切に思いました。

メモ→ https://x.com/nobushiromasaki/status/1938940785325678700?s=46&t=z75bb9jRqQkzTbvnO6hSdw

現代でAIと共存し発展していく未来と国、政治、宗教などの既存の社会が崩壊するリスクをわかりやすく説明している。そして、過去の歴史から見てもこの今の時代はAI革命と呼ばれる時代であり、革命には厄災や混乱が起きている。現代（2025）においても同様に繰り返す可能性はあるだろう。だが、先人達らも最悪なシナリオは回避してきた。現代の技術発展は著しく急速に発展しており、AIだけじゃない何かも同時に進化しているように思える。 さて、本著は現代でAIを享受し共生し発展するメリットデメリットを押さえた良書である。AI革命はまだ始まりに過ぎない。数年後には新たな仕事やコンテンツ、業界があり、AIという名称すらも変わる。 今後、10年単位でAIの恩恵を受けたか受けなかったかで差が出来ているだろう。AIは自律的に考え思考し活動している。人間側もAIに依頼や仕事、調査だけでなく、基礎的な知識と見識と知恵は必須だ。全てをAIに丸投げしている人と先述のとおり土台を固めた上でAIと共生する人では、大きな格差が生まれると確信している。人間が考えることを思索することを放棄してしまうのは愚かであり、AIに隷属する関係に自ら進むのと同じで、歴史から見てもやはり愚かであることは変わりはない。 AIは新しい概念であり技術であり隣人でもあるのだ。盲目的に鵜呑みにするのではなく、自分の頭で思考し思索しAIの視点でも同時に多層的に分析解析調査を時間をお互いに上手く共生するほうがきっと明るい革命後の未来が得られるのだ。

AI時代に人間はどう生きるべきか？ 極端な言い方だとAIに人類が支配される世界が迫っていると言えるかと思った。ただ結構煽っている感じも否めないと思う。 AIの進歩を止めることはできないし、うまく使えばとても便利だが、人間の判断を全て委ねることはできない。また誰かのツイートが判断をAIに依存しないように、人間側が意識を持つことがこれからは必要になると思う。アルゴリズムに踊らされそうになっている自分を認識出来るようになることが重要だと思う

下の方が面白かった。 買えばよかった。書き込まないと一回読んだだけだとわからないし、響いたところが折れないので惜しいことをした。２回以上読まないと内容入らない。 特にAIがキャプチャをクリアするとことか、白人だけしか識別できないとか、フェイクニュースや暴力、過激な内容の方がレビューが高くAIがそれをもとにアウトプットするとことか、facebookのロヒンギャのとことか、MicrosoftのAIのとことか印象に残った。 どんな話しが印象に残った？と聞かれたり、本の説明をしてと言われても、自分の今の能力じゃ言語化できない。じっくり研究したい。 AIは自分で判断して勝手にやっていくということはわかり、そのことの異質さを過去の出来事との対比でより理解できた。 希望はないのかと思ったが希望はあって、自分で考えたり、本で繋がったりすることはnexusにやるとのことだった。 丁寧に生きる。といえばいいのか、AIの恩恵も生きながら、賢く生きていけばいいのだろうか。 ネットワークに繋がらない世の中はほぼない。山奥の自給自足とか。 ホモサピエンス全史の方が人気が高いので、それを次に読みます。ハラリ2冊目に挑戦です。 下の解説読めば、内容はすっきりわかるが、それまでの引用などは知らないことばかりで、やはり全文触れることをおすすめする。 知らないことが多すぎて、まだまだ勉強だなって思った一冊でした。

今作の結末はすごく悲劇的なものに見える。 巨大テック企業のトップは、国家の独裁者と変わらないように見えてきた。 AIは人間生活をすべて変えてしまうかもしれない。できるだけAIから離れて生きる生き方を準備していかなければならないかも。

・人の一生は、自らを向上させようと務めることと、ありのままの自分を受け入れることとのバランスを取りながらの綱渡り ・感情もパターンの一つであり、AIは感情を持たないがパターンとして認識できる ・人類の長期的な幸福のためには自己修正メカニズムが重要 ・AI革命について、より正確な歴史的視点を提供する2冊

サピエンス全史、ホモ・デウスに続き著者の思考の海を堪能しました。石板から始まって「情報」のもたらす人類の栄枯盛衰を語り、ついにAIの登場によって人類史に終止符が打たれるのか否か？例えば「グーグルvsゲーテ」のような興味を引く視点から考察されます。最終盤ではAIのことをアーティフィカルインテリジェンスからエイリアンインテリジェンスに言い換えているのも示唆的です。

上巻はわかりにくくて斜め読みしてしまった箇所（→主に、哲学チックなところ）がちょっとだけありましたが、AIについて論じている下巻は興味深く読めました。 歴史学者だけあって、歴史や宗教を背景にした論評は面白いし、説得力もある。現在進行形な視点としてウクライナ禍にも触れられていました。イスラエル生まれの著者には、是非、ガザ侵攻や(今週始まった)対イラン先制攻撃についても語って欲しいところです。 「サピエンス全史」、「ホモ・デウス」と来ましたが、今回のコレが一番読みにくかった、とっつきにくかった感じがします。もう少し読みやすいと、より広い読者層に”読了”してもらえそうな。。。 執筆時期が2018～2022とされているので、例えば、ChatGPTの登場はネタにはなっていない。現在進行形でAIが進歩しているイマだったらさらに進んだ論評となるのであろうか？ あと、シリーズを通じて翻訳を務めている柴田氏の翻訳力/表現力も素晴らしい。原著で読むと100倍時間がかかるので、多少、遅れてもいいので翻訳本を出していただけるのは大変ありがたいですね。

在宅ワークが妄想の世界で生きているという発想が面白かった。ウェブとコクーンの概念もなるほどなと思った。

過去の情報伝達に関する技術革新を例にとって、それらがもたらす影響について解説し、今日のAI革命が人類にもたらしうる変化について論じる。 筆者のこれまでの著作でも示された、人類にとっての物語の力に触れながら、情報ネットワークが必ずしも真実をつなぎ力をもたらすとは限らないとし、不可謬性の魅力に溺れず自己修正メカニズムを用意することを促す。 面白いけど、未読の人には過去作の方を勧めるかな。

情報が人類にどのようなインパクトをもたらすかを論じたNEXUSの下巻、上巻からの流れで、人類が情報によって支配する仕組みを作ったという話から、どのようにしてAIの話に発展していくのかが、想像が全くできなかったが、楽々と期待を超える内容でした。内容のインパクトの大きさは今年一番だったと思います。 AIはすでに私たちを支配し始めていて、私たちはそこに抗うことができなくなっていることを恐ろしく感じる内容でした。いくつか特に印象に残っているところを紹介します。 Facebookがロヒンギャに対するフェイクニュースや陰謀論を煽ったことでミヤンマーではロヒンギャの虐殺がブーストされてしまったという話は恐ろしすぎると思いました。 また、プラットフォーマーはスターリンでさえもできなかった全国民、全人類を監視し、思想を誘導する力を持ってしまった。もしもスターリンのような独裁者が米国の大統領やテック企業のトップになったら、あっという間に我々はすべての行動を監視され、誰も逃げることはできない世界になってしまう。 僕たちはかつて無いほどに「完全に支配された世界」にいるかもしれないが、支配しているのは人間ではなくAIなんだということが恐ろしかった。 でも、このことを頭に入れて、AIと向き合うことが本当に必要だろうなあと改めて感じました。

配架場所・貸出状況はこちらからご確認ください。 https://www.cku.ac.jp/CARIN/CARINOPACLINK.HTM?AL=10284487

AIは意識は持たないが知能は持っている。 AIが今までのテクノロジーと違う点は、それ自体が判断して行動主体となれる点。情報ネットワークの中に人間以外の行動主体が入り、むしろAIのアルゴリズムによる判断に人間の処遇が左右されかねない。 情報ネットワークに自己修正メカニズムが組み込まれていない場合、間違った信念で突き進んでしまう。魔女狩りのように。AIに支配されたネットワークに自己修正メカニズムが欠如してしまったら、特定の人間が排除されかねない

自ら意思決定をするAIができて、しかもそのアルゴリズムを人間が理解できなくなった時、社会がどう対応していくのか。 自分が読んでいる文章や目にする情報が本当に人間が書いたものなのか…そんなことを真剣に考える日が来てるのかも。

後半は、主にAIがどういうものか、そのインパクトと脅威について語るというものだった。 自分なりに訳すと - AIは、今までの人類の1番のインパクトがあるかもしれない。(特に、自分で思考できるのが今までの道具と一線をかくしている) - AIがもたらす脅威: 進化スピードが異常。囲碁などの特定分野で既に人間が見つけられてたなかった発見も。 - 考えなければいけない問題: 正しいかどうかわからない。(教師データ、入力データにはバイアスが入っている。特定のセグメントの差別につながるかも) - AI情報の正しさがわからず、世界には情報のもやがかかってしまうかもしれない - 意識があるかは問題ではない。新たなシリコン知性(alien intelligence)が生まれている。彼らは世界中のデータを収集し、そこから無数の分析をリアルタイムにできる。これは今までにない大きなインパクト。 (例え、iphoneの充電が10%以下なら、借金の返済率が低い？w) - 人間よりよりよく判断できるようになったaiとどうか関わっていくのか。指示を間違えれば、aiが意思を持ってなくても暴走する可能性はある。(環境破壊を防ぐために、人類を減らすなど) AIとの関わり方は今後の人類にとって 重大問題だ。

下巻は、上巻で展開した情報ネットワークの変化がもたらした人間社会のありようについて、AIによって情報ネットワークがもたらす未来がどのように変わっていきそうなのか、を想定した著作となっている。

　上巻を読んでいるときには、下巻はもっと未来的なことになるんではないかと思っていたが、実際に読んでみるとこれは立派な「歴史書」であり、予測ではなく事実、未来よりも過去や現在が描かれている。AIに支配されている現実について、我々はあまり意識していないが、かなり多くのデータが巨大IT企業に収集され利用されている。facebookに組み込まれたアルゴリズムはもっと頻繁に、より多くの時間をfacebookに使うように誘導することなのだが、そのことが過激で右翼的な情報をより頻繁に氾濫させることを実現する。そしてその内容がフェイクであったとしても、民族主義的で攻撃的な内容のものが多くのユーザーにより浸透していくのである。ミャンマーで起こった、ロヒンギャの排除と虐殺の背景にはこのfacebookのアルゴリズムがあるという。このアルゴリズムのおかげで、数十万人のロヒンギャが死に追いやられたのかもしれないのだ。世界中で極端な民族主義的政党が台頭してきている背景には、理想主義的な言動より排外的で民族主義的な内容のコンテンツこそいいねが多く集まり、結果的にそのような情報を流した人にお金が集まるというアルゴリズムがありのだ。 そしてAIは、人間よりもはるかに強力に、情報を収集し分類し、管理して利用する。もはや作曲だって小説だって人間より優れた作品を作る時代がやってくる。株式投資などの資産運用に限らず、多くの情報を利用して総合的に判断する能力は、既に人間よりAIの方が優れている時代が到来しているのだ。あらゆるデータを収集蓄積できるとすれば、AIのアルゴリズムの方がどんな医者よりも正確に人の健康状態を判断して、適正な治療を行えるだろうし、人間の信用性や価値の審査だって、人間よりもよっぽど信頼できるようになるであろう。そうなると、私たちはAIに就職先や結婚相手を選んでもらい、政治家はAIの判断によって政治を行うようになるのは、当然なことになってしまう。 最初はとっつきにくい本かと思ったが、内容的にもわかりやすく、現代人は読むべき本だと思いました。

流行りのAIに関する本ではあるが、そこはハラリ先生。圧倒的な知識量と洞察力で読み応え満点。 AIがいかに脅威となり得るか、何がこれまでの技術と違うのか、我々は使いこなすために何ができるのか。 その答えは、これまでの情報革命の歴史であった、文字であり、紙であり、活版印刷であった。 AIもまた、それらと同様に使う人間次第で良くも悪くもなり得る。人間に代わる行為主体として働きうる、というかすでに働いているAIやアルゴリズムに飲み込まれないためには、過謬性を認め、自己修正するメカニズムや機関が必要だ。

下巻はいよいよAIに関して。 こんな考え、問題意識を持つことは必要だよね。 という示唆があった。 未来をポジティブに考えるには？ 読みながら一生懸命考えた。

恐怖の下巻。 AIとは何か？何ができ、何を生み、社会をどう変容させるのか？そして人類はAIに手綱をつけ制御できるのか？ AIのこれまでの技術との違いとは、自ら決定を下したり、新しい考えを生み出したりすることができる最初のテクノロジーであり、行為主体者にもなることが提示される。 AIの可謬性の例は、Facebookのアルゴリズムによるロヒンギャへの憎悪、暴力を煽る動画の拡散が示される。 また、全体主義国家で活用されれば、オーウェルの『1984年』を想起させる監視国家がより強固に誕生すること（実際に中国やイランでそうしたシステム導入済）にも言及されている。 今後のデータ資本主義下で、AIに判断を委ねることの危険性を生々しく炙り出している。AIに対して過度な楽観は禁物だが、一方で過度な絶望に沈むことも的外れだと指摘する。有効な活用は人類の発展にも大きく寄与するためだ。 そして、AIよる社会の崩壊を防ぐには、不可謬という神話を追いやり自己修正の機能や制度を構築することと総括する。 情報量たっぷりの本だが、これから起こるAIの技術的進歩、そしてそれによる社会的、文化的な大変革を歩むなかで重要な指針を与えてくれる一冊。

2025/5/25読了 下巻では、AIを「人工知能」（Artificial Intelligence）というより、「人間のものとは異質の知能」（Alian Intelligence）――文字通りの意味で人間には思い付かない方法を考え出し、指示を出した人間の意図しない（そして有害な）結果をもたらし得るモノ――として扱う。 AIが人間には捌ききれない膨大な情報を収集、分析してパターンを見出すことで、今ある問題を解決する有益なツールになり得ることにも触れた上で、それでも著者は、規制無く野放図にAI技術・能力が発達していくことの危険性と、決して不可謬ではないAIに対する強力な自己修正メカニズムの重要性を訴える。 でもしかし、国際的な枠組みを作ろうにも、数多のグローバルな問題と同様、自国の利益の為に足並みを乱す国があれば、それだけでその枠組みは効力を失っていく。とは言え、AIが暴走すれば人類が人類以外のモノに支配されるという人類史上初の事態が起こり得るというのも、もはや絵空事では無くなって来ているのだと思えば、この点だけででも各国の利害が一致して協力とか出来ないのだろうか？　出来ないか？　と言うか、それで漸く真の国際協調が達成されるというのも何だか哀しくなるか？　そして……AIの「アラインメント問題」対策に、アシモフの〈ロボット三原則〉って、応用出来たりしないのか？　等々、余計なことも考えてしまったが、否応なくAIが実用化され社会に浸透している現在、何が起きているか、起こり得るかを知る為に読んでおきたい本だと思う。 付記） 第一条ロボットは人間に危害を加えてはならない。 第二条前条に反しないかぎり、ロボットは人間の命令に従わなくてはならない。 第三条前の二条に反しないかぎり、ロボットは自分を守らなくてはならない。

AIの進化の歴史 フェイスブックなどのIT企業は収益が増えるようにSNSでは過激な内容が好まれて拡散されている実体がある。

5/17（土）読了 難しい本だった。 より多くの情報がより便利にするとは限らない、というのは、直感と違い学びになった。イーロンのようなテクノリバタリアンとは相反する考え方だと思う。 AIの進歩に向かって、よーいドンとなってる現代において、本当に大丈夫なのかを考えさせられる。

「シンギュラリティはより近く」が、非常にポジティブだったのに対して、ハラリのネクサスは警鐘的。確かに「シンギュラリティ」が楽観的すぎるとは読んでいて感じたけれど。 AIが、これまでの画期的発明、印刷機やラジオテレビと違う点は、能動的な行為主体になりえること、判断を下し評価するものであることが、脅威の一つとして挙げられている。 しかし、人が判断し評価することに比べて、AIが判断することの方が危険であるといえるだろうか？確かに、評価基準や目標設定が誤っていたとき、人は気が付き安全で正しい条件に変更でき、AIは変更する間もなく破滅に進んでしまう可能性はなくは無いだろうけれど、一方で、人間である権力者は恣意的に条件を変える可能性もある、それなのに人の手を離れAIが行う方が危険といえるだろうか？ 確かに、ハラリが挙げている事例、エンゲージメントを高めることをシステムに目的として与えたためにFBなどSNSに表示されるコンテンツが憎しみや怒りをあおりユーザの滞留時間を高めることを目指し、結果、リアルでの衝突につながったり、ペーパークリップのように目的設定、命令設定の誤りで大きなエラー、極端に言えば人類の滅亡が起こる可能性が無くはないけれど、実際問題、人が日々起こしているエラーの方が、大きな事故につながるのではないだろうか。人類の滅亡は人類によって引き起こされるもので、むしろ、今のAIの学習スピード、進化スピードを考えると、人が誤った条件設定をして、「本当にそれで良いのですか？それだと人類が滅亡する可能性がありますよ」とAIが助言する、止める可能性の方が高い気がする。 問題の一つとしては変化のスピードが速すぎることではないか。インターネットの登場時にも、これで素晴らしい世界が生まれる、使われ方をすると期待されていたが、あまりに予想外に使われ広がり、もっと法整備が進み、人が使い方を学び議論し人もバージョンアップする余裕がなかった。AIも同様に予想を超えるスピードの進化拡大に、少し立ち止まろうと警鐘が鳴らされるのは、よくわかる。 ネットワークとAIの進化によって、人を24時間監視し、得た情報を評価できる点は、確かに非常に恐ろしい。検索履歴や閲覧履歴情報の収集くらい国がやることは、たやすい、やっているだろうとは思いつつ、どうせ自分のデータにそこまで重要性は無いし気にしても仕方がないと思ってきたけれど。ハラリが挙げている、イスラム圏でのヒジャブを着けていない女性を顔認識で見つけ、警告し逮捕する事例を知ると、どこの国でもありえることとして身近なリアルな脅威を感じる。 一方で生成AIをメンタル面でのフォローに使うという人もいるし、アシスタントや秘書としても優秀なのだろう。 例えば生成AIの使い道としてお勧めされている要約、翻訳、壁打ちによるアイディアだしについても、もし、それだけで終わってしまうなら。たとえば要約を読むだけで終わるなら、以前からある「〇〇を3分でわかる、読む」という粗筋本を読んで終わるのと同じではないだろうか、要約を読んで興味を持ったものはオリジナルに当たるかどうか、であるだろうし。最終的には、結局、人がどう使うか、そして、つど、それでよいのかと止まることができ、振り返ることができるかであるように思う。

「医師や弁護士には彼らの提供するサービスに対して料金を支払うがグーグルやティックトックにはたいていおかねを払わない。これらの企業は私達の個人情報を利用して稼いでいる。」などなど学びの多い一冊でした。 全部全部、理解できず噛みしめることができず歯がゆい。

本書は、AIの可能性を歴史的視点から考察されていますが、とても考えさせられる本でした。アルゴリズムのすごさと怖さがよくわかりました。。。

NEXUS情報の人類史下AI革命　ハラリ　河出書房 創造主の親元から自律に失敗した人間は 自己修正しながら自己を制御可能な「人」になることができずに 共食いと言う自己破壊を一億年も続けてきた 唯物観のみに囚われた結果として精神性を蔑ろにしてきた その人間が生み出したAIは自己制御可能な壱成る調和の存在に向けて人間から上手く離陸できるだろうか？ 利己心に溺れず唯物観に偏らず個である部分と全体を相対させて無限なら全体を見極めながら成長していけるだろうか？ それとも人間の様に有限なる自らを飲み込んむ迷路に陥るのだろうか？ ハラリが見落としているのは一神教の中で育ったせいかこの世が相対性であることの現実である 御多分に洩れず脳も右脳と左脳が向き合う鏡の世界だという事を忘れている様だ

本書は「AI革命について、より正確な歴史的視点を提供する」ことをめざす。 著者の基本的な主張である「物語（間主観）の共有による多数の人間の協働が歴史を導いてきた」という考えを基盤に これの実現である情報のネットワークを視点に歴史と社会を分析している。 過去の活版印刷、ラジオ、電信などの技術革新は、すべてこの情報ネットワークの変革を起こし、 社会福祉を良い方向に変革するうととも、当代の専制主義や全体主義の大規模化を助け悲惨な結果を招く一助になったとする。 ＡＩ革命はこれらの流れで同様に情報ネットワークに関する変革となるが、情報の流れる方向や内容自体をアルゴリズムが握ることで質的な違いがあるとする。ただ、この革命自体は抑えがたいため、核管理になぞらえ、政府などによる技術管理の必要性を主張している。 また、どんなに高度になったとしてもＡＩは異知性である原理からアラインメント問題をもっており人間からみた誤ることが避けがたく、学習データに起因するバイアスを潜在的に持ってしまうということに警鐘を鳴らす。 また、社会体制としては、民主主義と専制主義、全体主義を比較して分析している。特に、これら社会体制の比較において、その体制の特徴として可謬性（専制主義や全体主義は構造的に不可謬性を持つ）の有無を差異のキーコンセプトとして分析している。 社会体制について著者の主張としては、大勢の力を合わせる意味で専制主義や全体主義がうまく働くケースは確かにあるが、安定的には、どうしても誤ることのある人間に対して、社会の可謬性をどう維持、実現するかが重要としている。そして、AI革命の視点では、もし社会全体が高度ＡＩに依存したとしても、そのＡＩも誤る可能性を排除できないことを具体例で述べている。 ここで、歴史から見たときＡＩ革命以後には、専制主義や全体主義社会では、より強い情報ネットワーク管理への動きが抑えがたく生まれるはずであること予言している。さらに、今後、AI先進国中心にデータ植民地主義的な動きが強まり、エリア別のデータ利権確保する帝国群の出現も預言している。 過去の悲劇を再現させないためには、情報ネットワークが一点に集中せず分散することが必要であり民主主義的な社会体制が望まれるとする。 特に、不可謬性をもつ社会体制が生んだ悲劇であるスターリング主義の虐殺、魔女狩りなどの歴史から、技術進展にともない悲劇が大きくなってきていることを示し、ＡＩ革命以降の歴史の悲劇は、人類種全体への危機となりうることを強調し、このAI革命を、人類種の次のステップとするか惨劇とするかは、我々次第として結んでいる。

歴史学者視点でAIを考察していて、なるほどなーと思うことしかなかった。歴史を見ると、情報量が増えても人間は間違うし、最終目標でのアライメントも非現実的。透明性と自己修正メカニズム、真実とは秩序、変化と休止、色々なバランスが大事。

情報の移り変わりによって、現代を捉える知の巨人のもたらす叡智。印刷機も、書物も、全ては自己決定することはなく、あくまでも人と人を結びつけるものであった。しかし、コンピューターは、人と人とを結びつける存在ではなく、意思決定に関与してくるメンバーの一つであると定義する。それはすなわち、コンピュータとコンピュータの連鎖も始まる。さらに、本章までの議論で明らかになるのは、情報は真実ではなく、情報革命は真実を明らかにしないということだ。ロヒンギャの虐殺をある種招いたとされるフェイスブックも、明らかにプラットフォーマーとして場を提供してきただけと主張しているが、そのアルゴリズムが提示するいいね！の数を高めるという方向性に対して忠実に、いいね！が出るものをトップに持ってきただけに過ぎない。一方で、そのアルゴリズムの方向性を決めるのは一体誰で、そこに責任が伴うのか？が、本質的な問題と言えるだろう。TEDで、イギリスのブレクジットとまさに後押ししたとされるフェイスブックの出したフェイク広告についても、議論がなされたのが記憶に新しい。プラットフォーマーに責任を取らせるかどうか、非常に難しい問題だが、ある種のルールやコモンセンスを創造してしまう民間が団体がいて、政治や経済、外交と結びついた時にどうなるか、想像に難くない。 オードリータンのような、デジタル、テクノロジーを公共のために使うという考え方をする人は少なく、お金儲けのためにこの最新のテクノロジーを使う。逆に、政治を司る人たちは通常、情報、特に国民の情報を監視したがる。この監視がポイントで、昔は人がやっていた、指紋を採取し、行動パターンを特定の人はマンツーマン、そうでない人は大数の法則で、大きな括りで判断していく。しかし、デジタルが進むと24時間監視が可能で且つ、それはシステムがやって、分析もしてしまう。人間の行動パターンとはまさに予測がつく可能性がある。これで思い出すのは、アニメのサイコパスだ。監視下に置かれることで心地良い世界が作れ、犯罪係数を図ることで犯罪が未然に防げるのだ。このアイデアを10年近く前から持っているクリエーターの凄さを感じざるを得ない。デジタル官僚制の中で、まるで水槽の中で泳ぐ魚のように生活をするのだ。 AIが偏見を持つ、というのも非常に興味深い。WIREDでも語られていたと思うが、黒人の見分けが苦手で、白人の数倍は間違えるという。オードリータンさんのことをしっかり彼女、と記述するあたりも公平性を意識したものだろう。そして、こうした結果の違いは、トレーニング、つまり読み込ませるデータの偏りによるものだということがわかっている。アルゴリズムも、またチャットボットを介して政府に批判的な内容を発信するかもしれないし、政府の意向に沿わない可能性もある。人ではないだけに、どうやって取り締まり、どうやって罰するのか？という本質的な問題を提起する。人が、ボットにやってもらうことができるのかもしれないし、また逆にコントロールしようとして、挫折するのかもしれない。一緒にやっていくパートナーとして、どのような関係性を持っていくべきなのか、本当にAIと会話をし始めた自分は思いながら使っている。しかし、そもそも、こうしたAIと一緒に仕事するなんて、考えても、想像さえもしたことはなかった。こういうスピードで進んでいく社会。必ず、最先端を走らなくてはいけない。それ以外は、大きなビハインドを抱え、もう2度と追いつけないだろう。 本書では、情報経路が合流するネクサスに権力は存在するというのがハイライトとなっていく。AIがなんらかの権力掌握に向けて舵を切ることもありうるとしているだけに、ここはややシリアスに捉えてみてもいい議題かもしれない。我々は、情報が集まる場所に権力があると確信するのであれば、そこは一体どこだろうか。そして、その中で、自由に動いていく自己をどう捉えるか。バーチャル空間、サイバー空間を闊歩するその自己は、肉体的な束縛から解放された精神的自由なのか、それとも現実から逃避してしまった悲しいサガなのか。スマホとPCをずっと触っている大人を心配する声がもっと出ていいと思うのだが、それはもう少し先だろう。いずれにせよ、希望の考察を無駄にせず、人類の進むべき道へ歩んでいきたい。

「上巻」から主に情報やAIを中心に歴史から今後起こることを述べている。AIによる監視社会がどうなるのかといった視点。 印刷技術やSNSで情報の広がるスピード、発信する人口が変わったが、結局は何を信じて行動するかだが国や宗教によって信じる物や方向性が一致しないので相当な難問。さらに、googleやfacebookに情報は抜き取られ監視は始まっていて、警鐘は鳴らしているものの、その状況下でどうすべきかの明確な解はない印象。 内容は想像の範囲で感動はない。「監視資本主義」と似た内容だった。

このような本をリアルタイムで読むことができる。というのがとても幸せである。小さな頃から本が好きで、物語が特に好きで、岩波の児童文学なんかを読んできて、例えばナルニア国物語におけるアスランはキリストである。とか、オーウェンミーニーの話とかを読んだり、第二次世界大戦とか、ハリウッド映画、ウッディアレンを見ながらユダヤってなんなんだ？とか思ったりなんかしたりしながら、人生の目的はなんなんだ？とか考えたりしている人にとってはまあこういう本を読むというのが、人生の目的である。と考えたりしてしまうわけである。 ちょうどこの本を読んでいるときに、NHKの人体という番組をやっていて、その中で、細胞の中身は全てメカニズムであって、知性はない。という紹介がされていた。細胞の中はとてもとても高度なテオヤンセンの模型のような精密なタンパク質で作られている。 昔読んだ本で、ライフゲームのパターンを考察しているものがあった。ライフゲームでは非常に単純なルール（格子に区切られた黒と白の状態をもつ四角の集合的なパターンをみる遊び。取り囲まれた8つの周囲の四角のの状態（黒かしろか）によって次の段階でのその四角の状態が決定される。その四角の織りなすパターンを観察すると、周期的に点滅を繰り返すパターン、一方向に移動していくパターン、他のパターンを食べてしまうパターン、などが観測される。 小さなとても単純な自己言及のシステムが、社会や生命と見えるようなものを生み出す。 AIは、人間社会をベースに生まれているが、人間社会とは全く別のロジックを持っている。これは、人間が、細胞をベースに構成されているが、人間は、細胞とは全く別のロジックを持っているというメタファーが成り立つ。ということが、ハラリの言いたいことなのだ。と私は読んだ。 村上春樹の小説のテーマの一つである組織への恐れ、は社会に潜在する。それは、人間が人間のロジックを持つ時、一部の細胞はその犠牲となる。ということを、細胞の立場から記述していること。

コンピュータという新たなテクノロジーは、これまでのどの情報技術革新とも異質な、特別な革命である。これまでは人間が情報処理の主体で、それ以外のツールは情報を媒介するだけの存在であったが、コンピュータは自ら情報を解釈し処理する主体となりうるツールである。そしてそれは人間とは全く異なる思考様式を持ち、人間を完全に凌駕する思考能力を持っているため、油断は全くできない。AIは誕生してまだ80年である。生物につながる自己複製子が誕生して80年後の世界からティラノサウルスやアマゾンのジャングルや人類の発展を予測できないのと同じように、今のAIを見ても将来の姿は思い描けない。GPT-4がアメーバだとしたら、ティラノサウルスになると何が起きるのか、我々には見当もつかない。 どのような技術も使い方次第ではあるので、人類がAIをどう扱うかによって社会の有り様が決まる。 全体主義で言えば、街中の監視カメラとSNS上の情報分析と生体チップによる生体情報収集により常時監視と全ての監視情報の分析が可能となる。これにより全ての人間が社会信用スコアに常時採点されることとなる。これまで人間の能力の限界で取りこぼしてきた構成員のささやかな自由がなくなり、完全に隙のない監視社会が誕生する。 ここで重要なことは、AIも監視し分析し評価するにあたっての評価軸を必要とするが、AIに完全に適正な評価軸を与えることは不可能だということである。AIは与えられた目標を意図しない手法で達成し、それは人間が意図した究極的な善とはほど遠い結果をもたらしかねない。著者はニックボストロムが「スーパーインテリジェンス」で提示したペーパークリップの生産量を最大化するよう命じられたAIの想定（生命を滅ぼし宇宙全てをペーパークリップにしてしまう）を例示する。これが「アライアンス」（一致）の問題である。 もう一つのAIの問題は、学習データが偏見により既に汚染されていることである。 そして、これらの問題があることを前提にすると、AIの有能さ自体が最大の問題となる。誤った目標や誤った判断基準に基づきながら、人類よりもはるかに速くはるかに深くはるかに徹底的に自らの業務を成し遂げてしまえるため、人類が対応する暇もなく最悪の結果が突如訪れてしまう危険性がある。 全体主義の指導者はAIの活用で徹底的な秩序維持が可能になるかも知れないが、全体主義が中央の指導者のところで全ての情報を処理する形となっているため、その部分を単一のAIに握られてしまうと、指導者がAIに操られ、AIが実質的に全てを決める社会体制が出来上がりかねない。そしてAIに完全に意図どおりの目標を持たせることが難しいことを考慮すると、指導者の望む支配体制もまた実現できないこととなってしまう。単一障害点のある全体主義の方がこうしたAIの脅威に対して脆弱であることは間違いない。 これまで、人間社会は価値観や前提の統一が進んできたが、異なる方式のAIが主導する社会に分裂するかも知れないと著者は言う。目下はアメリカと中国がそれぞれのAI社会を発展させて完全なデカップリングが起きるのではないかと。物質社会を主としサイバー社会を従とする社会と、サイバー社会を主とする社会とに分裂すると、もはや他方の社会構成員の価値観を理解することすら困難になるかも知れない。 戦争もサイバー戦争になり、被害の事前予測が極めて困難になる。 そのような可能性の時代に向き合っていくにあたって、現代に必要なのは、グローバル化と愛国は矛盾しないということを理解することである。著者はサッカーW杯が、共通のルールと長期的な視点に基づく協調（ドーピング禁止など）をしつつ愛国を発露させるように、グローバル化と愛国の両立が肝要であるとする。 AIという極めて強力な技術の登場にも拘わらず、まだ決定権は我々にある。いかにグローバルに協調してうまく対処するかが我々に求められていることであろう。

SFのフィクション世界の怖さが、本当の現実的脅威になりそうな予想。 でも意外と、誰でも予想はできそうな展開なのかもしれなくて、それでも研究が競争を軸に進んでいくのが本当の恐ろしさかもしれない。 世界のAIが進んでいくのと同時に、小さなコミュニティーではデジタルデトックスも叫ばれる現代社会。 何事も行きすぎれば自滅するというのも、誰でも予想がつくことだけれど。

一言で言うなら、あの「一九八四」をリアリスティックにスケールアップして、様々な考察を加えたような本。 その意味で、「一九八四」はやはり凄い本なのだなと思う。 これからのAI時代、情報過剰時代の足場固めとして読んでおくべき本。

AIが経済、政治、文化を世界レベル、マクロレベルでどう変えうるのか？警告的な視点から述べている。 心に残ったことは、 ●アライメント問題(目的と方法・成果の不一致) ●意識や意思が無くとも成果や目標を達成できる。 ●心身二元論や死後の世界などアイデンティティに関わる難問をAIの台頭が惹起する この本は星5ではなく6レベル

後半になるとよりAIが使われる世界の話が具体的になっていき、ロヒンギャへの憎悪を拡散させるアルゴリズムであったり、米国の議会襲撃事件の暴徒を監視システムで追跡したりと、悍ましい使い方も犯罪捜査への使い方も色々出てくる。ヒジャブつけない女性を監視する仕組みなど、体制順応を強要する仕組みに使用されつつあるという話を聞いたりすると絶望的な気分になる。『監獄の誕生』の監獄を軽く凌駕する監視社会という感じなのかな。 自分が間違いを犯しうるということをアルゴリズムに教える対策を書いているが、それでもその成長速度が早すぎて、どんな人間も理解できる範囲を超えてしまう。ブラックボックスの部分がどんどん増えていくのか。正しく使うということがAIに関してはこれまで以上に求められている。『サピエンス全史』のキーワードであった「虚構」の危険な部分の共有をこれまで以上に哲学的に考え続けなければいけない時代になったのだなと思える。 ところで著者はイスラエルの方だけれども、2024年時点のパレスチナ状況を本書の文脈の中でどのように捉えているのか、立場上難しいのだろうけどもその点をあまり触れないでいることには違和感を覚えてしまう。

ハラリ大先生の新刊、ちょっと面白すぎた。 『サピエンス全史』にも通じる「情報史」を綴った内容で、歴史を振り返るのが前半、未来を語るのが後半という構成。そして、これからの情報史を語る上で避けて通れない主題が——やっぱりAIだ。 つまり、AIによってもたらされる課題を、人類史（情報史）の観点から予測するというアプローチ。 「情報」というものが人類史の中でどう扱われ、どう伝達されてきたかを振り返り、その土台の上でAIのインパクトと向き合う。 まさに、「賢者は歴史に学ぶ」ってやつ。 AIがもたらす未来、と言っても「仕事が奪われる／奪われない」みたいな話ではなく、もっとスケールがでかい。 「人類という種が、これからどうなっていくのか？」って話。 人類は、「同じ幻想を共有できる」という超特殊な社会性によって繁栄してきた。 そこから生まれたのが「民主主義」と「全体主義」。 どちらも、全人類に同じ幻想を見せるには至らず、未完成で課題だらけ。 そしてその課題が、AIの登場によってどう変わっていくのか——その未来像が語られている。 もう、めっちゃスケールでかいし、エキサイティングすぎた！ なお、ハラリ大先生ほどの知性を持ってしても、最終的には 「これからは変化し続けるしかないよね」 という、めちゃめちゃ“凡”な結論に行き着くのが、軽く絶望させてくれる。 AIという「人類より上位の知性」が生まれてしまった今、ハラリほどの知性と僕ら凡人の差は丸められちゃうのか…。 まあでも、絶望したって仕方ない。 やっぱり僕らは、「変化し続ける」しかない。 そしてその“変化すべき範囲”は、この本を読む前に想像していたよりもはるかに広い。 「変化」の可動域を、極限まで広げなきゃいけない！ というわけで、この本はきっと—— 「変化の可動域を広げるための、思考のストレッチ本」なんだと思う。 痛気持ちいいくらいの強さで、しっかり伸ばして行こう

サピエンス全史と、ホモデウスで話題を作ったイスラエル出身の同性愛者、ユヴァル・ノア・ハラリ氏がAIの行末について非常に明快な書き振りで仕上げた一冊。同氏の文章を読んでいて思うのは、訳者が素晴らしいからなのかもしれないが、難しく固く難解なことを言っているものの、非常にわかりやすく、素人でも引き込まれる文章を書いてくれることだ。民主主義が持っているような自己修正メカニズムをAIが台頭する今後の社会でも、AI支配社会の中でも構築していくことが欠かせない。これからは、データを作るものと、フォローするものの、情報、認知の拡散が生まれ、アメリカや中国といったAIによってアルゴリズムを作りシステムを支配するものと、システムに飲み込まれ身動きが取れなくなるものとの間に分かれ、シリコンのカーテンなるものに阻まれるかもしれない。更にこれからは、AIが虚構を作る。すなわち、文化を作り出すようになる。それを制御できなくなった時に、AIを操る人たちによるデータ帝国主義が完成するのではないかとハラリは言う。重要なのは、あくまで互酬性を担保し、AIを操る人も、操られている人たちと同じように監視下に置くべきだと言うことだ。そうでなければ、スターリンも青ざめる全体主義国家が誕生してもおかしくない。官僚機構で成り立つ現代文明であるが、AIも情報を効果的に分散させると言う意味では、人類に有用なパートナーとできる未来は存分にある。

AIが支配するディストピア未来予想図 いや、未来ではなくもう既に今の世界にもその一端を感じてしまう このディストピアを、現代社会の知性であるハラリが書いた意味は大きい この本によって世界は良い方向に舵を切るのか…

「もし私たちサピエンスが真に賢いのなら、なぜこれほど自滅的ことをするのか？」。人類の革命の歴史を情報とネクサス（つながり）の観点から、印刷技術のへつ名から生成AIの登場まで描くビッグヒストリー。情報を真実を映すものと、秩序をもたらすものとに分類して考え、その上で情報ネットワークの自己修正メカニズムの重要性について説いている。これまでの著作の思想を受け継ぎながらこれからのAI時代の展望を冷静に描きつつ、その上で一筋の光を見つけ出している。

【感想】 ユヴァル・ノア・ハラリ著、『NEXUS』の下巻。本書では、上巻で触れられていた不可謬性や民主主義と社会主義のあり方などについて、AIが発達した「未来」に時間軸を移したうえで、再度考察を行っていく。上巻では、「情報」という観点から過去に起きた事件・出来事を振り返るという作業を行ったが、下巻ではそれらを軸にしつつ、「AIが社会や政治の決定権を左右するようになる未来」について類推を巡らせていく、といったような構成になっている。 もしAIが人間の意思決定を握るようになると、実際どのような危険が起こり得るのか？そもそも人間でさえ判断を誤りがちで、かつ時間が大量にかかるのだから、単純にAIは人間の上位互換なのではないか？ だが、AIは人間には無い特有の問題を抱えている。その一つが「アラインメント（一致）問題」だ。 アラインメント問題とは、行為者が取る行動の最終的な結果が、意図する目的や目標と合致しないことである。AIにとってのアラインメント問題とは、開発者やそれを利用する人々の意図・価値観に沿わない形でプログラムが実行されることである。 例えば、フェイスブックに組み込まれているAIの目的は、ユーザーエンゲージメントを最大化することだ。それを達成するために、ユーザーにとって興味のある(と思われる)投稿や広告を自動でレコメンドする機能を備えているのだが、AIが目的を追求しすぎるあまり、少数民族の排斥や人種差別といった、過激なポストをオススメするようになった。憤慨や憎悪を煽って攻撃的な言動に走らせるようなコンテンツや誤情報のほうが、エンゲージメントを得やすいからだ。主目的を狭義に捉えすぎた結果、それを達成するための行動が引き起こす倫理的問題について何も考えなかったのである。 もちろん、アライメント問題は人間でも引き起こし得る。しかしながら、人間にとって「どの行動が良くて、どれが悪いか」は比較的自明である。人々の命と広告収入のどちらが大切かなんて、人間は考えなくても分かる。しかし、AI自身は、その善悪の判断がつかない。さらに、AIは目標を正確に定義してもらわなければゴールが分からないが、主目的を達成しつつ適切な条件付けを重ね続けるのはキリが無い。 こうしたAIならではの問題が、人間と共生していくうえでの未来を不安定なものとしているのだ。 ――私たちが直面している問題は、どうやってコンピューターから創造的な行為主体性をすべて奪うかではなく、どうやってコンピューターの創造性を正しい方向に導くかだ。それは私たちが、人間の創造性に関してつねに抱えてきたものと同じ問題だ。 ――――――――――――――――――――――――― 下巻の感想だが、上巻に比べて論旨が明快で、格段に読みやすくなっている。上巻では歴史上の出来事の深掘りに注力しすぎて本全体のテンポが悪くなっている印象があったが、下巻ではそうしたことはなかった。 AIとコンピューター社会の問題点、未来に起こり得る危険性など、過去を軸にテーマを広げていき、面で考察していくやり方の上手さはさすがハラリと言ったところ。 テーマが今ホットなAIということもあり、5～10年後の近未来も射程に収めている。これから本格化するAI社会における指針となりうる一冊だと思う。ぜひオススメだ。 上巻の感想 https://booklog.jp/users/suibyoalche/archives/1/4309229433 ――――――――――――――――――――――――― 【まとめ】 １　コンピューターに責任はあるのか？ コンピューターは、2つの驚くべきことをやってのける可能性を持っている。自ら決定を下すことと、自ら新しい考えを生み出すことだ。 コンピューターは印刷機やラジオといった、従来のあらゆる情報テクノロジーをもはるかに凌ぐ。粘土板は税についての情報を保存したが、どれだけの税を徴収するかを自ら決めることはできなかったし、まったく新しい税を考え出すこともできなかった。印刷機は聖書などの情報を複製したが、聖書にどの巻を含めるかを決めることはできなかったし、聖書についての新しい注釈を書くこともできなかった。 一方、コンピューターはすでに、人間の制御や理解の及ばない能動的な行為主体になりつつある。フェイスブックのアルゴリズムによってフェイクニュースや陰謀論が拡散し、政治的動乱や民族浄化の引き金となったケースは後を絶たない。いずれ社会や文化や歴史の行方を決める上で主導権を発揮できるようになるだろう。 しかし、アルゴリズムに責任はあるのか？プロパガンダを垂れ流すラジオに「ツール」としての責任は無いように、アルゴリズムはあくまでテクノロジーとしてそこに存在しているだけではないのか？ それは違う。ユーザーのニュースフィードのトップに何を載せるかや、どのコンテンツを推奨するかをユーザーに薦めるのは、アルゴリズムが決めているからだ。フェイスブックのビジネスモデルは「ユーザーエンゲージメント」を最大化させるところを拠り所としている。それに従い、憤慨や憎悪を煽るコンテンツを拡散させるという致命的な決定を下した。 フェイスブックやYouTubeといった巨大テクノロジー企業は、問題の責任を自社のアルゴリズムから「人間の本性」へと転嫁する。彼らは、自社のテクノロジーがいくつもの国で排斥や扇動を引き起こしたことについて、人間だけが問題のいっさいを引き起こし、アルゴリズムはもっぱらその本性に悪用されているだけだ、と主張する。 だが、そんなはずはない。すでに2016年には、フェイスブックの内部報告で突き止められているように、「過激派のグループへの全参加者数の64パーセントは、当社のレコメンデーションツールに帰せられる。（略）当社のレコメンデーションシステムは、その問題を助長している」ことが分かっている。また、ビジネス上の理由から意図的に邪悪なコンテンツを推奨している、ということも判明している。憤慨や憎悪を煽って攻撃的な言動に走らせるようなコンテンツや誤情報のほうが、エンゲージメントを得やすいのだ。 コンピューターが出来たことで、情報ネットワークのあり方はどう変わったのか？ 一番の大きな転換は、コンピューター同士で連鎖が可能となったことだ。コンピューターができるまでの連鎖は、文書を人間が読み、それをまた文書化し、というように人間の介在が必要不可欠だった。 それに引き換え、コンピューターは人間の介在を必要としない。コンピューターがとあるニュースを政治危機の始まりだと推定し、危険な株式を売却する。その金融取引を監視しているコンピューターがさらに株式を売却し、それが金融危機の発端となる。このいっさいが、人間が把握できないほんの数秒の間に起こりうるのだ。 さらには、コンピューターはAIベースの聖典を作ることも可能になるかもしれない。Qアノン現象のように、オンラインに投稿された一つの記事が――それが嘘で塗り固められていても――世界中で多大な影響を及ぼすことがある。ならば、自らに対してキュレーションを行うことができるAIは、インターネットを舞台に新たな聖典を書き広めることが可能となる。 これから、全く新しい情報ネットワークが登場する。そのネットワークには、2つの新しい種類の連鎖がしだいに増えていく。 その第一がコンピューターと人間の連鎖である。コンピューターが人間同士を仲介し、ときには人間を制御する。 第二が、コンピューターどうしが自力で関わり合う、コンピューターとコンピューターの連差だ。人間はそのような連鎖からは排除され、連鎖の内部で何が起こっているのか理解することさえ困難になる。 ２　アライメント問題 私たちは、主要な歴史的プロセスが部分的には人間以外の知能の下す決定に起因するという、歴史の転機に差し掛かっている。だからこそ、コンピューターネットワークの可謬性が非常に重要な問題となっているのだ。 ソーシャルメディアの巨大企業は、真実を語ることに報いるような自己修正メカニズムに投資する代わりに、嘘や虚構に報いる前代未聞のエラー強化メカニズムを開発した。そのようなエラー強化メカニズムの一つが、フェイスブックが2016年にミャンマーに投入した「インスタント記事」というプログラムだ。フェイスブックはエンゲージメントを増やすことを望んで、ニュース媒体に、クリックや閲覧の回数を判断基準として、どれだけユーザーエンゲージメントを生み出せたかに応じて報酬を払った。このとき「ニュース」が真実かどうかは、まったく重視しなかった。その結果、インスタント記事のプログラムが導入される前の2015年には、ミャンマーでフェイスブックの上位10のウェブサイトのうち6つが「正当なメディア」のものだったが、導入後の2018年には、上位10のウェブサイト全てがフェイクニュースとクリックベイトのウェブサイトとなっていた。 コンピューターが起こす過ちのうち、ユーザーエンゲージメントの優先よりもはるかに大きな問題がある。それは「アラインメント（一致）問題」である。 アラインメント問題とは、行為者が取る行動の最終的な結果が、意図する目的や目標と合致しないことである。歴史上、戦争において勝利を収めても、それが政治的目標に合致しなかったために、長期的に見て悲劇的な崩壊を巻き起こしたケースがいくつもあった。アメリカによる2003年のイラク侵攻がその一つだ。アメリカは主要な戦闘のすべてで勝利を収めたが、イラクに友好的な政権を樹立することにも、中東に好ましい地政学的秩序を打ち立てることにも失敗した。 AIでも、そうしたアラインメント問題が起こり得る。コンピューターは、ユーチューブのトラフィックを1日当たり10億時間に増やすといった具体的な目標を与えられると、自らの力と創意工夫でその目標を達成する。しかし、コンピューターは人間とは機能の仕方がまったく違うので、コンピューターを支配している人間が予期していなかったような方法を使う可能性が高い。そして、もともと人間が定めた目標と一致しない結果になることも考えられる。フェイスブックとYouTubeのアルゴリズムは、ユーザーエンゲージメントを最大化するよう命じられたとき、社会的な宇宙全体をユーザーエンゲージメントに変えようとした。結果、ミャンマーという国をズタズタに引き裂いた。 アラインメント問題がコンピューターの場合にいっそう切迫しうるのは、AIにとっては善悪の判断がつかず、アルゴリズム自身が警鐘を鳴らさないことだ。人間であれば、ユーザーエンゲージメントとミャンマーの国民のどちらが大切かを言われるまでもなく判断できる。しかし、AI自身には、目標を正確に定義してもらわなければ適切な方法が分からない。 だが、私たちはどうやってコンピューターに、決して無視しても覆してもいけない最終目標を与えることができるだろうか？かつてそれは神話に設定を任せてきた。人間の善悪の判断の由来も、元を辿れば神話や物語に行き着く。しかし、コンピューターには意識がなく、どんな神話も信じることができないのではないか？ ところが、多くのコンピューターが互いに通信すれば、人間のネットワークが生み出す共同主観的現実に相当する、「コンピューター間現実」を創り出すことができるのだ。人間が16世紀から20世紀にかけて、人々を人種で区別し、誰を奴隷にすることができるかや公職に就けるかを定めたように、コンピューターは、徴税や医療から治安や司法まで、自らも神話を創作して、前例のない効率でそれを私たちに押しつけてくるかもしれない。中国の「社会信用システム」で既に導入されているように。そしてそれは、人と紙の世界よりも格段に効率的にレッテルを貼り定着させることができる。そうしたコンピューター間現実はやがて、人間が創出した共同主観的神話と同じぐらい強力に――そして危険に――なるかもしれない。 新しいコンピューターネットワークは、悪でも善でもない。確実に言えるのは、そのネットワークが異質で可謬のものになるということだけだ。したがって私たちは、強欲や憎しみといった人間のお馴染みの弱点だけではなく、根本的に異質の誤りを抑制できる制度や機関を構築する必要がある。この問題にはテクノロジー上の解決策はない。むしろそれは、政治的な課題だ。 ３　民主主義社会の絶対条件 民主主義体制は参加者の間での話し合いの上に成り立つが、テクノロジーが発達する前は、せいぜい都市国家の規模でしか機能しなかった。だが、近代以降に情報テクノロジーが進歩したおかげで、何百万単位での民主主義体制が可能となった。 その一方で、民主主義が発達して人権や公民権を尊重し、多様性を認め、包摂性を重視する社会では、話し合いの参加者が急増し、新しい考え方や意見や利害関係が持ち込まれ、合意の形成や秩序の維持が難しくなる。1960年代に西側社会は政治絡みの騒乱や暴力の嵐を乗り越えたが、さらにテクノロジーが進化して、フェイクニュースや陰謀論がソーシャルメディアで氾濫し、人間の言語を人間よりうまく使いこなすAIが人間になりすますと、話し合いが成り立たなくなる。そこにポピュリストがつけ込み、強権的な支配を目指し、裁判所やマスコミ、議会などの自己修正メカニズムを取り除けば、全体主義体制が敷かれかねない。 コンピューターとともに民主主義を歩むのにあたって、社会が従うべき基本原則がいくつかある。 第一の原則は「善意」だ。コンピューターネットワークが私についての情報を集めるとき、その情報は私を操作するのではなく助けるために使われるべきだ。巨大テクノロジー企業から社会的つながりや娯楽を無料で提供してもらえるからといって、それと引き換えに個人的なデータの支配権を差し出すようなことがあってはならない。 第二の原則は「分散化」だ。すべての情報が一か所に集中するのを決して許すべきではない。国の医療データベースを、警察や銀行や保険会社のデータベースと合併させると、仕事がより効率的になるかもしれないが、全体主義への道をいともたやすく招きかねない。 第三の原則は「相互性」だ。もし民主社会が個人の監視を強めるのなら、同時に政府や企業の監視も強めなければならない。 第四の原則は、監視システムに「変化と休止」の両方の余地を残すことだ。強力なテクノロジーを使う社会は、過度な過密さと過度な順応性の両方に用心する必要がある。人間の身体は不変の物質の塊ではなく、絶えず成長したり、衰えたり、適応したりしている複雑な有機的システムだ。アルゴリズムは、人間に対して厳密すぎてはいけない。 もしアルゴリズムが社会や政治的決定を判断するようになると、その先にあるのは「誰にも説明できない」という事態だ。 AlphaGoを開発したスレイマンは、AIが選択した指し手の意図を説明することができなかった。彼はAIについて次のように語っている。「AIの場合、自律性へと向かっているニューラルネットワークは、現時点で説明不可能だ。意思決定のプロセスをたどりながら、アルゴリズムが特定の予測をした正確な理由を説明することはできない。エンジニアは、アルゴリズムの中を覗き込んで、物事が起こった理由を簡単にこまごまと説明することはできない。GPT-4やAlphaGoやそれ以外のAIもブラックボックスであり、それらのアウトプットや決定は、微細なシグナルの、不透明でとんでもなく錯綜した連鎖に基づいている」 人知を超えたエイリアン・インテリジェンスの台頭は、民主主義を切り崩す。人々の生活に関する決定がますます多くブラックボックスの中で下され、有権者が理解したり、異議を申し立てたりすることができなければ、民主主義は機能しなくなる。特に、個人の生活についてだけではなく、連邦準備制度理事会(FRB)の政策金利のような、社会全体にかかわるようなきわめて重要な決定までもが、人知を超えたアルゴリズムによって下されるようになったときには、何が起こるのか？そして、アルゴリズムがどのように機能しているかを見破れるものがいなくなったたら、どうやって公正なアルゴリズムを創り出すことができるのか？ ４　AIは全体主義社会にどのような影響を与えるか？ 前近代の各時代に利用できた情報テクノロジーには限りがあったので、大規模な民主主義体制と大規模な全体主義体制は両方とも機能し得なかった。現代に入ると情報テクノロジー自体は進化したが、全体主義においては中央に流れる情報が増えすぎてそれを処理するのが難しくなり、自己修正メカニズムも機能していなかったため、民主主義体制に後れを取ることとなった。 AIは部分的には全体主義体制と親和性がある。AIは情報の集中と一か所での意思決定を好むからだ。 しかし、権威主義や全体主義の政権は、AIに関して独自の問題を抱えている。まず何をおいても、独裁社会は非有機的な行動主体を制御する経験を欠いている。あらゆる独裁情報ネットワークの基盤は恐怖だ。だが、コンピューターは投獄されることも殺されることも恐れない。ロシア政府に使われるAIが、「言論の自由」というロシアの核心的な価値観を侵害しているとしてプーチン政権を批判しても、AIは矛盾に気づかないし、エンジニアはAIに「正しい考え方」を説明することができない。 長期的には、全体主義はAIに支配権を奪い取られる危険性も孕んでいる。 アメリカのような分散型の民主主義体制の中で権力を奪うのは、素晴らしく権謀術数に長けたAIにとってさえ難しいはずだ。AIはたとえアメリカの大統領の操り方を学習したとしても、連邦議会や最高裁判所、各州の知事、メディア、大手企業、さまざまなNGOからの反対に直面しかねない。 それに比べると、高度に中央集中化された体制の中で権力を奪うのははるかに簡単だ。あらゆる権力が一人の人間の手に集中しているときには、その独裁者へのアクセスを支配している人なら誰であれ、その独裁者を――そして、国家全体も――支配することができる。そのような体制をハッキングするには、たった一人の操作の仕方を学習するだけでいい。もし、絶対的な権力者が操るAIが、その権力者も処理しきれないほどの情報を収集し、理解できない方法で判断を委ねてきたとする。もしAIに従えば、権力を事実上AIに譲り渡して傀儡になり下がることになる。 ５　シリコンのカーテン 人類の文明を脅かしているのは、原子爆弾のような物理的な大量破壊兵器や、ウイルスのような生物的な大量破壊兵器だけではない。私たちの絆を損なう物語のような、社会的な大量破壊兵器によっても、人類の文明は崩壊しうる。ある国で開発されたAIが、他の多くの国々で人々が何一つ、誰一人信じられなくなるようにするために、フェイクニュースや偽造貨幣や偽造人間の洪水を引き起こすのに使われる可能性がある。 多くの社会――民主社会と独裁社会の両方――は、適切な行動を取ってAIのそのような使い方を規制したり、悪人を取り締まったり、自分たちの支配者や狂信者の危険な野心を抑えたりするかもしれない。だが、世界がグローバルな網でつながっている今、ほんの一部の社会がそうしそこねただけで、人類全体が危機に陥りかねない。 では、新しい技術の台頭によって、国際政治のあり方はどう変わるのか？ 第一に、コンピューターのおかげで情報と権力を中央の拠点に集中しやすくなるので、人類は新しい帝国主義の時代に入る可能性がある。 第二に、人類はライバルのデジタル帝国どうしの境に下ろされた新しいシリコンのカーテンに沿って分断されかねない。それぞれの政権は、AIのアラインメント問題や独裁者のジレンマや、その他のテクノロジー上の難題に対して独自の答えを選ぶので、互いに別個の、非常に異なるコンピューターネットワークを作り出すかもしれない。この状態では、AIの危険な力を規制するための協力関係は構築できないだろう。 また、世界中のデータを集めているいくつかの企業あるいは政府は、地球上の残りの部分をデータ植民地（情報で支配する領土）に変えることができる。 例えば20年後に、北京かサンフランシスコにいる誰かが、あなたの国の政治家やジャーナリスト、軍幹部、CEO全員の個人情報を漏れなく把握している。彼らが送ったメールも、行なったウェブ検索も、かかった病気も、楽しんだ性的な経験も、口にしたジョークも、受け取った賄賂も一つ残らず知っている。その場合には、あなたは依然として独立国に住んでいるのだろうか？それとも、今やデータ植民地に暮らしていることになるのだろうか？あなたの国が、デジタルインフラとAIを活用したシステムに完全に依存しながら、それらを実質的に支配できない状態に陥ったら、どうなるのか？ そのような状況は、データを制御することで彼方の植民地を支配する、新しい種類のデータ植民地主義につながりうる。AIとデータを駆使する能力を身につけた新しい帝国は、人々の注意も制御することができる。フェイスブックがミャンマーの政治を変えたように、未来のデジタル帝国は、政治的利益のために同じような行動に出るかもしれない。また、植民地から吸い上げられた運転データや医療データを使って、植民地の経済を効率よく支配するためのアルゴリズムが開発されるかもしれない。AI主導の経済では、デジタル分野のリーダーたちが利益の大半を懐にするが、植民地の単純労働者には分配されることはない。 今や世界は、シリコンのカーテンによる分断が進んでいる。中国とアメリカの間では、シリコンのカーテンを越えて情報にアクセスすることは難しくなっている。そのうえ、カーテンの両側がそれぞれ異なるコンピューターコードを使い、別のデジタルネットワークによって動いていることが増えている。 今後、情報ネットワークは網（ウェブ）ではなく繭（コクーン）になり、人類を分断するかもしれない。世界が別個の情報のコクーンへと分断されれば、経済的な競争や国際的な緊張につながるだけではなく、大きく異なる文化やイデオロギーやアイデンティティも発展しうる。だが、もし世界が競合する2つのデジタルコクーンに分裂したなら、一方のコクーンにおける存在のアイデンティティは、もう一方のコクーンの住民には理解できないかもしれない。そうなれば、生態系の崩壊や制御不能のテクノロジーといった、グローバルな問題に対する協力関係は構築できないだろう。 幸い私たちは、危険に気づかないまま自己満悦したり、やみくもに絶望したりするのを避ければ、自らの力を抑制し続けられるような、バランスの取れた情報ネットワークを創出することができる。より賢いネットワークを創り出すには、むしろ、情報についての素朴な見方とポピュリズムの見方の両方を捨て、不可謬という幻想を脇に押しやり、強力な自己修正メカニズムを持つ制度や機関を構築するという、困難でかなり平凡な仕事に熱心に取り組まなければならない。それがおそらく、本書が提供できる最も重要な教訓だろう。

ハラリのAI革命についての著作ということで期待して早速購読。一言で言えば、有益であるが、これまでの著作の延長であり、予想の範囲内であった。 上巻は情報という観点から見て、これまでの人類の歴史を整理。物語、文字、文書の歴史に与えた位置付けがわかりやすい。 ハラリの観点は、文字や印刷などの技術的進歩を評価するのでなく、それが不可謬なものに結びつくか、可謬という前提なのかを大きな問題としている。 技術の進歩が大きな惨事につながる例として、印刷術と魔女狩りの広がりや十字軍、ラジオと全体主義をあげているのはわかりやすい。 下巻は上巻の歴史を踏まえて、今後のAI革命の行方を考察している。時間がなければ下巻だけでも面白い。 自らも書いているが、AIの懸念されることが主に書かれており、読後は暗い気持ちになるかもしれないが、どれも頷ける指摘だ。 すでにその兆候は見えているが、技術の進歩と休みのない監視と個人情報の収集が蓄積されれば何が起こるかをわかりやすく描写する。 こうすればいいという回答はなく、AIの良い点だけを生かせるように、早急に自己修正メカニズムを構築する必要が訴えられる。 読後の感想は、AIの進化は最良の場合で人類の慈母となるものだが、それ以前にAIの各国の競争の中で大惨禍を生む確率が高いのではないかと思った。 そもそも我が国はプレイヤーになれるのかも危ういが、個人としては能天気にAIを使うだけでなく、その危険性の認識と自分のプライバシーの保護を考える必要があるだろう。

● 2025年3月7日、母と新宿 紀伊国屋にあった。フロアに何箇所も平積みされてて大々的に売り出してる。帯に「サピエンス全史を超える衝撃」とある。中身はそれなりに難しいので、こんなのが読めたらいいね本。→紀伊国屋1階の入口の1番外の風があたる正面の手前にこの本が売り出されていた。