500頁超の大作ながら、何とかGW中に読み終えた。名著「マネー・ボール」に登場する野球データ分析アルゴリズムの開発者が、シグナルとノイズを見分けながら如何にしてより精度の高い予測を行うか、についての方法論と考え方を解くもの。 不確実性が高い世の中を生き抜く上でとても知的で楽しい内容だった。原著2012年、日本語版2013年発行、と年数は経っているものの、不朽の名作と言えるのではないだろうか。 本書全編を通じて、「ベイズの定理」に対する信頼が非常に高く、あらゆる可能性を検討した上で、新たな事象が起きるたびに見積情報を絶えず更新していくことで、真実に近付くことができる、という点が主張の骨子。 ベイズの定理が機能するには、初期見積（事前確率）が0%や100%であってはならず、その場合には如何に重要な新事実に行き当たっても見積の修正がなされ得ない、という点が示唆に富む。 以下は13章の事例（9.11の航空機テロ）を8章、12章の計算例に照らしてみたもの。 事前確率が低くとも可能性として検討さえしていれば、新事実に出会うに伴って確率見積が適切に修正され得ることが分かる。要は、（事後評論ではなく、その時に実際に）9.11 は止めることが出来たかもしれない、ということだ。あるいは、その後、見事に次の大規模テロを止めることが出来ている、ということかもしれない。 〈ベイズの定理の計算例〉 事前確率 航空機による自爆テロの初期的見積　x 10% 新たな事象が起こる　ー　飛行訓練時間50時間の訓練生がB747のフライトシミュレータ訓練を希望する（2001.8.16. にこの訓練生は逮捕された） 航空機による自爆テロが計画されていた場合に、飛行訓練時間が極端に短い訓練生が大型旅客機のシミュレータ訓練を希望する確率　y 70% 航空機による自爆テロが計画されていない場合に、飛行訓練時間が極端に短い訓練生が大型旅客機のシミュレータ訓練を希望する確率　z 5% 事後確率 飛行訓練時間が極端に短い訓練生が大型旅客機のシミュレータ訓練を希望した場合に、航空機による自爆テロが計画されている確率の修正見積 xy / (xy + z(1-x)) = 61% 事前確率10% は、新事実の認知に伴い 事後確率61% に更新された。 航空機テロは十分に起こり得る。

未来を予想するための理論としてペイズ定理というのがある。過去の情報に基づいて未来を予想する。しかし、過去の情報には、重要な情報であるシグナルと、誤情報であるノイズとがある。ノイズによってバイアスがかかり、誤った予想がなされてしまう。そこで、結果と照らし合わせて、確率論的に次の予想を行う。これを何度も繰り返すことで、より正確な予想が行えるようになる。これは、気象予想やチェスでは威力を発揮する。正確なフィードバックが得られ、コンピュータの力、特に生成AIの力を存分に発揮できるからだ。一方、地震や経済のように、システムが複雑で、予想が正しかったか否かの検証が難しい場合には、コンピュータでは対応出来ないという。兎に角、複雑な未来を予測するヒントが詰まった必読の書である。

2008年に気候学者に対して実施された調査によると、94%が気候変動が起きていることに同意しており、84%が人間の活動によるものだと思っている。しかし、地球の気温を予測するモデルの能力についてはさまざまな意見があり、気候変動が引き起こす事象をモデル化することについては疑問視する声が多い。今後50年で海面がどれだけ上昇するかを予測するモデルが有効だと思っている人は19%しかいない。

データ解析する場合に、シグナルとノイズをどのように扱うべきか書かれた本。気象、地震、テロなどなど予測に携わる人ならば一読すべき一冊。

データアナリシスの基本を学ぶ本としてよいのではないだろうか？ ノイズをいかに見抜き、それを排除して思考することが大切。

「ベイズの定理を実践する一番の近道は、たくさん予想をすること」 ベイズの定理を実践しなくても、たくさん予想することはものすごく大事。 機会だけでなくパターンも多く。

格付け会社は、透明系を高めるという理由で、格付けソフトウエアを発行者に渡した。 ひとつひとつのデフォルト確率が5％でも、前提条件によって統合されたデフォルト率は違ってくる。 恐怖と欲望のバランスが崩れた時、バブルが起き、崩壊する。 ハリネズミとキツネはどちらが予測できるか。 ハリネズミは基本原則を信じている。キツネは、原則を持たない。キツネのほうが当たるが、テレビにはハリネズミのほうがよく出る。 「ベースボールプロスペクタス」を使って、統計的に勝負を予測できるか。 打率はホームランより不安定。勝ち星は安定しない。 相関関係と因果関係は別物。 経済モデルが前提とする過去のデータは、当時の政策決定の結果でもある。 グットハートの法則＝ある変数をターゲットにすると、それは経済指標にはならない。 経済モデルでは、インプットとアウトプットがあるが、それらは実際には区別できない。 外挿法＝現在の傾向が続くと予測すること。これが予測が外れるときの間違いの元。指数関数的に増減する者は予測できない。 自己成就予言と自己破壊予言。自閉症は、新聞に使われる頻度と同じように患者数が伸びた。GPSで早くつくと指示されたルートにみんなが集中するため、遅くなる。 ベイズ統計＝間違いは減っていく。 ハララボスボブブルガリス＝MBAの賭けで生活している。 自信過剰警報＝絶対とか、理論を信じる、など。これはギャンブラーにとっては、致命的な欠陥になる。 ベイズ的思考。ベイズは牧師。 事前確率のうえで、事後確率を考える。それを統合する。ことが起きるごとに、確率を改定する。 相関関係ではなく因果関係を示すものはけた違いに少ない。 フィッシャーの統計＝頻度主義。 効率的市場化説は正しいか。 ファンドマネージャーは、暴落する危険がわかっていても降りるわけにはいかない。みんなと違う行動をとるほうが自分自身のリスクが高い。運用資金が自分のものではないから。これが効率的市場化説の弱点。 自信過剰なものが多ければ、それだけで効率的市場化説は成り立たなくなる。 価格は正しくないが、フリーランチがない、という点では正しい。 ミュラー・リラー錯視を避けることはできない。上がっているものは上がり続けるように見える。 ベイズ予測では、常に反対になる危険性を考える。それに対して、みんなの予測とどうか、を決める。 天気予報は、予測の中の成功事例。 ベイズの定理を正確にするには、何回も予測すること。

予測情報とベイズ定理について。確かにメディアで大胆な予測をする人は言い切る分目立つが多面的な予測力に欠ける。

・統計学の勉強本ではなくて，「目の前にあるデータの見方についての誤りを正すための警告をしている本」だろうか。この本で統計学の勉強はできないが，普通の教科書よりもずっと豊富な知見を与えてくれる。 ・人はシグナルとノイズの区別はできない。特に事前には。 ・データ量を多くしても予測が正確になるとは限らない。シグナルよりもノイズが増える方が多い。 ・結果として人はデータに騙される。本当は「騙された」わけではなくて，「見誤っている」だけなのだが。

堀さんの推薦　http://lifehacking.jp/2013/12/signal-and-the-noise/

邦訳されたすぐ後に買っていたのだが1/3くらい読んだところで放りだしていた。分厚いながらも別に読みにくい本ではないのに。このたび、家ですごす連休のお供として引っぱり出したのだが、これがまたコロナの時代にピッタリの内容であった。いま世界中が、きわめて不確実な状況に置かれながら少しずつ明らかになるウイルス/疾病の情報をもとに今後の見通しを更新していく、まさにベイズ的な過程のただなかにいる。私たちが「知っていること」と「知っていると思っていること」の違いを識別しなければならないと教えてくれる本だ。 ネイト・シルバーの文章には論理的な明晰さがあって読みやすい。少し斜に構えたユーモアとあわせて、なんとなく余白がない感じがアメリカ的な薄っぺらさとも言えるのかもしれないが、読んでいるこちらまで少しアタマが良くなったような気がしてくる。 本領である選挙やスポーツの予測にはじまり、金融、経済、気候、地震、テロリズムなどなど意欲的に幅広い分野の予測をテーマとしている。個人的には、シルバーの個人的な体験であるオンライン・ポーカーのくだりを特に興味深く読んだ。彼の実践的なスタイルは鉄火場で培われたのではないかと思わせる。 まさにタイムリーにインフルエンザなどの感染症の予測、疫学モデルにも1章を割いている。SIRモデルはシンプルすぎる（多様な行動をとる異なる人々のグループを捨象してしまっている）として批判しているが、ワタクシの最近の付け焼き刃知見では、そこらへんの多様性を導入したモデルもすでにあるようだ。これについては、この数年間での疫学の進歩なのか、単に著者のリサーチ不足なのかは不明。

最近データの活用が大事だと言われているが、データに対するリテラシーが不足していることに気付かされる。過剰適合等データの取り扱いは単純にはいかない。 まさにノイズの中からシグナルを予断なく見出すかが問題だ。

自分が興味ある分野だけに、500ページのボリュームでしたが、かなり興味深く読みました。 リーマンショックや巨大地震、インフルエンザなどの予測に関する失敗のエピソードは、参考になりました。 著者は、最近のビックデータ分析で用いられているベイズ統計の重要性と推奨をしてます。 ある事象を分析する上で、その事象が起こる前の事前確率を見積もり、現実の事実を組み合わせて、確率的に予測する理論です。 ベイズ的アプローチは、問題解決のための観察・仮説形成・検証というアプローチと、概ね同じプロセス・思考法であるという切り口は、圧巻でした。 また、ベイズ統計が批判されている部分である、事前確率に主観性が入ることについても、大まかですが人間が思考して行動する以上は主観性は避けられず、またベイズ統計の、日々変化している世の中の事実に対応出来る柔軟性があれば、問題を最小限に抑えることができるという論には、なるほどと感じました。 いままで自分は、多変量解析など頻度論での統計解析を経験してきましたが、解析対象と実際の頻度理論が乖離しており、解析後に再解釈するという場面が多く、馴染みにくいというのが現実です。それ故、なかなか統計学が世の中に浸透しない一因かと思います。 一方、ベイズ統計の場合、自分の思考そのものをベイズ的に変えることができれば、解析対象そのものの思考がベイズ的思考で考えるので、合理的であると思います。 ぜひ自分の身の回りに適用していきたい考え方だなと、あらためて感じ入りました。 ちなみに、他の予測に関するエピソードとして、ポーカー勝負、地球温暖化、テロ防止のための国家インテリジェンスなど、多様です。 この様な予測に関する学習ができる本を探していた自分としては、大ラッキーでした。

予測の難しさ、過去に基づく予測がいかに誤りであるかがよくわかる。個人的にはUSの民間天気予報サービスの降水確率の発表手法を取り上げた章はニュースの受け手を考えた工夫があり、興味深かった。

予測の難しさや注意点を記述した著。人間が陥りやすい予測の罠を豊富な事例と供に記載している。かなりボリュームが多いが読みごたえがある。

カオス理論の基本的な考えは、小さな変化が大きく逸脱した予想外の結果を生む可能性があるというもの。 ビックデータのシグナルとノイズをどう見分けるのか？ 確率的に考える 新しい情報を得たら予測を見直す コンセンサスにも気を配る ベイズ的思考法を勧めている ベイズ統計が扱うのは主観確率。 漠然と想定していた主観が情報を得られる毎に更新され確信が高まって行く様子を確率で追跡した。

地震予知、地球温暖化予測で用いられるデータの信憑性に関して、もやもやとしたものがあったが、本書を読んで見方が多少分かってきた。因果関係と相関関係、データ中に含まれるノイズ、そのデータを使う人の目的などを知り、安易に騙されないよう心掛けたい。特に自分に都合の良い意見を持っている人のよりどころとしているデータに関しては客観的に見直したり、反対意見の人の考えも排除しすぎないよう注意しよう。

統計というシロモノは門外漢からすると、たいていいかがわしく見える。 それは、本質的には確率論でしか語りえない予測が、あたかもそれが絶対的なことように提示されるからだ。統計に100%がないことは、素人でも皮膚感覚で十分にわかる。 著名な統計家である著者ネイト・シルバーの会いに行く「優れた統計家」たちは、いずれも予測があくまで確率論であることを真摯に語り、フィードバックを用いしてモデルを修正し精度を高めることにこそ心血を注いでいる。 著者自身も自信を「ベイジアンである」と語り、人間を完全に合理的なホモ・エコノミクスとして想定するフィッシャー学派と対置させ、不確実性の存在を隠そうとせず、むしろ積極的に語っている。 「事前確立」をモデルに組み込むというベイズ統計学は、経済学における行動経済学の台頭と軌を一にしており、両者は同じ思想に根を張った兄弟分といえると感じた。 これからもテクノロジーは高度化していくだろうけれど、数字だけをブラックボックスの中でこねくり回して、それらしい理屈で大衆を扇動しようとする統計家は、もはや信用を得ることはできない。“正しい”インプットと、修正を恐れない真摯な態度。統計と向き合うににあたって失ってはならない金科玉条（皮肉ではなく）。 ビジネスにおける統計の活用においては、どうしてもハッタリの要素も交じってくる。競争原理のなかで、切り捨てなければならない正直さもあるだろう。正確性を欠いたとしても押し切らねばならない場面があるのであれば、やはり一番大切なのはクリエイティブ／アウトプットの突破力ではないか……？そんな気がしている。

シグナルを見つけるのは比較的やさしい、ように見える。しかしそれがノイズだとしたら見分けられるのか。2012年にアメリカ大統領選の結果を完璧に当てて有名になったネイト・シルバーはpecotaと言う野球の分析ソフトの開発者でもある。 野球は比較的統計データーを活かしやすい分野だ。マネーボールでは統計データーを使ったセイバーメトリクス対伝統的なスカウトが対立軸として使われているが実際はどうか。pecotaは2006年の有望株の4番目にレッドソックスの名二塁手ダスティン・ペドロイアを挙げたがスカウト達の評価は低かった。「身体的に恵まれていない」と。4月.158だった打率は5月には3割を超え7月にオールスター、この年の優勝に貢献して新人賞、そして翌年MVPに選ばれた。 マネーボールのヒット以来ハーバードやエールで統計学とコンピューターを学び、普通だったら投資銀行で年収40万$で働く若者が、その1/10の年収でタンパやクリーブランドまでやって来て24時間喜んで働いてくれる。年収4万の若者はピークを超えた4000万のFA選手よりいい投資先になる。球団はFA市場で1勝当たり400万$を喜んで払う。とは言えソフトはスカウトより優秀だというような単純な話でもない。2011年シーズン、pecotaの予想したトップ選手100人はMLBで546勝を生み出した。対するベースボール・アメリカ誌の選んだ選手は630勝を生み出した。この差は86勝で3億4千万$に相当する。スカウトは統計データーも使い独自情報によるバイアスを修正することでより良い予測をすることができるのだ。 統計学の世界でノイズをシグナルと間違えることを過剰適合と呼ぶ。福島原発はM8.4には耐えられるようにできていたがM9.1には耐えられなかった。(モデルケースとしては少し単純化しすぎだが)グーテンベルクとリヒターの法則では、地震のマグニチュードと頻度は対数をとるときれいに直線に乗る。つまりマグニチュードが1大きくなると頻度は1/10になる。しかし東北の統計ではマグニチュードどが7を超えたあたりで傾きが変わり頻度が減少するように見える。この統計は1964年間からなので大地震はそもそもデーターの絶対数が少なく大地震のリスクが少なく見積もられていた=過剰適合だったかもしれないというのが著者の見解だ。過剰適合ではなく何らかの理由で地震の頻度が減っていたとした特性適合とした場合、M9の地震は1万3千年に1回、リヒター則なら300年に1回だ。マグニチュードが1増えるとエネルギーは32倍になり地震のエネルギーと被害の大部分は数少ない大地震によるものだ。同時期の世界の統計では大地震も含めリヒター則の方が適合している。地震そのものは予測できないとしても確立はそれなりの確かさで計算できる。GPS地震予測の村井教授に対しては本職の地震学者から批判があるが、新たなシグナルを手に入れられることは間違いない。 では具体的にどうやって予測するのかというのが後半のテーマでここでは主にベイズ確率を用いている。通常の統計ではデーターが少ないとシグナルとノイズの見分けが難しくあまり役に立たないが、ベイズ確率の考え方では事前確立(たとえヤマカンレベルでも)新たなデーターが得られるたびに修正していく。事件が起きてからシグナルを見つけるのは簡単だ。真珠湾攻撃や911を示すシグナルはたくさんあった。飛行機を使ったテロ計画はすでにあり、アルカイダの危険性やワールドトレードセンターが過去にテロの標的になったこと、そして極め付けは1ヶ月前に747機のシュミレーターを希望したイスラム原理主義者ムサウイが飛行機訓練学校の教官の通報で逮捕されている。テロの場合も地震と同様に極めて少ない大規模のテロが被害者の多くを占めている。もし911がM8級のテロだとすればM9級のテロの可能性はどう見積もるのか。1979年から20年間に起こったテロにべき乗則を当てはめると、今後10年間にNATO諸国で死者1万人を超えるテロが起こる可能性は10%、10万人なら3%、100万人なら0.6%となる。 地震もテロも計算の元となるデータを少し変えると大きく確立が変わる。しかし、被害が大きいのはそのごく少数のM8級以上の出来事なのだ。100万人が犠牲になるテロは1600年に1回だとしても年平均にすると625人が被害に会うことになる。ブラックスワンを無視すべきではない。もしムサウイの逮捕をベイズ確率の事前確立に織り込んでいれば被害を減少させることができたかもしれない。

前から読みたかったのだがなかなか手が出せずにいた。また大作なので読み終わるまで思いのほか時間がかかってしまった。 ビッグデータに関連してモヤモヤしていたことのすべてという訳にはいかないが、半分くらいはすっきりした気がする。 どう消化するかはまだまだ課題であるが。 ちょうど私的には目先の課題として第12章　地球温暖化をめぐる「懐疑心」からいろいろと大きなヒントが得られそうである。

様々なケーススタディを使って統計的手法による予測の難しさを述べた本。理論の良しあしは個人の考えに寄ると思うので、正誤の判断はしないが、統計学・予測学に多少なりとも興味があれば面白いのではないか。結論さえ知ることができれば良いのだ、と言う人にとっては、ダラダラと屁理屈を述べているような印象をうけてしまうかも。統計・予測学の本の割には数式が少ないという印象。行動経済学をかじった人は、知っているようなことが多いと思うような内容。

大リーグの弱小チーム オークランド・アスレティックスを低予算でも統計を駆使することで割安なプレイヤーを集めることでプレーオフの常連にした『マネーボール』で有名になった野球データを分析したセイバーメトリクスPECOTAを開発。大統領予選について統計的に予測をしてWebサイトに発表した結果がほぼ的中したことでも有名。 著者は一時期、オンラインポーカーゲームにもかなり熱中していたらしい。第10章に詳しいが、カモがいると勝てる理論は納得。自分の経験でも、フリー麻雀で点5の東南では余裕を持って勝っていたけど、点10の東風では勝てなかった。この結果は、おそらくはカモがいるかどうかに依存していたんだと思う。カモは時間を掛けて楽しむのが目的なので東南に行き、腕に覚えがあってスリルやお金を求めていくと東風になる。そうなると余程でない限り場代分は確実に沈んでいく感じだった。 そのほかにも、選挙結果予測、天気予測、巨大地震予測、経済の統計的予測、プロスポーツ選手の成績予測、パンデミック発生予測、コンピュータによるチェス、ポーカーゲーム、金融市場予測、地球温暖化、テロ発生、についても統計や確立論をベースに分析していく。ノイズを取り除いて、シグナルを取り出していく。それは実に難しくて、時に人の直観に反していることもある。ベイズ理論についてもしっかりと理解しておくことが必要だし、アウトオブサンプルの影響にも意識を持つことが必要である。情報が多くなればばるほど予測の精度が上がるべきだが、実際には情報の扱いが正しくないことで、そうでないことも多い。予測の自己充足の効果だって甘く見ない方がよい。著者の論は、非常に理知的。最初の方に出てくるが、テレビに出てくるような人の予測は当たっていないことの方が多い、なぜならそれらの人は立場を持って発言をするからだと。だよね。 長いけど、面白い。いろんな意味で著者の性格があらわれているんだと思う。統計学の本がたくさん出ているがその中でもおすすめできる部類の本だと思う。

予測についてのデータサイエンティストの本。政治の選挙予測、経済から野球、テロの発生確率、天気予報、地震予知、オンラインポーカー、人工知能によるチェスのプログラム等、扱う範囲が広く、事例が多いので面白い。 ◼︎予測には向いている分野とそうではない分野がある（現時点では） 過去の観測から天気予報の精度は非常に向上しているといえるが、未だに天気予報士は予報が外れた時に怒りのメールを受け取る。 地震は発生の間隔が天気の変化より長く（予測のためのデータが圧倒的に少ない）、かつ観察対象は地中で見えづらく、複雑なため予測することは非常に難しい。確率論で「何百年に何回、どれくらいの確率論でどれくらいの規模の地震が起きる」と予想はできても、「●月●日××で地震が起きる」という予測はできない ◼︎世界はそんなに単純ではない 予測モデルを作るときに失敗しがちなのは、単一の現象など少ない指標で複雑な世界をシンプルにあわらそうとすることである。すべての事象が単純なモデルで説明できるわけではないという前提にまず立つ。 ◼︎シグナルとノイズを見分ける シグナルは、予測したい事象が発信する兆し、ノイズはシグナルをシグナルであると分からなくしてしまう雑音。 物事が起こった後に、シグナルをノイズから見分けるのはやさしいが、その前からシグナルをシグナルとして見ることは至難の技である ◼︎予測することが未来に良くも悪くも影響する 選挙戦など、候補者の支持率などが公表されることで、有権者の行動が変わることもある。カーナビシで、渋滞を抜ける最適な道路選択に従った途端、同様の指示を受けた車が集結して渋滞するなど。

『マネーボール』で有名になった野球データを分析し、選手の優秀さを予測するシステムを開発した著者。 2008年の大統領選の結果も予測したらしい。それがどれほどすごいことなのか実感はないが。 ①ノイズとシグナルを見極め、より最適な判断ができるようになるためには？ ②ベイズの定理について ① 知識としてノイズのパターンを知り、見分けられるようにする ② ベイズの定理で使うデータは、すべて事実に基づいた数字ではなく、推測や人の主観が入る。そこにこそ、優位性を見出している、のかな？ ベースボールのスカウトはいなくならないし、データや計算だけに頼るのではなく、人の経験や判断、直感などがコンピューターに勝ることは少なくない。 ただし、より適切な判断を常に行うことを人は苦手とするため、データを用いることも忘れてはならない。

映画「マネーボール」で一躍有名になってた著者による、よろす統計本。扱うテーマは、金融危機、政治、野球、天気、地震、インフルエンザ、ギャンブル、ポーカー、地球温暖化、テロ。統計データを読み取る人間のバイアスが判断を誤らせるという話には嘆息。著者自身がKPMGに勤務していた頃にオンラインポーカーに全ての余暇をつぎ込んでいた話も面白い。気温観測地点が都市部に偏在しているバイアスを排除したデータを使ってIPCCの調査結果を再検証したUCバークレーのチームが「温暖化は確認できる」と結論づけた話も面白かった。 同僚Mさんから拝借した。

前半は、リーマンショック、米国大統領選挙、天気予報、地震などの予測のダメ出しで、リーマンショックなどの分析は成る程と思いつつも後出しじゃんけんな感が否めない。後半はギャンブル、金融市場、地球温暖化、テロリズムについて考察し、ベイズの定理あるいはベイズ的思考が再三登場する。ビッグデータは因果関係より相関関係で語られることが多いですが、本書では因果関係を重要視している。バイアスを取り除き、多くの変数を探し当て適切な指標で判断する。500ページを越える冗長な長文が辛かった割にはあまりインパクトを感じられなかった。

予測と誤りについて書いた本。 電子書籍版もあるのだが、本屋でめくってみたところ図が多そうだったので パラパラめくれる紙版のほうがいいんじゃないかと思い、紙の方を購入。 はっきり言えば分厚い本の割に、内容的にはそれほど深くはない。 むしろ横断的に膨大な事例を収集してあることに価値のある本なのかなと。 用語など内容的に必ずしも正しくはないがロジカルには正しいので特に気にならない。

何らかの形で予測を仕事にする人は読んだ方がいいと思いました。 予測がなぜ当たるのか、そしてなぜ当たらないのか、について、様々な分野での事例を引きながら深く考察した本。 よい予測者になるための心構えを学びました。

データを使う場合のみならず、物事の見方を示唆する内容になっていると思う。決して読みやすい訳ではないけど、事例は面白い。予測ってそういう捉え方を前提でするもんだよね。というのが腹に落ちる。

著者は「マネーボール」でも取り上げられた、野球データ分析会社で予測モデルを立ち上げ、2008年の米大統領選では50州のうち49州の結果を的中させたデータアナリスト。 本書では天気予報、地震予知、パンデミックの拡散など多くの社会的な取り組みをケースとして、如何に成功事例などの過剰適合がノイズになり得るか、あるいはどのような波形にこそ注目されるべきなのかに迫る。 データ処理ではなく、データサイエンスが備えているべき未来に触れられるといっても過言ではない一冊。

■予測 A.予測する際は、もっと確率と不確実性を受け入れねばならない。この点において役立つのが、条件付き確率を導き出す「ベイズの定理」だ。1 つのアイデアを違う角度から考える必要性を理解し、検証する方法を得る手がかりとなる。 B.ある心理学者によれば、専門家は「ハリネズミ」と「キツネ」の2 つのグループに分類できる。 ・ハリネズミ：大きな考えを信じ、社会には基本原則があると信じている。大胆な予測をするのでよくメディアに登場するが、予測する能力はキツネより劣る。 ・キツネ：これといった原則を持たず、問題に向けて様々なアプローチを試みる。より良い予測を行うが、メディアにはなじまない。彼らは多くの問題は予測困難だという信念を持つため、自信なさ気に見えるからである。 C.学者の中には、積極的に表に出たがる人がいる。彼らは自信たっぷりにドラマチックな変化が起こると言いたがる。そうすれば注目される。つまり、ハリネズミのように大胆な予測をすれば、テレビに出やすくなるのだ。 D.キツネはテレビやビジネス、政治の世界になじまない。多くの問題は予測困難であり、不確実性には率直に向き合うべきだとする彼らの信念は、自信のなさと受け取られてしまうからだ。

レビューはブログにて http://ameblo.jp/w92-3/entry-11831906398.html

確率論的に考える。過去にしがみつかず常に軌道修正。1つの情報にとらわれず複数の視点から見る。自然科学、社会科学、スポーツ、ゲームの事例。 銀の弾丸はない。どんなテクニックや能力があるんだろうと思って読んだのですが、著者の能力が高いのではなく、すべきことをしていないだけ。

元オンラインポーカーで生計を立てていた人で、政治の予想サイトとかを作った人の本なので大変面白い。ってかギャンブラーの本なのでたまに名言が入る。刺激的に読める。でも、べき乗則に習うんだよってわかるけどさあ、どうにもならんよね。

データ狂への入門書。 シグナルを見つけ、ノイズを取り除くこと。 そして、ビッグデータ自体は何も語らない、 語るのはいつもぼくたちということ。

統計学の天才的な実務者が、諸分野の統計の使われ方についてリサーチをし、統計の限界や可能性、統計の注意点などをまとめあげた本。処世術的な統計的マインドの方法として、「ものごとの原因を決め打ちで推定せず、複数の可能性を考慮した上でそれぞれの要因の確率を考え、それをベイズの方法で新しい情報を得るとともに事前確率を修正していく方法が科学であり、より確かな予測だ」としている。彼は科学論において、斬新的な改善を信奉し、ベイズ統計こそがあるべき統計だとする。統計的な示唆のほか、教養本としても、天候、地震、選挙、テロ、株価、マクロ経済、ギャンブルなどの諸分野の実践研究や理論研究をまとめてくれており、とても読み応えがある。

分厚かったし、全てを細かく読み込んだわけではないが、とても面白かった。作者は、できるだけ精度の高い予測を行うために、シグナルを見つけ、ノイズを除去することを訴える。前半では野球、天気予報、地震、経済、インフルエンザの世界で行われている予測の実例が書かれている。それぞれの分野で予測の精度がどれだけ発達し、そしてどれだけ困難であるかが分かる。その後、ベイズ統計を元に、確率論的に予測を行っていく、チェスコンピュータ、ポーカーの実例を挙げる。また、金融市場や温暖化、テロリズムにおいて、どうして予測が成り立ちづらいのか、ノイズが除去しづらいのか、判断を誤ってしまうのかなどが語られる。今はビッグデータという言葉がバズワードになっている。しかしただいたづらにデータを集めるのではなく、シグナルとノイズを判断し、確率論の視点をもって世界と向き合うことの重要性を学んだ。

[関連リンク] ネイト・シルバーの『シグナルとノイズ』待望の邦訳が来月出るぞ - YAMDAS現更新履歴: http://d.hatena.ne.jp/yomoyomo/20131010/signalandnoise