【感想】ＮＯＩＳＥ　上　組織はなぜ判断を誤るのか？

面白かった。
ファースト&スローも良かったが、人間の判断の曖昧さ、将来の予測、ノイズやバイアスなどは、自分が判断する時に気をつけなければならない。
最初の発言者に、意見が引っ張られると言うことは、経験…的にある。
尺度ノイズについてはもっと勉強しないといけない。続きを読む

本書は、ノーベル経済学賞を受賞したダニエルカーネマンの著書で、人間の意思決定のばらつきを取り扱っています。

人間の意思決定は、ノイズ(ばらつき)とバイアスに影響されています。
バイアスについては、前…著のファスト&スローで解説されており、本書では、ノイズについて解説されています。

私達の身の回りには、様々な判断のばらつきが転がっています。
人事評価、医師の判断、裁判の量刑‥同じような事案の裁判でも、裁判官により刑期が異なったり、同じ裁判官でも時間や天気により刑期が異なったりするそうです。

上巻では、どんな時にばらつきがあるのか、下巻ではばらつきの原因とその対策を解説してくれています。

判断のばらつきを抑えるには、

複数の独立した判断を統合する。
統計的に考える。
判断を構造化する。
評価基準を設ける。

等があるそうです☺

大事な判断には、バイアスもノイズも除いた正しい判断をしたいと思う一方、そこがまた人間味があるところなのかも、と思ったりも…続きを読む

【感想】
本書は行動経済学の世界的ベストセラーである「ファスト＆スロー」の著者、ダニエル・カーネマンによって書かれた意思決定論である。「ヒューリスティクス」や「システム1」など、ファスト＆スローに出て…きた概念も登場するため、事実上の続編といってもよいかもしれない。

本書のテーマは「ノイズ」という概念だ。ノイズとは何かを判断する際、誤謬や一貫性の欠けにより、不規則に目標からズレてしまうことを指す。いわゆる「ばらつき」である。これに対して、一定の規則性をもって目標からズレていることを「バイアス」と呼ぶ。従来の組織論の中で言及されていたのはもっぱら「バイアス」であり、例えば人種や性別といった無関係な要素を不当に連関して評価しがちであることが問題視されていた。これに比べて、「ノイズ」は「バイアス」と同程度に重要なファクターであるが、あまり取り上げられていない。

読者の中には、「専門家が何百回も下す判断の中にそんなに間違いが含まれているのか？」や、「裁量の余地があまり残されてない分野（法に基づく裁判など）について、あらためて問題提起するほどノイズは発生しているのか？」という疑問を持つ人がいるかもしれない。だが、これは間違いなく存在するし、しかも相当に深刻だ。

例えば、民間の保険会社にノイズ検査を実施したケース。何人かの保険の引受担当者と査定担当者に、同一のケースの保険申込みの査定をしてもらった。
結果、引受担当者間の見積額の格差の中央値は55％だった。一人が保険料9,500ドルと見積もったとすると、もう一人は1万6,700ドルと見積もったことになる。査定担当者のほうは、査定額の格差の中央値は43％だった。この道何十年のベテラン同士が比較した結果が「保険料1.5倍」なのだから、もはやヒューマンエラーでは済まされないレベルだ。

また、ノイズにも複数の種類があり、レベルノイズ（判断者ごとの判断の平均的なレベルのばらつき）とパターンノイズ（特定のケースにおける判断者の反応のばらつき）が存在する。レベルノイズの二乗とパターンノイズの二乗を合計するとシステムノイズの二乗に等しくなる。これらももちろん、保険や法律といった分野にたくさん存在している。
例えば保釈審査。最も寛大な裁判官（保釈承認率の高いほうから上位20％）は被告の83％の保釈を認めたが、最も厳格な裁判官（同下位20％）は61％にとどまった。同じ被告に対しても、裁判官の間で判断のばらつきが大きく、ある判事がリスクは低いとみなした被告を、おおむね寛大な別の判事がハイリスクだと考えたりする。これはあきらかにパターンノイズが存在する証拠だ。
よりくわしい分析を行ったところ、判事間の判断のちがいの67％は事案に由来し、33％はシステムノイズだった。システムノイズにはレベルノイズ（裁判官固有の寛大さ加減）も含まれるものの、79％はパターンノイズであることが判明している。
こうした「裁判官自身の価値基準」+「事案ごとのブレ」に加えて、「機会ノイズ」という要因も、エラーを生じさせる。機会ノイズとは単に「何となくブレる」ということだ。信じられないかもしれないが、裁判官は贔屓の地元チームが勝った次の日のほうが、負けた次の日よりも寛大な判決を下しやすいという。一見どうでもいいような要因（晴れの日、空腹時、誕生日）も、人間の判断を歪める原因になる。

こう見ていくと、もはや人間に判断させないほうがマシなんじゃないかと思うかもしれないが、実はその通りなのだ。機械を使い、多少いい加減なモデルを組み立てて自動実行したほうが、人間が熟慮して下した判断よりもよい成績を残すのだ。
機械的手法のうち、倹約モデルと呼ばれる超シンプルな予測モデル（予測変数を2個しか使わないモデル）であっても、機械学習を使った高度な予測モデルであっても、人間の専門家の判断より正確だったことが、実験で分かっている。予測変数にあなた独自の解釈をプラスしても、予測精度が高くなるどころか悪化するという。残酷なことに、「人間らしい判断」が実際の選好に与えるのは悪影響だけであり、たまにいい結果をもたらしても――例えばとある外れ値を見つけることができたとしても――それは誤差の範囲に吸収されてしまうのだ。
―――――――――――――――――――――――
以上がおおまかな本書のまとめである。
読む前は、テーマがテーマだけに複雑な本だと思っていたが、実際には非常にシンプルで、具体例も多く、内容がスッと頭に入ってきた。行動経済学の本だが数式やグラフは全くないため、初学者でも理解しやすいのが嬉しい。
上巻と下巻に分かれているが、上巻は「あらゆる判断のもとにはノイズが発生する」ことの説明に終始し、下巻で「ノイズを考慮してよりよく判断するためにはどうしたらいいか」という解決策を提示しているようだ。上巻だけでも非常に面白かったので、引き続き下巻も読み進めてみたい。

―――――――――――――――――――――――
【まとめ】
０　まえがき
バイアス…一定の規則性をもって目標（基準点）からズレていること。
ノイズ…不規則に目標（基準点）からズレていること。いわゆる「ばらつき」。

判断のエラーを理解するには、バイアスとノイズの両方を理解することが必要になるし、ときにはノイズのほうが重大な問題であることもめずらしくない。ところがヒューマンエラーを研究者が論じるときも、公的機関や企業が問題にするときも、ノイズはほとんど意識されない。いつも主役はバイアスである。


１　判断あるところにノイズあり
ともに前科のない二人の男性が偽造小切手の現金化で有罪になった。金額は、一人は58.40ドル、もう一人は35.20ドルである。下された量刑は、前者は懲役15年、後者は30日だった。法律というルールに基づいて判断を下す職業であっても、明らかに乖離している。
1974年に連邦裁判所判事のフランケルが中心になって行ったノイズの実態調査では、架空の事案を数種類用意し、さまざまな地方の裁判官50人に各事案の被告人の量刑を決定するよう求めた。その結果わかったのは「判断が一致することのほうがめずらしい」ということであり、量刑のばらつきは「度肝を抜かれるほどだった」。たとえばヘロインの売人の量刑は懲役1年から10年の間でばらつきがあった。銀行強盗は5年から18年である。恐喝では、最も軽くて懲役3年罰金なし、最も重いと懲役20年プラス6万5,000ドルの罰金だった。とりわけ驚愕させられるのは、20件中16件では、そもそも刑務所に送るべきかどうかで意見が一致しなかったことである。

民間の保険会社にも同様のノイズ検査を実施した。何人かの保険の引受担当者と査定担当者に、同一のケースの保険申込みの査定をしてもらったのだ。
結果、引受担当者間の見積額の格差の中央値は55％だった。一人が保険料9,500ドルと見積もったとすると、もう一人は1万6,700ドルと見積もったことになる。査定担当者のほうは、査定額の格差の中央値は43％だった。しかもこれらの数字はあくまで中央値だった。つまり半分のケースでは、格差はもっと大きかったのだ。

理想的にはつねに同一であるべき判断に、不可避的に入り込む好ましくないばらつきを「システムノイズ」という。システムノイズはシステムに一貫性や統一性が欠けているために生じ、不正義の蔓延、金銭的コストの増大をはじめ、さまざまなエラーを引き起こす。
システムノイズの決定的な特徴は、望ましくないことである。好みやアイデアといった要素にはばらつきや多様性は歓迎すべきものだ。一方で、システムノイズはシステムの問題であり組織の問題であって、市場の問題ではない。同等の資格や知識を持つ専門家集団の判断にばらつきがあるのは、大問題である。そのようなノイズの存在は、システム自体の信頼性を著しく傷つける。


２　ノイズを測るものさし
本書では判断を評価するにあたり、実際の結果と照合する方法と、判断に至るまでのプロセスの質を評価する方法の二つに焦点を合わせる。検証可能な判断の場合、同じケースであっても、評価方法次第で結論がちがってくる可能性がある点に注意されたい。有能で注意深いエコノミストが精度の高いツールとテクニックを使って予測しても、ある四半期についてインフレ予想をまちがうことは大いにありうる。逆に一つの四半期だけなら、チンパンジーのダーツ投げで偶然に当たることだってありうるのだ。
じつに間の悪いこの問題を解決するために、意思決定の研究者は、一回限りのケースでは結果ではなくプロセスに注目せよとアドバイスする。だが現実にはプロセスが重視されることはあまりない。プロフェッショナルが下す判断の場合、自分の下した判断が検証可能な結果にどれだけ近かったかが重視される。
要するに検証可能な判断の場合、大方の人が予測を結果にぴたりと的中させたいと思っている。そして実際にやっているのは、検証可能かどうかにかかわらず、自分の判断が証拠や事実とそこそこ一致したときに内から発信される「もうよし！」のシグナルを聞くことなのである。しかしほんとうにやらなければならないのは、そんなことではない。規範的に言うなら、類似のケース全体について精度の高い判断が下せるような判断プロセスを確立することである。


３　誤差方程式
バイアスとノイズが誤差に果たす役割は、誤差方程式と呼ばれる二つの方程式で表すことができる。第一の式は、単独の計測値で表された誤差をバイアス（平均誤差）とノイズによる誤差に分解する。
●誤差（単独の計測値）＝バイアス＋ノイズ

第二の方程式は、平均二乗誤差（MSE）――個々の測定誤差の二乗を平均した値――を構成要素に分解したものである。
●平均二乗誤差（MSE）＝バイアスの二乗＋ノイズの二乗

この式は、「バイアスとノイズのどちらを優先して減らすべきか？」という疑問に答えを与えてくれる。互いは独立した要素であり、どちらを減らしても全誤差に対する寄与度は（互いの重みが等しいとすれば）同じである。ただし、バイアスがノイズより大きくても、全誤差への寄与度はノイズと同程度に収まる。通常、基準値を大幅に外れるバイアスはそうそうないと考えれば、ノイズのほうがバイアスより大きい状況があっても不思議ではない。

誤差方程式と、そこから導き出した結論は、全誤差の計測値としてMSEを使うことが前提になっている。このルールは、純粋な予測的判断には適切に当てはまる。純粋な予測的判断とは、予想や見積もりなど、できるだけ正確（バイアスを最小化）且つばらつきなく（ノイズを最小化）真の値に近づけることを目的とするものをいう。
ただし誤差方程式は、評価的判断には当てはまらない。なぜなら、真の値に左右される誤差というものが、評価的判断にはなじまないからだ。そのうえ、仮に誤差を特定できたとしても、そのコストはまずもって対称ではないし、二乗に正確に比例するということもない。


４　ノイズの種類
・レベルノイズ…判断者ごとの判断の平均的なレベルのばらつき（たとえば厳しめの裁判官と甘めの裁判官）。
・パターンノイズ…特定のケースにおける判断者の反応のばらつき（再犯者に厳しい、共犯者に甘い、など）。
・機会ノイズ…一過性の原因による判断のばらつき（今日はたまたま天気がよかった、判断者の虫の居所が悪かった、など）。

●システムノイズの二乗＝レベルノイズの二乗＋パターンノイズの二乗

量刑調査では、レベルノイズとパターンノイズはおおむね等しいことがわかった。だがパターンノイズには一過性の原因による機会ノイズが含まれている可能性が高く、機会ノイズは偶発的なランダムエラーとして扱う必要がある。


５　人間の判断は正確か？
臨床的判断…患者の訴える症状や、医師が自分の感覚などに基づいて判断すること。要は人間的判断のこと。

臨床的予測と機械的予測の両方が可能な場合、果たして人間による判断は単純な数式にまさるのか？
1954年にミネソタ大学の心理学教授ポール・ミールがある研究結果を発表した。ミールは、学業成績や精神科の診断などに関する臨床的予測と統計的予測を対比した20の調査報告を分析・評価し、一般に単純な機械的ルールのほうが人間の判断よりすぐれていると結論を下したのである。

予測的判断には妥当性の錯覚がついて回る。というのも予測は二段階に分けて行われるのに、人間はその二つをごちゃまぜにしているからだ。第一段階では与えられた情報に基づいて現時点の評価を行い、第二段階で将来の結果を予測する。人間が自信たっぷりにやっているのは、たいていの場合、二人の候補のうちAのほうが現在よさそうに見えるという評価である。にもかかわらず、Aのほうが将来もよいと言ってしまう。だが、それとこれとは別物だ。
一方、機械的予測（線形回帰モデル）では、同一のルールが全てのケースに適用され、予め決められた最適の重みがつけられる。

では、何故人間の判断のほうが機械に劣ってしまうのか。

人間の決定的な弱点の一つは、ノイズが多いことである。
大学院の成果を予測するという研究がある。まず98人の実験参加者は、大学院生90人の10項目の評価に基づき、将来の成績平均点（GPA）を予測した。次にこの予測に基づいて、実験主催者が各参加者の判断の線形回帰モデルを構築する。その後、このモデルで予測を行い、本人の予測と照合する。つまり、「あなたの予測をもとに粗雑なモデルをつくり、あなたの予測の代わりをさせた」のだ。
すると、98人の実験参加者全員について、モデルのほうが予測精度が高かったという結果が出た。数十年後に50年分の研究報告の評価が行われたが、このときもまた判断者モデルの予測精度は、そのもとになった本人を上回ることが確認された。

なぜこんなことが起こるかというと、人間の判断にはパターンノイズや恣意的なエラーが常に介入しており、それを排したモデルのほうが正確だったからである。もっと言えば、もし判断において複雑で微妙で「人間的」なルールを用いていたとしても、それはノイズの悪しき影響を埋めるには至らないということだ。複雑で微妙なルールに利点があるとしても、それはあっという間に誤差に飲み込まれてしまう。

また、膨大な量のデータが存在すると、高度なAIは予測に有効なパターンをすぐさま見つけ出し、単純なモデルを上回る予測精度を示す。このようなAIモデルは、単にノイズがないだけでなく、多くの情報を活用する能力（明らかな外れ値を検出するなど）の点でも人間より優位に立つ。


６　ヒューリスティクス
ヒューリスティクス…人間は困難な質問に直面したとき、簡単な質問に便宜的に置き換えて答えを出すこと。

ヒューリスティクスを起動させるのは、だいたいにおいて速い直感的思考の「システム1」である。システム1はとても役に立つし、まあまあ適切な答えをひねり出すことができる。だがときに、次のようなバイアスを生じさせることもある。
・置き換え…難しい判断を簡単な判断に置き換えてしまい、本来判断すべき情報に正しい重み付けをしない。
・結論バイアス…はじめから結論ありきで物事を決め、あとから選択的に証拠を集めて都合よく解釈してしまう。
・過剰な一貫性…第一印象に引きずられ、後から異なる情報が出てきても、一貫性を保持し続けてしまう。

心理的バイアスは、多くの人に同じバイアスがかかっている場合には統計的バイアスを生む。だがそれぞれにちがう方向にバイアスがかかっていれば、システムノイズを生むことになる。続きを読む

人間の判断には「ばらつき」が存在するという話。それがノイズ。判断のエラー（誤差）にはバイアスもあるがノイズもある。様々な判断にはノイズが生じているが一般的にあまり気づかれていない。ノイズは，裁判官の量…刑の判断，人事，成績評価，医者の診断など色々な判断に生じるという。そうしたノイズについて明らかにしようとしているのが上巻の内容。

自分自身，色々なところで判断することがあるけど，ノイズまみれの判断をしてるかも。気分や天候などによって生じる機会ノイズや他人の意見に引きずられるカスケード効果とか…。

統計学の知識がもっとあると，もっと理解ができるかも。

ノイズを含んだ人間の判断よりも統計的手法を用いた予測の方が，精度が高いらしい。簡単な統計モデルから機械学習（アルゴリズム）まであるけど，どれも人間の判断に勝つみたい。

人間には機械学習による判断に抵抗感を感じる。また，人間は直感による判断をしたときに，「よい判断をした」，「これでよし」といった満足感や達成感という報酬を得ているらしく，その報酬を上回るくらい機械学習による判断が確実になれば，機械学習による判断を信じるようになるという。現状は人間の判断よりも少し上回る程度で，直感の判断による満足感という報酬を上回っていない。だから，しばらくはAIの機械学習による判断は拒絶されるっぽい。

機械学習による判断のところは，ユーバンクスの『格差の自動化─デジタル化がどのように貧困者をプロファイルし，取締り，処罰するか』のことを思い出した。社会福祉の分野で機械学習による判断を取り入れている事例を紹介し，不利な立場にいる人びとがその判断で余計に苦境に立たされる話であったが，人間の判断のばらつきを指摘する本書を踏まえてどう考えればいいか。

「アルゴリズムがほど完璧と言える水準に達しない限り（そして絶対に達するはずがないと客観的無知が言い張る限り），人間の判断がアルゴリズムに置き換えられることはないだろう。だからこそ，人間の判断の質を向上させなければならないのである。」（211ページ）と書いてあったので，下巻にノイズの減らし方が書いてあることを期待したい。続きを読む