大規模言語モデルは新たな知能か ChatGPTが変えた世界
岡野原大輔(著)
/岩波科学ライブラリー
作品情報
対話型サービスChatGPTは驚きをもって迎えられ,IT企業間で類似サービスをめぐる激しい開発競争が起こりつつある.それらを支える大規模言語モデルとはどのような仕組みなのか.何が可能となり,どんな影響が考えられるのか.人の言語獲得の謎も解き明かすのか.新たな知能の正負両面をみつめ,今後の付き合い方を考える.
もっとみる
商品情報
- 著者
- 岡野原大輔
- ジャンル
- サイエンス・テクノロジー - 工学
- 出版社
- 岩波書店
- 掲載誌・レーベル
- 岩波科学ライブラリー
- 書籍発売日
- 2023.06.20
- Reader Store発売日
- 2023.07.05
- ファイルサイズ
- 7.5MB
- ページ数
- 140ページ
以下の製品には非対応です
この作品のレビュー
平均 4.2 (36件のレビュー)
-
どこまでいっても、エンドレスな連想ゲーム
大規模言語モデルの登場によって、AIによる自動化が進むと多くの人が仕事にあぶれるようになると危惧されているが、著者は逆だと考える。
自動化できない分野の仕事は残るし、何より効率化によって、こなせる仕…事が増えれば増えるほど、全体としての総量は増えていくわけだがら、仮に全体の1割だけが人の仕事として残った場合でも、量は以前の数十倍に増えているわけだから、結局は同じ規模の分だけ仕事が残ることになり、あぶれないだろうと。
本書を読んで面白いと思ったのはこの部分だけで、この分野の解説書としては、スティーヴン・ウルフラムの『ChatGPTの頭の中』の方がわかりやすかった。
大規模言語モデルはこれまでになく膨大な量の知識をもっているが、例えばすでにデータとして取り込み済みの本も、本それ自体の形でデータが存在しているわけではない。
人間の中でいろんな記憶が混ざり合い、新しい事実を作り出してしまうように、大規模言語モデルも、この本の内容を出力しようとして、まったく新しい、言ってみればデタラメの情報を生成することがある。
この「幻覚」と呼ばれる現象を解決する方法は簡単ではない。
学習の仕組み上、内部では頻度や確率を拾っているだけで、意味を理解したり吟味しているわけではないため、新しく取り込まれた学習データで上書きされたり破壊されたりしてしまう。
この幻覚を抑制する手法がないかというと1つだけある。
それは、記憶容量を大きくすることだ。
データを増やし、モデルも大きくするなどスケールをデカくしていけばいい。
そうすれば生成できるデータの品質は驚くほど上がると語る。
それはそうだろう。
内部のサンプル数が少ないより大きい方が、確率の頻度を正しく反映できる。
だけど、「意味がある」ことを「高頻度」と紐付けしている事実は変わらないわけで、AI自身が人間のように意味を理解することが出来ない限り、不断のデータ参照と学習し直しが欠かせない。
その証拠に人が学習するより機械学習の方が圧倒的に物覚えが悪く、人間のそれよりも数百万倍近くのデータを食わせてやらないとまとも動いてくれない。
わずかでも自分で考えるとか、理解するということがないと、ここまで学習効率が悪いのだ。
一応、内部に注意機構を設けて、集めるデータの選別は行なっている。
出ないと大量のデータに埋もれてしまうからだ。
著者の説明では、ディープラーニングにとってとりわけ重要だったのはこの部分で、データを多層的に処理し、注意対象も前層で途中処理中のものも含めて、人間のような短期・長期記憶に似た方法で、内部でフィードバック処理することで、より精度の高い結果を得ることができたとしている。
しかもこうしたフィードバックにより、通常は固定であるはずのパラメーターも適宜改変して、全く新たな事象の解決も可能になったのだとか。
最終的には、ラベラーという人間によるフィードバックが待っている。
出力された結果に、偏見や攻撃性が含まれていないかを評価し、改善を促すのだ。
先日、グーグル新しい対話型AIであるGeminiが起こした事故も想起して考え合わせるとなかなか香ばしい。
ナチス時代のドイツ軍兵士として、黒人やアジア人の画像が大量に生成されたというアレである。
機械学習の基本はテスト前の一夜漬けの丸暗記と同じで、問題と正解の答えのペアだけを「過学習」で詰め込んだ状態から、まだ学習していない新しいデータにも対応できるよう「汎化」能力を高めてはいる。
しかし、こうやって予測して生成された言語や文が仮に正しかったとしても、その意味を本当に理解しているかは結局のところわからないし、多分してないだろう。
人間の言語理解の仕組みもよくわかっていないのだから、AIの方からもアプローチしていけば、言語処理の理解が進むと著者は考えるが、どうか。
さらに著者は、実験の結果を現象学的に解釈すれば、言語モデルは意味や構造を理解しているという立場。
最初は思い切って言語の意味を捨て、確率を使っての処理に特化して突き進んでいたら、いまや文章の中から予測に役立つ情報も扱えるようになって、結果として文も生成し理解できるようになったとする。
つまりは、大規模言語モデルは新たな知能だと言える、というのが結論のようだ。
そうかなぁ。
言語モデルを大規模化させることで、言語理解が進み、やがては人のように話せるようになると信じているが、錯覚にすぎない。続きを読む投稿日:2024.03.05
-
大規模言語モデルの現状、展望、問題点が平易ではあるが、かなり広く深く書かれている。
著者は若い起業家であり、数式に頼らずにうまく概念を説明している。事例もビジネスの現場の最先端から引用されている。この…辺りが学者が書いたものとは全く異なり、かなりリーダブルな本となっている。続きを読む投稿日:2024.04.02
新刊自動購入は、今後配信となるシリーズの最新刊を毎号自動的にお届けするサービスです。
- ・発売と同時にすぐにお手元のデバイスに追加!
- ・買い逃すことがありません!
- ・いつでも解約ができるから安心!
※新刊自動購入の対象となるコンテンツは、次回配信分からとなります。現在発売中の最新号を含め、既刊の号は含まれません。ご契約はページ右の「新刊自動購入を始める」からお手続きください。
※ご契約をいただくと、このシリーズのコンテンツを配信する都度、毎回決済となります。配信されるコンテンツによって発売日・金額が異なる場合があります。ご契約中は自動的に販売を継続します。
不定期に刊行される「増刊号」「特別号」等も、自動購入の対象に含まれますのでご了承ください。(シリーズ名が異なるものは対象となりません)
※再開の見込みの立たない休刊、廃刊、出版社やReader Store側の事由で契約を終了させていただくことがあります。
※My Sony IDを削除すると新刊自動購入は解約となります。
お支払方法:クレジットカードのみ
解約方法:マイページの「予約・新刊自動購入設定」より、随時解約可能です続巻自動購入は、今後配信となるシリーズの最新刊を毎号自動的にお届けするサービスです。
- ・発売と同時にすぐにお手元のデバイスに追加!
- ・買い逃すことがありません!
- ・いつでも解約ができるから安心!
- ・優待ポイントが2倍になるおトクなキャンペーン実施中!
※続巻自動購入の対象となるコンテンツは、次回配信分からとなります。現在発売中の最新巻を含め、既刊の巻は含まれません。ご契約はページ右の「続巻自動購入を始める」からお手続きください。
※ご契約をいただくと、このシリーズのコンテンツを配信する都度、毎回決済となります。配信されるコンテンツによって発売日・金額が異なる場合があります。ご契約中は自動的に販売を継続します。
不定期に刊行される特別号等も自動購入の対象に含まれる場合がありますのでご了承ください。(シリーズ名が異なるものは対象となりません)
※再開の見込みの立たない休刊、廃刊、出版社やReader Store側の事由で契約を終了させていただくことがあります。
※My Sony IDを削除すると続巻自動購入は解約となります。
お支払方法:クレジットカードのみ
解約方法:マイページの「予約自動購入設定」より、随時解約可能ですReader Store BOOK GIFT とは
ご家族、ご友人などに電子書籍をギフトとしてプレゼントすることができる機能です。
贈りたい本を「プレゼントする」のボタンからご購入頂き、お受け取り用のリンクをメールなどでお知らせするだけでOK!
ぜひお誕生日のお祝いや、おすすめしたい本をプレゼントしてみてください。※ギフトのお受け取り期限はご購入後6ヶ月となります。お受け取りされないまま期限を過ぎた場合、お受け取りや払い戻しはできませんのでご注意ください。
※お受け取りになる方がすでに同じ本をお持ちの場合でも払い戻しはできません。
※ギフトのお受け取りにはサインアップ(無料)が必要です。
※ご自身の本棚の本を贈ることはできません。
※ポイント、クーポンの利用はできません。クーポンコード登録
Reader Storeをご利用のお客様へ
ご利用ありがとうございます!
エラー(エラーコード: )
ご協力ありがとうございました
参考にさせていただきます。