データサイエンス入門
竹村彰通(著)
/岩波新書
作品情報
ビッグデータの時代だ.さまざまな分野の研究がデータ駆動型に変わってきている.ビジネスでのビッグデータ利用も人工知能の開発とあいまって盛んだ.データの処理・分析に必要な情報学(コンピュータ科学)と統計学の基本知識をおさえ,またデータから新たな価値を引き出すスキルの学び方を紹介する.待望の入門書.
もっとみる
商品情報
- シリーズ
- データサイエンス入門
- 著者
- 竹村彰通
- 出版社
- 岩波書店
- 掲載誌・レーベル
- 岩波新書
- 書籍発売日
- 2018.04.20
- Reader Store発売日
- 2018.06.21
- ファイルサイズ
- 3.3MB
- ページ数
- 192ページ
以下の製品には非対応です
この作品のレビュー
平均 3.5 (24件のレビュー)
-
データサイエンス入門
著:竹村 彰通
岩波新書 新赤版 1713
アメリカの主な大学には統計学科が存在する。中国でも最近は同様の状況である
これに対して、日本の大学には統計学部や統計学科がなかった。…
日本におけるデータサイエンティスト育成には、初等中等教育における統計教育やデータサイエンス教育の充実からはじまって企業内人材の再教育まで、あらゆるレベルの教育が必要である。
ビッグデータと統計について、広く紹介する書と理解しました
気になったのは、以下です。
■ビッグデータの時代
・データサイエンスの3要素とは、①データ処理、②データ分析、③価値創造 である
・科学的研究のパラダイム
第1)自然を経験的に理解する研究方法 天動説
第2)理論と実験との組み合わせによる研究方法 ニュートン力学
第3)コンピュータの発展によるシミュレーションよる研究方法
第4)ビッグデータから新たな、科学的発見を見出す研究方法 データ中心科学、データ駆動型化学
・2つの通信技術 高速な5Gと、低速なLPWA(IoT向け)
・データサイエンティストの台頭の背景
データ処理とデータ分析手法の進展
機械学習や人工知能の進展
⇒質の良いデータが大量に得られるいることが条件
・ビッグデータを支えるのは、大数の法則
・フィッシャー 統計的モデル 正規分布などの確率分布をもちいて、データのばらつきや誤差を定型化する手法 データにあうパラメタを選ぶことをパラメタの推定とよび、機械学習では、モデルの学習という
・フィッシャー 実験計画法
・日本では工業製品の品質向上に、統計的管理や、実験計画法がつかわれた
■データとは何か
・時間をおって計測されるデータ 時系列データ
・1時点でさまざまな個体に関して得られたデータ クロスセクションデータ
・表計算ソフトのシートに入力、整理できるデータ 構造化データ
・テキスト、音声、画像、動画 シートに入力できないデータ 非構造化データ
・非構造化データは、生のままでは処理できないので、元のデータから特徴のある数値を求めるか、決めなければならない
・データの中で不要と考えられ部分 ⇒ ノイズ
・データの中に含まれる傾向やパターン ⇒ シグナル
・観測しにくいデータを観測するには、コストがかかるが、そのコストに見合うだけの価値があるかが問題
・ウェブページのA/Bテスト デザインA、デザインBの2つを用意して、デザインをランダムに表示することで、どちらがクリック率がいいかなどのテストをするもの インターネットマーケッティングの代表的手法
・データのばらつき ⇒ ヒストグラムで表したもの分布、その曲線を密度関数、確率密度関数という
・2変数間の傾向 ⇒ 相関 ⇒ 直線であらわしたもの 回帰直線 ⇒ 回帰
・予測を目的として統計的モデルをたてること 予測的モデリング という
・人を層別に分類することを、セグメンテーションという
・さらに個人ベースまで細分化すること パーソナライゼーションという
・不確実性を扱う理論 確率論
⇒起こりうる結果が最初から網羅されている
⇒それぞれの結果の確率が与えられている の2条件がなり立てば有効
・大量のデータ解析から何らかの有用な知見が得られられないかを探索することを、データマイニングという
■データに語らせる
・BIツールで、データを可視化したら、地図データと組み合わせて表示する
・データを分析する前に、整理する作業を、データクレジングという
データの表記の揺れ 2021/1/1、2021年1月1日 などを書式統一すること
異常値、外れ値の排除
欠測値 データがはいっていない
項目の定義の変更 など
・データの分析、モデリング
回帰分析
判別分析
クラスタ分析
・機械学習 目的変数がある場合を、教師あり学習といい、ない場合を、教師なし学習という
・分析ツール エクセルをはじめ、R,SAS,Python
・ビッグデータの処理 Hadoop 分散処理フレームワーク
・非構造化DB NoSQL
・深層学習 DNN 深層学習用のマイクロプロセッサ NVIDIAが出しているGPU
現在の深層機械学習をつかった、AIの中心である
目次
はじめに
Ⅰ ビッグデータの時代
1 データサイエンスの登場
2 台頭するデータサイエンティスト
3 統計学の流れ
4 コンピュータとインターネットの発展
Ⅱ データとは何か
1 定義と種類
2 コストと価値
3 ばらつきと分布
4 相関と因果、回帰
5 データに基づく意思決定と不確実性
6 取り扱い上の倫理
Ⅲ データに語らせる──発見の科学へ向けたスキル
1 データサイエンスのスキルの学び方
2 データ処理と可視化
3 データの分析とモデリング
4 ビッグデータの処理と分析
5 人工知能とデータサイエンス
付録1 統計学の歴史の概要
付録2 コンピュータの歴史の概要
おわりに
あとがき
参考文献
ISBN:9784004317135
出版社:岩波書店
判型:新書
ページ数:192ページ
定価:880円(本体)
発売日:2018年04月20日第1刷続きを読む投稿日:2024.04.03
なぜ読もうと思ったのか
・データサイエンスという言葉の意味を知りたかった
・調査項目やデータ分析設計に携わる機会があり、データとは何かを改めて知りたかった
・データサイエンスの基礎は「情報学」と「統…計学」+「数学」。基礎の学び方は講義を聞いたり本をじっくり読むなど伝統的なやり方が良い。基礎に関しては『統計検定2級』の受講も効果的
・データサイエンスを情報学、統計学、価値創造の3つの要素を統合する分野と位置付ける。
感想
・データサイエンスとは何かといった概要を知れる本。実用書ではない。
・統計に仕事で携わっているが、統計の歴史については無知であった。統計の起源や日本での統計調査の歴史を知れ、通常の仕事に深みが出そう。続きを読む投稿日:2023.09.01
新刊自動購入は、今後配信となるシリーズの最新刊を毎号自動的にお届けするサービスです。
- ・発売と同時にすぐにお手元のデバイスに追加!
- ・買い逃すことがありません!
- ・いつでも解約ができるから安心!
※新刊自動購入の対象となるコンテンツは、次回配信分からとなります。現在発売中の最新号を含め、既刊の号は含まれません。ご契約はページ右の「新刊自動購入を始める」からお手続きください。
※ご契約をいただくと、このシリーズのコンテンツを配信する都度、毎回決済となります。配信されるコンテンツによって発売日・金額が異なる場合があります。ご契約中は自動的に販売を継続します。
不定期に刊行される「増刊号」「特別号」等も、自動購入の対象に含まれますのでご了承ください。(シリーズ名が異なるものは対象となりません)
※再開の見込みの立たない休刊、廃刊、出版社やReader Store側の事由で契約を終了させていただくことがあります。
※My Sony IDを削除すると新刊自動購入は解約となります。
お支払方法:クレジットカードのみ
解約方法:マイページの「予約・新刊自動購入設定」より、随時解約可能です続巻自動購入は、今後配信となるシリーズの最新刊を毎号自動的にお届けするサービスです。
- ・発売と同時にすぐにお手元のデバイスに追加!
- ・買い逃すことがありません!
- ・いつでも解約ができるから安心!
- ・優待ポイントが2倍になるおトクなキャンペーン実施中!
※続巻自動購入の対象となるコンテンツは、次回配信分からとなります。現在発売中の最新巻を含め、既刊の巻は含まれません。ご契約はページ右の「続巻自動購入を始める」からお手続きください。
※ご契約をいただくと、このシリーズのコンテンツを配信する都度、毎回決済となります。配信されるコンテンツによって発売日・金額が異なる場合があります。ご契約中は自動的に販売を継続します。
不定期に刊行される特別号等も自動購入の対象に含まれる場合がありますのでご了承ください。(シリーズ名が異なるものは対象となりません)
※再開の見込みの立たない休刊、廃刊、出版社やReader Store側の事由で契約を終了させていただくことがあります。
※My Sony IDを削除すると続巻自動購入は解約となります。
お支払方法:クレジットカードのみ
解約方法:マイページの「予約自動購入設定」より、随時解約可能ですReader Store BOOK GIFT とは
ご家族、ご友人などに電子書籍をギフトとしてプレゼントすることができる機能です。
贈りたい本を「プレゼントする」のボタンからご購入頂き、お受け取り用のリンクをメールなどでお知らせするだけでOK!
ぜひお誕生日のお祝いや、おすすめしたい本をプレゼントしてみてください。※ギフトのお受け取り期限はご購入後6ヶ月となります。お受け取りされないまま期限を過ぎた場合、お受け取りや払い戻しはできませんのでご注意ください。
※お受け取りになる方がすでに同じ本をお持ちの場合でも払い戻しはできません。
※ギフトのお受け取りにはサインアップ(無料)が必要です。
※ご自身の本棚の本を贈ることはできません。
※ポイント、クーポンの利用はできません。クーポンコード登録
Reader Storeをご利用のお客様へ
ご利用ありがとうございます!
エラー(エラーコード: )
ご協力ありがとうございました
参考にさせていただきます。