データサイエンスとは

データ サイエンスの分野は日々拡大し、人気が高まっているようです。 LinkedIn によると、データサイエンス 2017 年に最も急速に成長した職種の XNUMX つ そして 2020 年、Glassdoor はデータ サイエンスの仕事を次のようにランク付けしました。 米国内の XNUMX つの最高の仕事の XNUMX つ。 データサイエンスの人気が高まっていることを考えると、この分野に興味を持つ人が増えているのは当然のことです。 データサイエンスとは正確には何でしょうか?

データ サイエンスを定義し、ビッグ データと人工知能がこの分野をどのように変えているかを探り、いくつかの一般的なデータ サイエンス ツールについて学び、データ サイエンスの例をいくつか調べて、データ サイエンスについて学びましょう。

データサイエンスとは

データ サイエンス ツールや例を検討する前に、データ サイエンスの簡潔な定義を取得する必要があります。 データサイエンス.

「データ サイエンス」の定義は、実際には少し難しいです。この用語は、調査や分析のさまざまなタスクや方法に適用されるからです。 「科学」という用語が何を意味するのかを思い出すことから始めましょう。 科学は、自然のプロセスに対する人間の理解を促進することを目的とした、観察と実験を通じた物理的および自然界の体系的な研究です。 その定義において重要な言葉は「観察」と「理解」です。

データ サイエンスがデータのパターンから世界を理解するプロセスである場合、 データサイエンティストの責任 データを変換し、分析し、データからパターンを抽出することです。 言い換えれば、データ サイエンティストはデータを提供され、さまざまなツールやテクニックを使用してデータを前処理し (分析の準備を整え)、意味のあるパターンを得るためにデータを分析します。

データ サイエンティストの役割は、従来の科学者の役割に似ています。どちらも、世界がどのように機能するかについての仮説を支持または否定するためのデータ分析に携わり、データのパターンを理解して世界に対する理解を深めようとします。データ サイエンティストは、従来の科学者と同じ科学的手法を活用します。データ サイエンティストは、研究したいいくつかの現象に関する観察を収集することから始めます。次に、問題の現象に関する仮説を立て、何らかの方法でその仮説を無効にするデータを見つけようとします。

仮説がデータと矛盾していない場合、現象がどのように機能するかについての理論またはモデルを構築できる可能性があり、それが他の同様のデータセットにも当てはまるかどうかを確認することで何度もテストできます。 モデルが十分に堅牢であり、パターンを適切に説明し、他のテスト中に無効化されない場合、その現象の将来の発生を予測するために使用することもできます。

データ サイエンティストは通常​​、実験を通じて独自のデータを収集しません。 彼らは通常、仮説を妨げる可能性のある交絡変数を発見するために対照を使用した実験や二重盲検試験を計画しません。 データ サイエンティストによって分析されるデータのほとんどは、観察研究やシステムを通じて得られたデータであるため、データ サイエンティストの仕事は、より多くの実験を行う傾向がある従来の科学者の仕事とは異なる可能性があります。

そうは言っても、データサイエンティストは一種の実験を行うよう求められるかもしれません。 A / Bテストと呼ばれる データを収集するシステムに微調整を加えて、データ パターンがどのように変化するかを確認します。

使用される技術やツールに関係なく、データ サイエンスは最終的にはデータから意味を理解することで世界への理解を向上させることを目的とし、データは観察と実験を通じて取得されます。 データ サイエンスは、アルゴリズム、統計原理、さまざまなツールやマシンを使用してデータから洞察を引き出すプロセスであり、その洞察は私たちの周囲の世界のパターンを理解するのに役立ちます。

データサイエンティストは何をしますか？

科学的な方法でのデータ分析を伴う活動はすべてデータ サイエンスと呼ばれることがあることがお分かりかもしれません。これが、データ サイエンスの定義を非常に難しくしている理由の XNUMX つです。 より明確にするために、データ サイエンティストが行う活動のいくつかを見てみましょう。 行う可能性があります 日常的に。

データ サイエンスは、さまざまな分野や専門分野をまとめたものです。 写真: Calvin Andrus、ウィキメディア コモンズ経由、CC BY SA 3.0 (https://commons.wikimedia.org/wiki/File:DataScienceDisciplines.png)

データ サイエンティストは、データ ストレージと取得スキーマの作成、データ ETL (抽出、変換、ロード) パイプラインの作成とデータのクリーンアップ、統計手法の採用、データの視覚化とダッシュボードの作成、人工知能の実装、および機械学習アルゴリズムにより、データに基づいてアクションを推奨します。

上記のタスクを少し細分化してみましょう。

データ サイエンティストは、ハードウェアとソフトウェアの両方に注意を払いながら、データの保存と取得に必要なテクノロジのインストールを処理することが求められる場合があります。 この役職の責任者は、「」と呼ばれることもあります。Data Engineer”。 ただし、一部の企業では、データ サイエンティストの役割にこれらの責任が含まれています。 データ サイエンティストは、次のものを作成したり、作成を支援したりする必要がある場合もあります。 ETL パイプライン。 データ サイエンティストが必要とするフォーマットでデータが提供されることはほとんどありません。 代わりに、データをデータ ソースから生の形式で受信し、使用可能な形式に変換して、前処理する必要があります (データの標準化、冗長性の削除、破損したデータの削除など)。

データサイエンスの統計的手法

当学校区の 統計の応用 単にデータを見て解釈する作業を実際の科学に変えるには、統計的手法が必要です。データ セットから関連するパターンを抽出するために統計的手法が使用され、データ サイエンティストは統計的概念に精通している必要があります。交絡変数を制御することで、意味のある相関関係と偽の相関関係を区別できなければなりません。また、データ セット内のどの機能がモデルにとって重要か、または予測力があるかを判断するために使用する適切なツールを知る必要もあります。データ サイエンティストは、回帰アプローチと分類アプローチのどちらを使用するべきか、サンプルの平均と中央値をいつ考慮するべきかを知る必要があります。これらの重要なスキルがなければ、データ サイエンティストは科学者とは言えません。

データ

データ サイエンティストの仕事の重要な部分は、調査結果を他の人に伝えることです。 データ サイエンティストが自分の調査結果を他の人に効果的に伝えることができない場合、その調査結果の意味は重要ではありません。 データ サイエンティストは、効果的なストーリーテラーでもある必要があります。 これは、データセットとその中で発見されたパターンに関する関連点を伝えるビジュアライゼーションを作成することを意味します。 さまざまな種類が多数あります データの可視化 データ サイエンティストが使用する可能性のあるツールで、初期の基本的な調査 (探索的データ分析) の目的でデータを視覚化したり、モデルが生成する結果を視覚化したりする場合があります。

推奨事項とビジネスアプリケーション

データ サイエンティストは、組織やビジネスの要件と目標をある程度直感的に理解する必要があります。 データ サイエンティストは、どのようなタイプの変数と特徴を分析し、組織の目標達成に役立つパターンを探索する必要があるかを知る必要があるため、これらのことを理解する必要があります。 データ サイエンティストは、自分たちが業務を行っている制約と、組織のリーダーが行っている前提を認識する必要があります。

機械学習とAI

機械学習 およびその他の人工知能のアルゴリズムとモデルは、データの分析、データ内のパターンの特定、変数間の関係の識別、将来の出来事の予測を行うためにデータ サイエンティストによって使用されるツールです。

従来のデータ サイエンス vs. ビッグ データ サイエンス

データ収集方法がより洗練され、データベースが大規模になるにつれて、従来のデータサイエンスとデータサイエンスの間に違いが生じています。 "ビッグデータ" 科学。

従来のデータ分析とデータ サイエンスは、パターンを見つけてプロジェクトのパフォーマンス結果を分析することを目的として、記述的かつ探索的な分析で行われます。 従来のデータ分析手法は、多くの場合、過去のデータと現在のデータだけに焦点を当てています。 データ アナリストは、すでにクリーン化および標準化されたデータを扱うことが多く、データ サイエンティストは複雑で汚いデータを扱うことがよくあります。 将来の行動を予測するには、より高度なデータ分析やデータ サイエンスの手法が使用される可能性がありますが、予測モデルを確実に構築するには大量のデータが必要になることが多いため、これはビッグ データを使用して行われることが多くなります。

「ビッグデータ」とは、従来のデータ分析や科学技術やツールでは処理できないほど大きすぎて複雑なデータを指します。 ビッグデータは多くの場合、オンライン プラットフォームを通じて収集され、高度なデータ変換ツールを使用して大量のデータをデータ サイエンスによる検査の準備が整います。 常により多くのデータが収集されるため、データ サイエンティストの仕事にはビッグ データの分析が含まれることが増えています。

データサイエンスツール

一般的なデータサイエンス ツールには、データの保存、探索的データ分析の実行、データのモデル化、ETL の実行、データの視覚化を行うツールが含まれます。Amazon Web Services、Microsoft Azure、Google Cloud などのプラットフォームはすべて、データ サイエンティストがデータを保存、変換、分析、モデル化できるようにするためのツールを提供しています。Airflow (データ インフラストラクチャ) や Tableau (データの視覚化と分析) などのスタンドアロンのデータ サイエンス ツールもあります。

データのモデル化に使用される機械学習および人工知能アルゴリズムに関しては、多くの場合、TensorFlow、PyTorch、Azure Machine-learning Studio などのデータ サイエンス モジュールやプラットフォームを通じて提供されます。 データ サイエンティストのようなこれらのプラットフォームは、データセットを編集し、機械学習アーキテクチャを構成し、機械学習モデルをトレーニングします。

その他の一般的なデータ サイエンス ツールとライブラリには、SAS (統計モデリング用)、Apache Spark (ストリーミング データの分析用)、D3.js (ブラウザーでのインタラクティブな視覚化用)、Jupyter (インタラクティブで共有可能なコード ブロックと視覚化用) などがあります。 。

写真：Seonjae Jo、Flickr経由、CC BY SA 2.0 (https://www.flickr.com/photos/130860834@N02/19786840570)

データサイエンスの例

データサイエンスとその応用例はどこにでもあります。 データ サイエンスは、食品配達、スポーツ、交通、健康に至るまであらゆる分野に応用されています。 データはどこにでも存在するため、データサイエンスはあらゆるものに適用できます。

食品に関しては、Uber は食品の配達に重点を置いたライドシェアリング システムの拡張に投資しています。 Uber Eats (ウーバーイーツ)。 Uber Eats は、温かい新鮮なうちに人々にタイムリーに食べ物を届ける必要があります。 これを実現するために、同社のデータ サイエンティストは、レストランから配達場所までの距離、休日の混雑、調理時間、さらには気象条件などの側面を考慮した統計モデリングを使用する必要があります。これらはすべて、配達時間の最適化を目的として考慮されています。 。

スポーツ統計は、誰が最高の選手であるかを判断し、試合に勝つための強力で信頼できるチームを形成するためにチームマネージャーによって使用されます。 注目すべき例の XNUMX つは、Michael Lewis が著書で文書化したデータ サイエンスです。 マネーボールでは、オークランド・アスレチックス・チームのゼネラル・マネージャーがさまざまな統計を分析し、比較的低コストでチームと契約できる質の高い選手を特定しました。

交通パターンの分析は自動運転車の開発にとって重要です。 自動運転車 周囲の活動を予測し、雨天時に必要な停止距離の増加やラッシュアワー時の道路上の車の増加など、道路状況の変化に対応できなければなりません。 自動運転車以外にも、Google マップなどのアプリは交通パターンを分析し、通勤者にさまざまなルートや交通手段を使って目的地に到着するまでにかかる時間を通知します。

健康データサイエンスの観点では、コンピュータービジョンは機械学習やその他の AI 技術と組み合わせられることが多く、X 線、fMRI、超音波などを検査して、スキャンで明らかになる可能性のある医学的問題がないかどうかを確認できる画像分類器が作成されます。これらのアルゴリズムは、臨床医が病気を診断するのに役立ちます。

最終的に、データ サイエンスは数多くの活動をカバーし、さまざまな分野の側面を統合します。 ただし、データ サイエンスは常に、データから説得力のある興味深いストーリーを伝えること、そして世界をより深く理解するためにデータを使用することに関心を持っています。