「ビッグデータ」とは?その特徴と用途は何ですか。
インターネット情報化時代の普遍化に伴い、「ビッグデータ」が生まれ、現在最もホットなIT業界の言葉となっているが、「ビッグデータ」とは何だろうか。彼にはどんな特徴と用途がありますか。
ビッグデータは、一定時間內に通常のソフトウェアツールでコンテンツをキャプチャ、管理、処理することができないデータセットです。ビッグデータ技術とは、さまざまなタイプのデータの中から、価値のある情報を迅速に取得する能力のことです。大規模並列処理(MPP)データベース、データマイニング電力網、分散ファイルシステム、分散データベース、クラウドコンピューティングプラットフォーム、インターネット、拡張可能なストレージシステムを含むビッグデータに適した技術。
「ビッグデータ」の4つの特徴
ビッグデータ(BigData)とは、「既存のソフトウェアツールでは抽出、格納、検索、共有、分析、処理することができない大量の複雑なデータセット。」業界では通常、ビッグデータの特徴を4つのV(Volume、Variety、Value、Velocity)で要約している。
1つ目は、データ量が大きい(Volume)ことです。現在まで、人類が生産したすべての印刷材料のデータ量は200 PB(1 PB=210 TB)であり、歴史上全人類が言ったすべての話のデータ量は約5 EB(1 EB=210 PB)である。現在、典型的なパーソナルコンピュータハードディスクの容量はTBレベルであり、一部の大企業のデータ量はEBレベルに近づいている。
2つ目は、データ型が多い(Variety)ことです。このタイプの多様性により、データが構造化データと非構造化データに分類されることもあります。非構造化データは、ネットワークログ、オーディオ、ビデオ、畫像、地理的位置情報など、従來より保存しやすいテキスト中心の構造化データに比べてますます多くなり、これらの多種類のデータはデータの処理能力に対してより高い要求を提出している。
第三に、価値密度が低い(Value)。価値密度の高さはデータ総量の大きさに反比例する。ビデオを例にとると、1時間のビデオ、連続した無停止の監視では、有用なデータは1、2秒しかない可能性があります。強力なマシンアルゴリズムを用いてデータの価値をより迅速に「精製」する方法は、現在のビッグデータの背景において早急に解決すべき難題となっている。
4つ目は処理速度が速い(Velocity)ことです。これはビッグデータが従來のデータマイニングと區別される最も顕著な特徴である。IDCの「デジタル宇宙」のレポートによると、2020年までに、グローバルデータ使用量は35.2 ZBになります。このような膨大なデータを前にして、データ処理の効率は企業の生命である。
「ビッグデータ」の用途
第一に、ビッグデータの処理分析は、次世代情報技術の融合応用の結節點となっている。モバイルインターネット、モノのインターネット、ソーシャルネットワーク、デジタルホーム、電子商取引などは次世代情報技術の応用形態であり、これらの応用は絶えずビッグデータを生み出している。クラウドコンピューティングは、これらの大量で多様なビッグデータにストレージと演算プラットフォームを提供します。異なるソースデータの管理、処理、分析、最適化を通じて、結果を上述の応用にフィードバックし、巨大な経済と社會的価値を創造する。
ビッグデータは社會変革を生むエネルギーを持っている。しかし、このようなエネルギーを放出するには、厳格なデータ管理、洞察に富んだデータ分析、革新的な環境管理(RamayyaKrishnan,カーネギー?メロン大學ハインツ學部長)。
第二に、ビッグデータは情報産業の高度成長を続ける新たなエンジンである。ビッグデータ市場向けの新技術、新製品、新サービス、新業態が続々と登場するだろう。ハードウェアと集積設備の分野では、ビッグデータはチップ、ストレージ産業に重要な影響を與え、一體化データストレージ処理サーバー、メモリ計算などの市場も生まれるだろう。ソフトウェアとサービスの分野では、ビッグデータはデータの迅速な処理分析、データマイニング技術、ソフトウェア製品の発展を引き起こすだろう。
第三に、ビッグデータ利用はコア競爭力を高める重要な要素になるだろう。各業界の意思決定は「ビジネス?ドライバー」から「データ?ドライバー」に変わりつつある。
ビッグデータの分析により、小売業者はリアルタイムで市場動態を把握し、迅速に対応することができる。事業者がより正確で効果的なマーケティング戦略を制定するために意思決定支援を提供することができる、企業が消費者によりタイムリーで個性的なサービスを提供するのを助けることができます。醫療分野では、診斷の正確性と薬物の有効性を高めることができる、公共事業の分野でも、ビッグデータは経済発展の促進、社會の安定維持などの重要な役割を果たし始めている。
第四に、ビッグデータ時代の科學研究の方法手段に重大な変化が生じる。例えば、サンプリング調査は社會科學の基本的な研究方法である。ビッグデータ時代には、研究対象がインターネット上で発生したマス行動データをリアルタイムで監視、追跡し、発掘分析を行い、規則性のあるものを明らかにし、研究結論と対策を提出することができる。
- 関連記事