実証分析などの統計を使った、分析では、どのような、結果と考察が望まれるだろうか?
予め想定された、結果になるのがいいのだろうか?
やはり、新しい知見が得られることが重要ではないだろうか?
そう考えると、従来の統計分析では、どんな問題点が考えられるだろうか?
とにかく、データを集めることが大変であったと思われる。
説得力のある知見を見い出すには、従来の統計学だけでなく、新しい予想の根幹となる式を開発しないとならなかった。
ビッグデータのような最新の統計分析では、どんな利点があるのだろうか?
まずは、ほぼ制限なく大量のデータを扱えること、データ処理がリアルタイムでも可能であることである。
そのため、予めに予想の根幹となる式を開発せずに、多次元の空間から、コンピュータが自ら特徴を見つけだすことが可能である。
(続く)
(続き)
従来のスモールデータの統計分析とビッグデータの統計分析では、スモールデータでは両者の統計分析で当然結果が異なることはなく、一緒である。
なので、ビッグデータと従来の
統計分析を同時進行で勉強するのが望ましい。
ビッグデータのアルゴリズムは日々進化して、進化には進化が止まるゴールが存在しない。
しかし、アルゴリズムが無限大に増加するのではない。従来のOSなどは、無限にシステムが肥大化する傾向があった。しかし、ビッグデータのアルゴリズムはそうではない。
人間の進化と同様に無限に肥大化する必要性はない。
(さらに続く)