ビッグデータとは何？（日経新聞に問う）

●ビッグデータとは何？(日経新聞に問う) 2013/10/19

今日の、日経朝刊に"データサイエンティスト"として、富士通の技術者：小副川健さんの特集が掲載されている。昨今流行の"ビッグデータ"を分析して、新たな情報を引き出す専門家とのこと。データを分析して未来の結果を導き出すというものだが、最初の段落には「ジャガイモ」、「ニンジン」、「タマネギ」は互いに近くに出ている線は太い(線の太さで相関を示すとのこと)とのことだ。そんなことは小学生でも想像できるだろう、つまりジャガイモ、ニンジンときたら次は何かとの質問には、タマネギだろう。カレーライスは日本の国民食ともなっているからだ。

次の段落には、もっとバカげたことを記述している。「１リットルパックの牛乳を買う人は500mlパックは一緒に買わない」とのこと。1.5リットル丁度の牛乳が欲しいという人は何人いるというのだ？「成牛を買う人は、子牛も一緒に買わない」と言えば、そんなことに何の相関も無いというのが当然だろう。日経新聞は他の新聞に比べてかなり信憑性は高いと思っているが(思想的偏向が無いという面で・・・)、この記事にはあきれ果てた。

さらに読み進むと、"東京証券取引所が主催している「ソーシャルかぶコン」に参加"とのこと、ここでは株とビッグデータの相関について知りたいところだが、なんの記述もない。明日の株価がビッグデータで分かるならば、私は直ちにその手法をわき目もふらず勉強するだろう。大金持ちになれるからだ。

最後の段落は、「・・・だが分析のプロは全然足りない。将来は日本だけでも数十万人規模で不足するといわれている。活躍の場はどんどん広がりそうだ」とのこと。数十年前にコンピュータが世に知れ渡るようになった頃、全ての日本人がプログラマになっても足りないと言われたようなことがあった。「この記事を吟味した編集長さんにお聞きしますが、少々おかしくありませんか？」ここで言うビッグデータと昨日までのデータベースが、どう異なり、その違いが今後どういうふうに我々の生活に影響を与えていくのか？もっと具体的に、技術的に教えていただきたい。私は高い購読料を払っているのだ。今日はさすがにカチンときたので書き留めておく。

追記："データで未来変える"とのことだが　2013/12/30

今朝の日経一面のトップニュースは、ビッグデータだったので驚いた。"画期的な分析アルゴリズムが出てきたか"と色めき立ったが、ニュースでなかった。どうやら何も無いので溜め込んでいた雑記事を一面に持ってきたようだ。"試験の前に落第防ぐ"とのことだが、前期の成績がかんばしくなく出席率が低ければ単位を落とす可能性が高いのは当たり前だろう。"収穫最多の日ピタリ"では、熟練した農家ならば的中率５割、ビッグデータを使うと９割とのこと。但し、１ヶ月前の的中率が５割から９割に上がるとどういうメリットがあるのかは記載されてない！

追記："大量ディジタル情報が支え"より　2015/8/14

今日の日経朝刊"経済教室：進化する人口知能、大量ディジタル情報が支え"では、国立情報科学研究所所長の喜連川優氏がデータ量の拡大とそれへの対応を書いていたのでじっくりと読んでみた。IBMの人工知能型コンピュータ「ワトソン」を例にとり情報処理の現状が書かれているが、実態は10年20年前の状況と変わりはない。当時に比較してデータ量が増え、処理能力は向上したが、新しいアルゴリズムが出現するなどの明らかな変化が無いからだ。氏の結論として「人間に起因する事故の多くは‥‥要するに、難しいものは相変わらず難しい。人工知能がすべてを解決してくれるという世界は程遠い。」とある。このエッセーの挿入図には医者が「ワトソン」からの大量のデータを基に患者を診断する未来図が描かれている。確かに今では殆どの医者が目の前にPCを置いているが、実際の診断では様々な症状のデータベースなどを見てない。せいぜい該当する患者の過去の病歴や投薬データだろう。いちいちデータベースを詳細にチェックしていたら数分で診断が終わらず原価割れするからだ！それとはそれとして賢明なワトソン君が診断結果を出すわけでもない！
元に戻る