この10年前後で誕生した新しい職業の1つに、「ビッグデータサイエンティスト」があります。ビッグデータと呼ばれる膨大なデータをコンピューターで解析し、ビジネスや行政などさまざまな分野に生かす情報を取得するための専門家を指します。
近年、ビッグデータサイエンティストが多くの成果を上げており、世界中のビジネスが大きく変化しようとしています。
ビジネスを大きく変えようとしているビッグデータとは、一体何なのでしょうか? 日本語に直訳すれば、膨大な量のデータということになりますが、一般的なデータ管理・処理ソフトで扱うことが困難なほど、巨大で複雑なデータの集合、を意味します。
インターネットの普及により、現在は行政・経済・科学などあらゆる情報を容易に集められるようになりました。そのため各種データを結び付け、なんらかの規則や因果関係を導き出す動きが盛り上がっています。
「風が吹けばおけ屋がもうかる」を導き出す
ビッグデータ解析の優れた点は、人間の力では不可能な大量のデータ解析をコンピューターで行うことにより、人間の類推だけでは絶対に気付かない予測や因果関係を導き出せる点にあります。
巡り巡って意外なところに影響が出ることをたとえた「風が吹けばおけ屋がもうかる」ということわざがあります。一見因果関係がないようなものでも、手繰り寄せるように調べ続けて関係性を導き出すのが、ビッグデータ解析なのです。
身近で分かりやすい例が、インターネット通販などで利用できるリコメンデーション機能です。書籍を購入すると、ある日、聞いたこともない著者の書籍を、通販サイトが薦めてきた経験はないでしょうか。
「なんでこんなものを薦めてくるのだろう?」と最初は不思議に思うのですが、試しにその書籍を買ってみると、実に面白いケースがよくあります。
これは、コンピューターがビッグデータを駆使し、過去にその人と同じような書籍を購入した人が、面白いと評価したり購入したりした書籍から最適と思われるものを選び、推薦しているからです。
“父でも知らぬこと”をビッグデータは知っている…
ビッグデータ解析がいかに強力かを示す事例として有名なのが、米国のスーパーマーケットチェーン店で発生した、クーポン発行に関する出来事です。
その店舗では来店者の消費動向をビッグデータ解析していました。解析結果を基にして、それぞれの好みや消費行動に応じたクーポンを発行していました。毎年春に水着を購入する来店者には夏に日焼け止め、冬にはダイエット本のクーポンを発送する、といった具合です。
ある日このスーパーマーケットに1人の男性がクレームを入れました。理由は、その男性の高校生の娘に妊婦向けのクーポンが送られたからです。自分の娘が妊娠しているかのように扱われたことに激怒したのです。
ところが後に、男性の娘は妊娠していたと判明し、父親は謝罪しました。
一体なぜこのようなことが起こったのかというと、スーパーマーケットはこの彼女が妊娠していたというプライベートな情報を知っていたわけではなく、たまたま彼女の消費行動が妊婦と似ていたため、機械的に妊婦である可能性が高いと推測したというわけです。
ビッグデータの活用を実現させた機械学習
こうしたビッグデータを解析する手法として用いられるのが、機械学習です。機械学習とは、「コンピューターに学習をさせる」という手法を採用した、人工知能(AI)のアルゴリズムの一群を指します。
ビッグデータの処理というのは統計データを分類したり、グループ化したりする処理であり、そういった分類方法をコンピューターへ自律的に考えさせるためには、機械学習という手法が最もふさわしいのです。
機械学習のうち、特に現在注目を浴びている手法が、深層学習(しんそうがくしゅう)になります。英語ではディープラーニングと呼ばれています。
深層学習のアルゴリズムは大変強力で、自動車の自動運転や、コンピューターの音声認識、さらには人間のプロを打ち負かした有名な囲碁ソフト、「Alpha Go」などが輝かしい成果を上げています。
現在、この分野の研究開発をけん引しているのが、検索エンジンでおなじみのGoogleです。Googleは、検索エンジンの運営で得られた膨大なビッグデータを、深層学習で分類し、さまざまな分野に応用する研究開発を盛んに行っています。
このようにどんどん進化するビッグデータ解析と機械学習ですが、大きな問題を抱えています。それがプライバシー保護の問題です。
我々の身の回りにはインターネットやスマートフォン、さらには各種ICカードや会員カードなど、個人情報が含まれるツールが多数あり、私たちはそれを日常的に利用しています。ところが、もしも悪意のある第三者がツールに対してハッキングを試みれば、個人情報が漏れてしまいかねません。
また、前述した女子高生の例のように、購買データのみで個人情報に限りなく近い情報を得られ、それに対して不快感や不安を覚える人も少なくありません。このような事例は、従来の個人情報保護法だけでは対応しきれないため、深刻な問題として議論されるようになっています。
社会インフラとしての利用が着々
ビッグデータ時代にふさわしい制度やルールの構築が、今後の課題として挙がっています。ビッグデータを利用する企業や団体、個人も、その性質や影響力、セキュリティに関する正しい認識を持たねばなりません。関連する法整備も必要です。
こういった考えは世界的に広がっており、インターネットやスマートフォンを前提にした、ビッグデータに関するプライバシー制度の構築が各国で進められています。国際協調も視野に入れ、第三者機関によるプライバシー・コミッショナー制度の導入も検討しています。現在の日本では、総務省が中心になって制度の確立を推進しているところです。
ビッグデータを社会インフラとして利用できる環境が、着実に構築されつつあります。その環境が整った暁に、機械学習によってビッグデータから導き出された新たな規則や因果関係が、我々の生活に変革をもたらすかもしれません。