インターネットでのビッグデータ利用
現状の問題点

このページの概要

 まず初めに、ビッグデータがインターネット上で真に利用できる世界が来るべきこと、そこへ至る前の現状の問題点について解説します。

◆インターネットの素晴らしさ(ビッグデータ以外)

現在、インターネットを利用して、様々なデータを世界のどこからでも活用できるようになっています。インターネットによって、私達の生活や産業は効率性・利便性・快適性の面で大きく進化しました。

このインターネットは、次のような機能を持っています。

  • 世界のどこからでも利用できる

世界がひとつに結ばれ、PCやスマートフォンで利用できます。

  • 様々な種類のデータを利用できる

テキスト、表、画像、音楽、ビデオ、、、などが利用できます。

  • いくつものデータを組合せて利用できる

色々なサーバーで提供されているデータを端末側で組み合わせて、ひとつの画面にまとめて表示できます。また、複数のサービスの機能を端末側で組み合わせて、新しいサービスとして提供する(サービスマッシュアップ)ことができます。

  • データは世界各地に独立・分散されて置かれている。

サーバーは誰でも自由に設置することができます。

 

理想のかたち:
 ビッグデータもインターネットで利用できたら

ビッグデータについても、他のデータと同様にインターネットで便利に利用できるようになれば、非常に多様なデータ活用が行われ、生活や産業に大きな進化を与えられます。

  • いくつものデータを組合せて利用できる。

色々なサーバーで提供されているビッグデータを組み合わせてデータ処理し、利用できる。

  • データは世界各地に独立・分散して置くことができる。

ビッグデータサーバーは誰でも自由に設置することができ、世界中から利用できる。利用した分だけの課金や暗号化などもできる。

  • サーバーは世界中からの多数の同時利用に対応できる

センター側の処理負荷が軽減されていて、アクセスが集中しても対応できる。

 

現状の問題点:
ビッグデータのインターネット利用の現状

ビッグデータの技術的な問題

上記のような「ビッグデータのインターネット利用」ができることが、次世代の技術として待たれています。
しかし、ビッグデータには、テキストや映像などのデータとは違う以下の技術的困難があります。

  • データが大きいのでインターネットで送りきれない。

 インターネットは高速になってきているが、巨大なビッグデータを転送するには長時間がかかる。
また、ビッグデータを利用するために丸ごと渡すとしたら、その使用権対価は高額になってしまう。

  • データが大きいので検索などの処理に大きな負荷がかかる。

 通常のデータベースシステムは、データ量が大きくなると処理時間が飛躍的に大きくなってしまう。
また、データベースが世界中からのアクセスを受けると、処理が集中するので、大規模なハードウェアが必要になってしまう。

  • データが大きいのでマージなどに長時間がかかる。

 2つ以上のビッグデータを突き合わせて処理することは、ビッグデータの有効利用に非常に重要。現状では、「それらのビッグデータを1箇所に持ってきて」「マージして」「それから処理する」必要がある。データ量が大きくなると、持ってくるのに長時間がかかり、マージにも長時間がかかってしまう。

ビッグデータ利用の期待

 各国政府・公共機関・企業が持っている数々のビッグデータを、公開して利用促進することが始まっています。しかし、公開するための効率の良い手段が無いために利用が進んでいません。
ビッグデータも他のデータと同様にインターネットで自由に効率よく使えるようになるべきです。
いま、以下ができるような技術が求められています。

・世界中のどこに置いてあるビッグデータも、世界中のどこの端末からでも利用できる。
・利用料金・通信料金が低価格で、ビッグデータのサーバーの設置・運用の費用も低コストである。
・いくつもの別々のビッグデータを組み合わせて検索処理できる。
・サービス提供側ではなく、処理は端末側で行う。(サーバー側の処理が軽い)
・1つのビッグデータを丸ごと利用権販売・譲渡するのではなく、使っただけの対価ですむ。

 このようにインターネットでビッグデータが行き交うようになれば、各国政府・公共機関・企業は持っているビッグデータをインターネットで公開し(無料または有料で)、世界中で有効に活用する新しい時代へ進化することができるでしょう。

◆解決策:
Zap-Over Technology がビッグデータの課題を解決

インターネットでの真のビッグデータ利用をできるようにするために、ターボデータラボラトリーは上記の課題を解決した Zap-Over Technology を開発し、インターネットでの真のビッグデータ利用をできるようにしました。

次ページ: Zap-Over Technology の技術解説へ