インターネットでのビッグデータ利用
Zap-Over Technology

概要

現状のビッグデータシステムは、インターネット利用の機能はまったく不十分です。ビッグデータは大きするのでインターネットで送りきれない等が主な原因です。
ターボデータラボラトリーの Zap-Over 技術は、このような問題を解決し真に実用的なビッグデータのインターネット利用を実現した世界初のデータベースシステムです。

◆解決策:
Zap-Over Technology がビッグデータの課題を解決

インターネットでの真のビッグデータ利用をできるようにするために、ターボデータラボラトリーは Zap-Over Technology を開発し以下のように課題を解決しました。

サーバーに置いてあるビッグデータを、インターネット経由で端末側でデータベース処理ができる

 巨大なビッグデータを長時間かけて送る必要がありません。ビッグデータの必要最小限な部分だけを端末側へ送り、端末側で処理します。このため、通信データ量は最小限に抑えられています。インターネット経由での処理にもかかわらず超高速です。
ビッグデータ全体を利用者側へ渡さなくても良いので、ビッグデータ全体の利用権販売ではなく、利用量に応じた課金にできるので、利用が促進されます。

ビッグデータのマージをインターネット経由で行える

2つのビッグデータを組み合わせての検索処理するためには、通常はその2つをマージ(合体)させます。そのためには、2つのビッグデータを一か所に持ってきて、マージ処理を行います。巨大なデータを持ってくる通信にも、そのマージ処理にも長時間がかかります。
Zap-Over技術は、仮想的にマージされた状態をインターネット越しに瞬時に構築する機能を持っています。インターネットの向こう側でも数秒でマージが完了しますので、2つ以上のビッグデータを組み合わせての検索処理が初めて実用的にできるようになりました。
今までも分散データベースはありましたが、ビッグデータの組み合わせはサービス提供側で決めた組み合わせしかできませんでした。Zap-Over技術はインターネット上の任意のビッグデータを端末側で組み合わせることができ、利用者がその使用方法を選べます。インターネットのマッシュアップのように、2つの提供者からのビッグデータを組み合わせて利用できるようになります。

ZO-1

サーバーの負荷を最小限にする

ビッグデータをインターネットで公開すると、世界中からそのビッグデータにアクセスされます。ビッグデータが置いてあるサーバーで集中して検索処理を行うと、その負荷は非常に大きなものになり実用にはなりません。
そこで、Zap-Over技術では、検索処理は端末機(PCやスマートフォン)で行ない、サービス提供側の処理を最小限にしています。これによって、サーバー機の負荷が非常に小さくなり、多数のユーザーの処理が同時にできます。今まででのような高性能で高価なデータベースサーバーは必要ありません。

 上記により、通常のホームページのように低コストでビッグデータのインターネットサービスを提供できます。

 


◆Zap-Over Technology の
技術の解説

通常のインターネットシステムと同様に、Zap-Over BigData System はビッグデータのサービス提供側と利用する端末側から成ります。
ビッグデータを提供するサーバー(Zap-Over BigData Server) は、世界のどこにでも独立して設置できます。利用者が操作する端末機(PCやスマートフォンなど)には専用のソフトウェアをインストールしておきます。

システム構成
・サービス提供側

Zap-Over Converter : データ形式変換ソフトウェア

ビッグデータ構築の前処理として、フォーマット変換を行います。元となるビッグデータを標準のcsv形式からZap-Over形式へ変換します。オプションで暗号化もできます。この変換は高速に行われます。(例: Core i7・ハードディスク・Linuxの場合で、70[GByte/hour] 程度)

Zap-Over Server module : インターネットサーバーソフトウェア

Zap-Over 形式のビッグデータを、端末からのアクセスに応じて送信します。オプションでユーザー認証もできます。

・端末側

Zap-Over Client Software : インターネットクライアントソフトウェア

サーバー側にあるビッグデータの検索処理を操作します。
表形式のGUIで操作・表示します。
別々の場所にある複数のビッグデータを同時に組み合わせて利用できます。
ZO-2

 

◆Zap-Over Technology によるビッグデータのインターネット利用

Zap-Over には以下の特長・機能があります。

インターネットでビッグデータをフルに活用できる

世界中に置かれたビッグデータを、インターネット経由でどこにある端末からでも利用できます。

検索などの処理が超高速

成分分析理論に基づくデータ構造とアルゴリズムそして実装技術で、超高速性能が得られました。

データ転送量が最小限

サーバーと端末の間のデータ転送量を最小限にしました。通信が高速で通信コストも抑えられます。

複数のビッグデータを組み合わせた検索処理に対応

別々の場所に置かれた複数のビッグデータを、端末側で組み合わせて検索処理できます。すべてのデータを転送するようなマージ処理は不要です。
この状態で、サーチ、ジョイン、ユニオンなどのデータベース処理が超高速で行えます。

サービス提供側の処理が低負荷

処理のほとんどを端末側で行なうため、サーバー側の処理が低負荷です。高性能のサーバーマシンでなくても、世界中からのアクセスに対応できます。

端末はさまざまなプラットフォームに対応

Windows・Linux・Android(スマートフォン)に対応しています。

リアルタイムに変化するデータの対応は不得意

元になるビッグデータ(CVS形式)から Zap-Over データ形式へ変換する処理が必要なため、リアルタイムに変化するデータの対応は不得意です。

次ページ: <Zap-Over Technology の応用へ>