超高速ビッグデータ処理基盤ソフトウェア『ESPERiC(エスペリック)』登場　～WebサービスAPI、Jupyter、表計算ライクGUIで超高速処理をサポート～　

2020.02.03 18:00

この企業へ連絡する

ITシステム開発の株式会社エスペラントシステム(本社：千葉県流山市、代表取締役社長：寺平英昭、以下 ESS)は、エスペラントシステムグループの開発会社である株式会社ユニネットワーク(本社：東京都港区、代表取締役：早部秀一、以下ユニ)との協業プロジェクトであるビッグデータ／アナリティクス・ソフトウェア『ESPERiC(エスペリック)』を発表します。ESPERiCは、WEBサービスAPIの提供やJupyter Notebook/Lab(ジュパイター・ノートブック／ラボ)対応、表計算ライクなGUIなどでビッグデータを容易にハンドリングするビッグデータ処理基盤として多種多様な分析業務を支援するものです。これにより、クラウドやオンプレミスサーバー、一般的なPCなどの環境で容易に大規模データを超高速処理することが可能となります。定形的な処理は自動化が可能なので分析業務の時短・省力化にも繋がります。

当製品は、デスクトップタイプとサーバータイプ(シングルユーザー用およびマルチユーザー用)で展開します。ユニ社は開発と保守、ESS社は販売とマーケティング及びESPERiCをベースにしたビッグデータ・ソリューションビジネス(コンサルティング及びアプリケーション開発)に取り組むことでビッグデータの利活用支援を進めてまいります。

ESPERiC　ビッグデータ処理基盤　3つのソリューション

【ESPERiCの3つのソリューション】

1. WebサービスAPI：カスタマイズアプリケーションでビッグデータをハンドリング

2. Jupyter：Python環境REPL(Read-Eval-Print Loop)でビッグデータをハンドリング

3. Super DataChef V3(以下 SDC3)：表計算ライクなGUIでビッグデータをハンドリング

https://esperic.net/solution-hub/

【ESPERiC　主な特長】

ESPERiC：Enhanced SuPER in-memory Columnar solution

◎低コストでデータ精錬・統合からデータ蓄積、データ分析まで

一連のビッグデータ処理の基盤として、日々増え続ける一方の取引ログやIoTデータなどのビッグデータをクラウドおよび一般的なPCで超高速にハンドリングできるため、ビッグデータ処理のための設備コストを著しく下げることが可能となりました。

ESPERiC　ビッグデータ処理

◆WebサービスAPI：

カスタムメイド/オーダーメイドアプリの開発を容易にするために、WebサービスAPIを提供します。プログラミング言語はJava、C++、Pythonなど様々な言語が使用できます。(ESPERiC Gear-REST)

◆JupyterおよびPython API：

多くのデータアナリストが利用するJupyter Notebook/LabでESPERiCエンジンの高速処理を利用可能にしました。対話型(REPL：Read-Eval-Print Loop)で分析結果のリアルタイム表示やグラフや表などの見える化が容易になります。また、データ連携で外部のオープンデータなどの取り込みが可能で、自社データと組み合わせた分析や予測などにも対応できます。(ESPERiC Gear)

◆表計算ライクなGUI：

表計算ソフトライクなGUIで、誰でもビッグデータを容易に扱えます。また、ノンプログラミングで一連のデータ加工プロセスを定形業務として自動化できます。(Super DataChef V3)

https://esperic.net/solution/

◎ビッグデータを超高速ハンドリング

ESPERiC独自のアルゴリズムであるインメモリー・カラムナー・テクノロジーにより、最大で20億行、512項目のビッグデータをストレスなく取り扱えます。大部分の処理(サーチ、ソート、集計など)は直ぐに完了し結果が返るので、ビッグデータでもSDC3やJupyter Notebook/Labで対話型のリアルタイム処理を実行できます。

https://esperic.net/technology/

◎1億行の速度ベンチマーク

ESPERiCと同様なインメモリデータフレーム処理のPython/pandas、R/tableとESPERiCとのAPI毎の処理速度比較では、Python/Rに比べデータインポートは3～13倍、ジョインは15～34倍、サーチ/ソートは86～580倍高速です。

1億行の速度ベンチマーク

測定環境

CPU：Intel Xeon E5-2650 2.3 GHz コア数 8 メモリ：132 GB ストレージ：SSD

OS：Ubuntu 18.04 Python：3.6 pandas：0.22 R：3.3

データアナリティクス業務において、およそ80％はデータの準備作業に費やされていると言われています。ESPERiCはビッグデータでも超高速に加工・処理できるので準備作業を大幅に短縮でき、分析結果を素早く得ることができます。また、ビッグデータのため処理性能が十分発揮できないBI分析関連ツールにおいてもESPERiCで分析前にデータ加工・処理をしておけば素早く分析結果を得ることが可能です。

◎適用業務(業務：内容)

アドホックなデータ分析　：セルフサービスBI、アドバンスドアナリティクス

データクレンジング　　　：データ分析・機械学習・AIの前処理、

　　　　　　　　　　　　　マスターデータの作成

データマイグレーション　：データ移行、データ統合、

　　　　　　　　　　　　　移行データプロファイリング

データ加工・編集　　　　：データチェック、データ変換、単位合せ

データ検索・抽出　　　　：名寄せ・重複データ排除、

　　　　　　　　　　　　　カード不正使用パターン検出、突合(とつごう)

巨大データ処理　　　　　：POSデータ分析、IoTデータ管理、

　　　　　　　　　　　　　 BOM(部品表)展開、MRP(資材所要計画)

Excel/Access業務の改善※1：データ分析／レポート作成