アシスト、超高速ETLツール「Syncsort DMExpress」の新バージョン9.6を提供開始～Hadoop関連を中心に強化を図り、ビッグデータETL基盤としての機能をさらに拡充～

2018.02.27 13:00

この企業へ連絡する

株式会社アシスト（本社：東京都千代田区、URL：https://www.ashisuto.co.jp/、以下、アシスト）は、取扱製品である超高速ETLツール「Syncsort DMExpress」（開発元：Syncsort Incorporated）の新バージョン9.6を2月28日付けで提供開始します。

「Syncsort DMExpress」は、独自のスマートETLオプティマイザを搭載した自動チューニング機構が、処理対象のデータ分析とシステムリソース分析を行い、最適なアルゴリズムを組み合わせてETL処理を実行します。そのため、テスト運用での性能改善やチューニングに工数をかけることなく、ノンプログラミング＆ノンチューニングで高品質／高性能なETL処理を誰でも簡単に開発することが可能です。

新バージョン9.6では、データファネル機能、ジョブ実行状況の監視等に関する機能が拡張され、また、Hadoop環境上で並列分散処理を高速に実行する「Syncsort DMX-h」では、実行環境や接続先の拡張も実装されました。ニーズの高まるデータレイクの構築や、Hadoop上でのデータ加工等、ビッグデータETL基盤として、さらに充実した機能を提供します。

バージョン9.6の主な新機能は下記のとおりです。

＜Syncsort DMExpress＞

◎データファネル機能（※）の拡張

　主要なデータベースのデータ移行時に必要な複数の処理定義を、DTL（テキ

　ストベースのコマンド言語）形式で自動生成する「データファネル」に、下

　記の機能が追加されました。

　1)Amazon S3を出力先に、Amazon Redshiftを入力元/出力先に指定可能

　2)データベースとの接続にHive JDBCを含む接続方法を指定可能

　3)Hive/HCatalogを出力先とする場合に、テーブル作成を行うパラメータを

　　指定可能

　※データファネル機能の詳細は、下記ページ

　「データ移行処理の開発における4つの課題とその解決策とは

　　～最も賢い超高速ETLツールが課題を解決！～」もご参照ください。

　https://www.ashisuto.co.jp/product/category/etl/syncsort-dmexpress/download/#tab

◎ジョブ実行状況の監視機能の追加

　DMExpressおよびDMX-hのMapReduce/Sparkとして実行されるジョブ／タスク

　のリアルタイムな進行監視と進捗状況のレポート作成が行えるようになりま

　した。

◎キーブレイク処理関数の追加

　キーが同じ場合、異なる場合の処理（キーブレーク処理）用の関数が追加さ

　れ、累計計算のようなロジックを簡単に実装できるようになりました。

◎デバッグ機能の強化

　データ変換ができない場合などのワーニング発生時に、レコード内容の他に

　レコード番号を実行ログに出力する機能が追加され、ワーニング対象のレ

　コードの特定が容易になりました。

◎メタデータのDTLエクスポート

　値、条件、レイアウト、データベース接続定義、照合順序といったGUI上で

　設定したメタデータ定義を、テキスト実行形式のDTLファイルとして出力す

　る機能が追加され、定義を再利用することができるようになりました。

＜Syncsort DMX-h＞

◎Spark実行機能の拡張

　1)Spark2.0に対応

　2)Sparkのデプロイモードとして、Clientモードの他にClusterモードでの

　　ジョブ実行に対応

◎MapReduce/Spark実行形式に自動変換する

　「インテリジェント実行機能」の強化

　DMX-hのジョブの中に外部プログラムを実行するカスタムタスクを含めた場

　合でも、インテリジェント実行が適用できるようになりました。

◎ETL処理とHadoop処理の統合ワークフロー

　ローカル実行/MapReduce実行/Spark実行を定義するタグをサブジョブやタス

　クに対して設定できるようになり、ETL処理とHadoop処理を統合されたジョ

　ブとして定義できるようになりました。

◎Hive接続の拡張

　1)検索入力データソースとしても使用可能

　2)タスクエディタからHiveテーブルを新規作成することが可能

　3)Hive出力後にテーブル統計分析/カラム統計分析を実施するパラメータが

　　追加

　4)HiveのBoolean型カラムに対応

　5)Apache Ranger認証に対応

◎入出力先の拡張

　入出力データソースとして、HiveJDBC接続が追加されました。

----------------------------------------------------------------------

■「Syncsort DMExpress」および「Syncsort DMX-h」について

----------------------------------------------------------------------

パフォーマンスに特化したソフトウェアを40年以上開発しているSyncsort社の“最も賢い超高速ETL”DMExpressは、データ結合やソート／マージ処理を伴うバッチ処理、またデータ・ウェアハウス、データ・マート構築時のデータ結合処理などのETL処理開発に威力を発揮するETLツールです。独自の高速処理アルゴリズム、並列処理などにより、システム資源を最大限に有効活用してバッチ処理時間を劇的に短縮します。メインフレーム環境からのダウンサイジング時に課題となる高速性と安定性を確保し、コモディティなオープン環境でもメインフレームと同等以上のパフォーマンスを実現します。アシストは、通信、金融、公共業界をはじめ3,500ライセンス、390社以上の導入実績を誇ります。また、「DMX-h」は、Hadoopフレームワーク上での並列分散処理を実現します。Map/Reduce処理をDMExpressのGUIで簡単に開発し、各Hadoopデータノードで稼動するC++ベースの「DMX-h」によって、Java、Pig、Hiveなどに比べて2～5倍(*)の処理性能向上が得られます。　　*Syncsort社調べ

----------------------------------------------------------------------

■ニュースリリースに関するお問い合わせ

----------------------------------------------------------------------

株式会社アシスト　広報担当：田口

TEL：03-5276-5850

URL：https://www.ashisuto.co.jp/contact/press/

----------------------------------------------------------------------

■「Syncsort DMExpress」および「Syncsort DMX-h」に関するお問い合わせ

----------------------------------------------------------------------

株式会社アシスト　東日本技術本部　ビジネス推進部　担当：宇野

TEL：03-5276-3653

Syncsort DMExpress URL：