Apache NiFi, Kafka, Stormを利用したリアルタイムデータ処理

ビッグデータ時代といわれる今、企業は既存の情報資産を分析し、新たな価値を発見し、新しいビジネスをスタートさせるチャンスと言われています。データレプリケーション製品、Attunity Replicateはそんなデータ分析をスタートさせるための特効薬です。データベースに眠る既存の情報資産をクリック操作だけで、リアルタイムで、Hadoopやデータウェアハウスに転送する事ができ、すぐにデータ分析を開始する事が可能です。このウェビナーでは、データベース、DWH、Hadoopなどの異なるソース/ターゲット間において、高速で簡単なリアルタイム・データ・レプリケーションを可能にする「Attunity Replicate」と、次世代データプラットフォーム「Hortonworks Data Platform」と「Hortonworks DataFlow」についてご紹介します。

Azure HDInsight は、Spark、Hive、MapReduce、HBase、Storm、Kafka、R Serverのようなオープンソースベースの、99.9%のSLAが保証されたマネージドクラウドサービスで、Hortonworks Data Platform (HDP)ベースに開発されています。データアプリケーション開発者は、Visual Studio、Eclipse、IntelliJ などのお好みの開発環境で、Hadoop および Spark を利用したアプリケーションを開発できます。データ サイエンティストの方は、JupyterとZeppelinという人気のブラウザベースのインタラクティブな環境でデータを分析可能です。このセッションでは、AzureのData関連サービスとHDInsightについて紹介します。

AWS Marketplaceで、「Hortonworks Data Cloud for AWS」が公開されました。これにより、AWS上で簡単にApache Hadoop、Sparkをベースにしたデータ分析用プラットフォームを展開する事ができます。このWebinarでは「Hortonworks Data Cloud for AWS」の概要とデモをお見せしながら、どのようにApache HadoopやSparkのクラスタを展開するのかについて解説します。

Apache Hadoop, Sparkをベースにした「Hortonworks Data Platform (HDP)」により、セキュリティ、ガバナンスを重視しながら蓄積されたデータを分析する基盤を構築可能です。このWebinarでは、HDPの基本について解説し、爆発するデータを蓄積・分析する基盤をどのようにコストをかけずに実現するかについて説明します。さらに、HadoopにデータやETL処理を移行することでコストを削減し、データウェアハウスの投資効率向上し、意思決定における判断のスピードアップを実現するソリューションについても紹介します。

Apache NiFi、Kafka、Stormを備えたHortonworks DataFlow (HDF)は、IoTデバイスやソーシャルデータ、Webサーバーのログなどからオンプレミスやクラウドのデータストアまで、リアルタイムにデータを収集、分析、配信することができる統合プラットフォームです。このWebinarでは、Hortonworks DataFlowの基本について解説します。

AWS Marketplaceで、「Hortonworks Data Cloud for AWS」が公開されました。これにより、AWS上で簡単にApache Hadoop、Sparkをベースにしたデータ分析用プラットフォームを展開する事ができます。このWebinarでは「Hortonworks Data Cloud for AWS」の概要とデモをお見せしながら、どのようにApache HadoopやSparkのクラスタを展開するのかについて解説します。

Apache Hadoop, SparkをベースにしたHortonworks Data Platform (HDP)により、セキュリティ、ガバナンスを重視しながら蓄積されたデータを分析する基盤を構築可能です。このWebinarでは、Hortonworks Data Platformの基本について解説し、爆発するデータを蓄積・分析する基盤をどのようにコストをかけずに構築可能かについて解説します。

Apache NiFi、Kafka、Stormを備えたHortonworks DataFlow (HDF)は、IoTデバイスやソーシャルデータ、Webサーバーのログなどからオンプレミスやクラウドのデータストアまで、リアルタイムにデータを収集、分析、配信することができる統合プラットフォームです。このWebinarでは、Hortonworks DataFlowの基本について解説します。

このWebinarでは、Hortonworksの「Connected Data Platforms」とEMCのデータレイクが実現する、柔軟性、低コスト、データ保護やセキュリティに優れたモダンデータアプリケーション基盤についてご紹介します。

また、どれくらい簡単に分析プロジェクトを開始し、成果を得ることができるかについても
ご説明致します。

今回はHortonworks Data Platform(HDP)のクラスタマネージャであるApache Ambariをご紹介します。Ambariを利用するとクラスタの構築やノード・サービスの追加や削除、各種サービスの設定の管理を容易に実現することができます。本Webinarでは主にAmbariの機能群をご紹介していく予定です。

このセッションでは、前半でApache Sparkの概要・仕組みと、ユースケースや使い所などをご紹介していきます。後半では、YARN上でSparkを動かす際のスケーラビリティや柔軟性についてのメリットについてお話します。これからSparkを始めたいと思っている方、Sparkは知っているけれども知識についての整理をしたい方、バッチ処理の高速化、ストリーム処理、機械学習などに興味のある方が対象です。Hadoopの知識は不要です。

今回のウェビナーでは、Hadoop1.xからみなさまに深く親しまれてきたApache Hiveが昨今、どのような形で高速化されてきたかについて話します。MapReduceからTezに変わった実行エンジン、インデックスを持ったカラムナーファイルフォーマットであるORC、モダンなCPUを最大限に活用するVectorization、Apache Calciteを利用したCost Based Optimizerによる実行計画の最適化、そして1秒以下のクエリレスポンスを実現するLLAPについて説明します。いずれの機能も数行の設定やコマンドで活用可能なものばかりですが、今回はそれらの背景でどんな仕組みが動いているのか、どんな仕組みで実現されているのかということについて話します。

このセッションでは、Hadoopを取り巻く最新事情や事例をまとめてお伝えするとともに、Hortonworks​ Data Platform (HDP) の最新版であるHDP2.4を始めとし、データフローの管理ソフトウェアパッケージであるHortonworks DataFlow (HDF)、クラウド環境へのHDPのデプロイを簡単に行うCloudBreakなど、Hortonworksの提供するソフトウェアをひと通りご紹介いたします。Hadoopについて知りたい方から、普段Hadoopを触っている方にもお楽しみいただけるよう、できるだけ技術的な話を中心に説明いたします。