Googleが、ログを処理するために、クラウド・サービスを使用する方法を紹介する。 2015年12月02日
By Jaikumar Vijayan、eWEEK
Googleは、企業に、多くのソースから、ログを処理する方法と、Google Cloud PlatformとGoogle Cloud Dataflowを使用して、意味のある情報を抽出する方法を示すことを目指している。
Googleは、クラウド・サービスやアプリケーションにより生成される、多量のログ・データから、価値を抽出するする方法を模索している企業に対し、新たな技術的な資料やリファレンスを提供した。
Googleのソリューション・アーキテクト、Sandeep Parikh氏によると、このようなログ・データは、自分たちのクラウド・サービスやアプリケーションが、処理する方法だけでなく、ユーザが、クラウド・サービスやアプリケーションと対話する方法に対する、価値のある洞察を、企業に提供するという。
しかし、含まれる大量のデータセットと、さらに複雑になったデータは、ログ・データから価値を抽出して、分析するためのビジネスを難しくしている。
Sandeep Parikh氏によると、複数のソースから得られるログは、照合や問合せを、難しくすているという。
大量のログ・データを、収集、照合、および、分析するための基盤を構築することは、難しく、大規模なストレージ・システムと、分散されたサーバを運用するために、経験や知識を必要とする。
この技術資料をリリースする目的は、企業に、さまざまなソースから得られるログを処理するために、Google Cloud Platformサービスと、Google Cloud Dataflowを活用できるようにするための、方法やアイデアを提供することである。
Cloud Dataflowは、Googleが、バッチ処理モデルと共に、リアルタイムなストリーミング・モデルにおいて、膨大なログ・データを分析するのを助ける、昨年に開始された、管理サービスである。
Cloud Dataflowは、Google Cloud Storageや他のソースからの、ログ・データを読んで、処理し、メタデータを抽出し、変換するために使用される。
Cloud Dataflowで処理されたデータは、GoogleのBigQuery分析エンジンへ送られ、レビューされ、分析される。
同様に、企業は、クラウド・サービスやアプリケーションから、ログを収集し、Cloud Storageに、データを保存するために、GoogleのCloud Loggingサービスを使用できる。
Cloud Storageのデータは、Data Flowや、他のクラウド・サービスにより、アクセスされる。
この技術的なレポートは、企業が、クラウド・サービスやアプリケーションを構成したり、ログ・ファイルを収集したり、ログ・データを保存、抽出、処理したり、データから洞察を得たりするために、Cloud Loggingサービスを使用できる、シナリオを提供する。
このレポートは、ユーザが、オンラインで、特定の製品をブラウズできるようにし、実際の店舗の場所を見つけられるようにするために使用する、ショッピング・アプリの例を提供している。
Cloud Loggingサービスで、管理者は、アプリにより生成された、ログ・データを収集し、BigQueryにロードし、データを問い合わせるために、環境を構成することができる。
このレポートは、Cloud Dataflowへ、データを流し、ほぼリアルタイムに、ログを処理する方法や、Cloud Loggingを再構成するプロセスなどを詳説している。
ログを解析することは、企業にとって、さらに重要な仕事になった。
クラウド・サービス、モバイル・デバイス、および、企業ネットワークの相互接続の増加は、多くの企業において、データの大洪水の原因になっている。
Splunk、Amazon、Loggr、Loggly、および、PaperTrailを含む、多くのベンダが、近年、企業が、問題を処理するのを支援するよう、設計された、さまざまなログ管理サービスを提供している。
