Google Cloud Platform（GCP） との New Relicインテグレーション には、 Google Cloud Dataproc のデータをNew Relicに報告するものがあります。本ドキュメントでは、GCP Dataprocインテグレーションを有効にする方法と、レポートされるデータについて解説します。
特徴
Cloud Dataprocは、Apache Hadoop、Apache Spark、およびその他のオープンソースのデータ処理ワークロードを実行するためのGoogle Cloudのマネージドサービスです。New Relic Dataprocインテグレーションは、各DataprocクラスタのHDFS、YARN、ジョブ、およびオペレーションのメトリクスを収集します。
統合をアクティブ化する
このインテグレーションを有効にするには、標準手順に従い、GCPサービスをNew Relicに接続します：
ポーリング頻度
New Relicインテグレーションは、インテグレーションによって異なるポーリング間隔に従って、GCPサービスをクエリします。Google Cloud Dataprocのポーリング頻度は5分です。解像度は1分あたり1データポイントです。
重要
Cloud Dataprocは、リミテッドプレビューでWIFインテグレーションの1分間のポーリング間隔をサポートしています。アクセスをリクエストするには、New Relicサポートにお問い合わせください。
ワークロード Identity Federation
データを見つけて使用する
インテグレーションを有効にすると、DataprocリソースがNew Relicエンティティエクスプローラーにエンティティとして表示されます。ダッシュボードを表示してサービスを管理するには、one.newrelic.com > All capabilities > Infrastructure > GCPに移動します。
GCPクラウドモニタリングで利用可能なすべてのDataprocメトリクスは、Metricイベントタイプでディメンショナルメトリクスとして収集されます。この表以外の追加のメトリクスは自動的に収集されます。完全なリストについては、GoogleのDataprocメトリクスドキュメントをご覧ください。
エンティティ
メトリックデータ
主要メトリクス — Cluster
メトリクス名 | ユニット | 説明 |
|---|---|---|
| Count | クラスタで実行されているHDFS DataNodeの数。 |
| ジビエ | クラスタで利用可能なHDFSストレージ容量。 |
| パーセント | クラスタで現在使用されているHDFSストレージの割合。 |
| Count | クラスタ上の異常なHDFSブロックの数。 |
| Count | クラスタに送信されたジョブの数。 |
| Count | 現在クラスタ上で実行されているジョブの数。 |
| Count | クラスタ上で失敗したジョブの数。 |
| 秒 | ジョブの送信からDataprocが完了を報告するまでの時間。 |
| 秒 | ジョブが特定の状態で費やした時間（状態別にファセット化）。 |
| Count | 送信されたクラスタオペレーションの数。 |
| Count | 現在実行中のクラスタ操作の数。 |
| Count | 失敗したクラスタ操作の数。 |
| 秒 | オペレーションの送信からDataprocが完了を報告するまでの時間。 |
| パーセント | 現在割り当てられているYARNメモリの割合。 |
| ジビエ | クラスタで利用可能な合計YARNメモリ。 |
| ジビエ | 現在要求されているが、スケジューラによってまだ割り当てられていないYARNメモリ。 |
| Count | クラスタ上のYARNコンテナの数。 |
| Count | クラスタ上のアクティブなYARNアプリケーションの数。 |
| Count | クラスタ上で実行されているYARN NodeManagerの数。 |
| Count | クラスタ上のYARN仮想コアの数。 |
Dataprocメトリクスの完全なリストについては、GoogleのDataprocメトリクスドキュメントをご覧ください。
サービスアカウントまたはユーザーアカウント
データを見つけて使用する
インテグレーションを有効化し、数分待つと（ポーリング頻度に基づきます）、 New Relic UIにデータが表示されます。 や集計設定へのリンクを含むデータを検索して使用するには、 one.newrelic.com > All capabilities > Infrastructure > GCP > (select an integration)にアクセスしてください。
データは、以下の イベントタイプ に添付されます。
エンティティ | イベントタイプ | プロバイダー |
|---|---|---|
クラスタ |
|
|
データの使用方法の詳細については、統合データの理解と使用を参照してください。
Dataproc クラスターデータ
メトリック | ユニット | 説明 |
|---|---|---|
| Count | クラスター内で稼働しているHDFS DataNodesの数を示します。 |
| ジビエ | クラスタ上で稼働しているHDFSシステムの容量をGBで示す。 |
| パーセント | 現在使用されているHDFSストレージの割合です。 |
| Count | クラスタ内の不健全なブロックの数を示す。 |
| 秒 | ユーザーがジョブを送信してから、Dataprocが完了したと報告するまでにかかったジョブの時間。 |
| 秒 | ジョブが特定の状態で過ごした時間。 |
| Count | クラスタで失敗したジョブの数を示す。 |
| Count | クラスタ上で実行されているジョブの数を示します。 |
| Count | クラスタに投入されたジョブの数を示す。 |
| 秒 | ユーザーが操作を送信してから、Dataprocが完了したと報告するまでにかかった操作時間。 |
| 秒 | オペレーションが特定の状態で過ごした時間。 |
| Count | クラスタで失敗したオペレーションの数を示す。 |
| Count | クラスター上で実行されているオペレーションの数を示します。 |
| Count | クラスタに送信されたオペレーションの数を示します。 |
| パーセント | YARNのメモリを割り当てる割合です。 |
| Count | アクティブなYARNアプリケーションの数を示す。 |
| Count | YARNコンテナの数を示す。 |
| ジビエ | YARNのメモリサイズをGBで示す。 |
| Count | クラスター内で稼働しているYARN NodeManagerの数を示す。 |
| ジビエ | スケジューラーが処理を保留している現在のメモリ要求（GB単位）。 |
| Count | YARNの仮想コアの数を示す。 |