New Relic連携とGoogle Cloud Platform（GCP）には、Google Cloud DataflowのデータをNew Relicに報告するものが含まれます。本ドキュメントでは、GCP Cloud Dataflowインテグレーションを有効にする方法と、それが報告するデータについて解説します。
特徴
Cloud Dataflowは、Apache BeamをベースとしたGoogle Cloudのフルマネージドのストリーミングおよびバッチデータ処理サービスです。New RelicのDataflowインテグレーションは、各Dataflowジョブのワーカーリソース、スループット、ラグ、およびジョブ状態のメトリクスを収集します。
統合をアクティブ化する
このインテグレーションを有効にするには、標準手順に従い、GCPサービスをNew Relicに接続します：
ポーリング頻度
New Relicインテグレーションは、ポーリング間隔に従って、GCPサービスをクエリします。ポーリング間隔はインテグレーションによって異なります。Google Cloud Dataflowのポーリング頻度は5分です。解像度は1分ごとに1データポイントです。
重要
Cloud Dataflowは、リミテッドプレビューでWIFインテグレーションの1分間のポーリング間隔をサポートしています。アクセスをリクエストするには、New Relicサポートにお問い合わせください。
ワークロード Identity Federation
データを見つけて使用する
インテグレーションを有効にすると、DataflowリソースがNew Relicエンティティエクスプローラーにエンティティとして表示されます。ダッシュボードを表示してサービスを管理するには、one.newrelic.com > All capabilities > Infrastructure > GCPに移動してください。
GCPクラウドモニタリングで利用可能なすべてのDataflowメトリクスは、Metricイベントタイプのディメンションメトリクスとして収集されます。この表以外の追加のメトリクスは自動的に収集されます。完全なリストについては、GoogleのDataflowメトリクスドキュメントをご覧ください。
エンティティ
メトリックデータ
主要メトリクス — Job
メトリクス名 | ユニット | 説明 |
|---|---|---|
| Count | 現在Dataflowジョブに割り当てられているvCPUの数です。 |
| 秒 | Dataflowジョブによって消費された合計vCPU秒数。 |
| Count | Dataflowジョブによって生成された要素の数（変換でファセット）。 |
| 秒 | 要素がDataflowパイプラインで待機している最大時間。 |
| 秒 | Dataflowジョブのデータウォーターマークの経過時間。 |
| 秒 | Dataflowジョブの各ステージで観察されたシステムラグ。 |
| Count | Dataflowジョブによって出力され、カウンター名でファセット化されたユーザー定義カウンター。 |
Dataflowメトリクスの完全なリストについては、GoogleのDataflowメトリクスドキュメントをご覧ください。
サービスアカウントまたはユーザーアカウント
データを見つけて使用する
インテグレーションデータを検索するには、 one.newrelic.com > All capabilities > Infrastructure > GCPに移動してインテグレーションを選択してください。
データは、以下の イベントタイプ に添付されます。
エンティティ | イベントタイプ | プロバイダー |
|---|---|---|
ジョブ |
|
|
データの使用方法の詳細については、統合データの理解と使用を参照してください。
メトリックデータ
このインテグレーションは、JobのGCP Dataflowデータを収集します。
データフロー ジョブデータ
メトリック | ユニット | 説明 |
|---|---|---|
| バイト | このDataflowジョブで処理されたシャッフルデータの請求可能バイト。 |
| Count | このDataflowジョブが現在使用しているvCPUの数です。これは、現在のワーカー数に、ワーカーあたりのvCPU数をかけたものです。 |
| Count | このDataflowジョブが使用している現在のシャッフルスロット。 |
| 秒 | すべてのデータがパイプラインで処理されるまでの年齢（イベントのタイムスタンプからの時間）です。 |
| 秒 | このパイプラインの現在の実行が、これまでに「実行中」の状態にあった時間を秒単位で表します。ランが完了すると、次のランが開始されるまで、この値はそのランの継続時間のままです。 |
| Count | これまでにpcollectionに追加された要素の数。 |
| バイト | これまでにpcollectionに追加されたバイト数の推定値。Dataflow は、pcollection 内の要素の平均エンコード サイズを計算し、それを要素数で割り算します。 |
| Count | この仕事は失敗しました。 |
| 秒 | パイプラインのこのステージですべてのデータが処理されるまでの年齢（イベントのタイムスタンプからの時間）。 |
| 秒 | パイプラインのステージごとに、データのアイテムが処理中または処理待ちの状態にある現在の最大時間（秒）。 |
| 秒 | データのアイテムが処理中または処理待ちである現在の最大時間を秒単位で表します。 |
| その他 | このDataflowジョブに割り当てられたメモリの合計GB秒です。 |
| その他 | このDataflowジョブに関連するすべてのワーカーが使用するすべてのパーシステントディスクの合計GB秒。 |
| バイト | このDataflowジョブで処理されたシャッフルデータの総バイト数。 |
| バイト | このDataflowジョブで処理されたストリーミングデータの総バイト数です。 |
| 秒 | このDataflowジョブが使用するvCPUの総秒数。 |
| Count | ユーザー定義のカウンターメトリック。 |