New Relicインテグレーションには、Google Cloud Platform（GCP）とのGoogle Cloud Managed Service for Apache KafkaのデータをNew Relicに報告するものがあります。本ドキュメントでは、GCP Managed Kafkaインテグレーションを有効にする方法と、報告されるデータについて解説します。
特徴
Managed Service for Apache Kafkaは、Kafka Connectを含む、Google CloudのフルマネージドでApache Kafka互換のストリーミングプラットフォームです。New Relic Managed Kafkaインテグレーションは、クラスタ、トピック、パーティション、消費者グループ、およびKafka Connectのクラスタとコネクタ全体にわたって、スループット、ラグ、リテンション、およびコネクタヘルスメトリクスを収集します。
統合をアクティブ化する
このインテグレーションを有効にするには、標準手順に従い、GCPサービスをNew Relicに接続します：
ポーリング頻度
New Relicインテグレーションは、ポーリング間隔に従ってGCPサービスをクエリします。ポーリング間隔はインテグレーションによって異なります。Google Cloud Managed Kafkaのポーリング頻度は5分です。解像度は1分あたり1データポイントです。
重要
Managed Service for Apache Kafkaは、リミテッドプレビューでWIFインテグレーションの1分のポーリング間隔をサポートしています。アクセスをリクエストするには、New Relicサポートにお問い合わせください。
ワークロード Identity Federation
データを見つけて使用する
インテグレーションを有効にすると、Managed KafkaリソースはNew Relicのエンティティエクスプローラーにエンティティとして表示されます。ダッシュボードを表示してサービスを管理するには、one.newrelic.com > All capabilities > Infrastructure > GCPに移動します。
GCPクラウドモニタリングで利用可能なすべてのManaged Kafkaメトリクスは、Metricイベントタイプのディメンションメトリクスとして収集されます。この表以外の追加のメトリクスは自動的に収集されます。完全なリストについては、GoogleのManaged Kafkaメトリクスドキュメントをご覧ください。
エンティティ
メトリックデータ
主要メトリクス — Cluster
メトリクス名 | ユニット | 説明 |
|---|---|---|
| パーセント | Managed Kafkaクラスタ内のブローカーノード全体のCPU使用率。 |
| パーセント | Managed Kafkaクラスタのブローカーノード全体のメモリ使用率。 |
| バイト | Managed Kafkaクラスタによって使用中のストレージ。 |
| Count | Managed Kafkaクラスタで現在稼働しているブローカーの数。 |
| Count | Managed Kafkaクラスタ上のトピック数。 |
主要メトリクス — トピック
メトリクス名 | ユニット | 説明 |
|---|---|---|
| バイト | Managed Kafkaトピックに生成されたバイト数。 |
| バイト | Managed Kafkaトピックから消費されたバイト数。 |
| Count | Managed Kafkaトピックに生成されたメッセージ。 |
| Count | Managed Kafkaトピック内のパーティション数。 |
| バイト | パーティション全体におけるManaged Kafkaトピックのディスク上の合計サイズ。 |
主要なメトリクス — トピックパーティション
メトリクス名 | ユニット | 説明 |
|---|---|---|
| バイト | トピックパーティションのディスク上のサイズ。 |
| Count | トピックパーティションに生成された最新のオフセット。 |
| Count | トピックパーティション内の利用可能な最も古いオフセット。 |
| Count | トピックパーティションのログエンドオフセット。 |
| Count | パーティションが最も遅い消費者より先行しているメッセージの数。 |
主要なメトリクス — 消費者グループ
メトリクス名 | ユニット | 説明 |
|---|---|---|
| Count | 消費者グループが最新のオフセットから遅れているメッセージの数（パーティション別）。 |
| Count | 消費者グループによってコミットされた最後のオフセット。 |
| Count | 消費者グループ内のアクティブなメンバーの数。 |
| Count | 観測された消費者グループのリバランスの数。 |
主要なメトリクス — Connect Cluster
メトリクス名 | ユニット | 説明 |
|---|---|---|
| 秒 | Kafka Connectクラスタのワーカーによって消費されたCPU秒数。 |
| バイト | Kafka Connectクラスタのワーカーによって現在使用されているメモリ。 |
| Count | Kafka Connectクラスタによって処理されたコネクタAPI requestsの数。 |
| Count | Kafka Connectクラスタで現在実行中のワーカーの数。 |
| ミリ秒 | Kafka Connectクラスタ上のコネクタAPI requestsのレイテンシ分布。 |
主要なメトリクス — コネクタ
メトリクス名 | ユニット | 説明 |
|---|---|---|
| Count | タスクの状態別に分類された、コネクタで実行中のタスクの数。 |
| Count | コネクタでエラーが発生したレコードの数。 |
| Count | シンクコネクタでバッファリングされたアクティブレコード。 |
| Count | ソースコネクタによってKafkaに書き込まれたレコードの数。 |
| Count | シンクコネクタによってKafkaから読み取られたレコードの数。 |
Managed Kafkaメトリクスの完全なリストについては、GoogleのManaged Kafkaメトリクスドキュメントをご覧ください。