New Relic連携とGoogle Cloud Platform(GCP)との連携には、Google Cloud Vertex AIのデータをNew Relicに報告する連携が含まれます。本ドキュメントでは、GCP Vertex AIインテグレーションを有効にする方法を解説し、報告されるデータについて説明します。
特徴
Vertex AIは、機械学習モデルや生成AIアプリケーションを構築、デプロイ、管理するためのGoogle Cloudの統合プラットフォームです。New Relic Vertex AIインテグレーションは、ロケーション、エンドポイント、インデックス、機能ストア、および機能オンラインストア全体のパフォーマンス、スループット、レイテンシ、およびリソース使用率のメトリクスを収集します。
統合をアクティブ化する
このインテグレーションを有効にするには、標準手順に従い、GCPサービスをNew Relicに接続します:
ポーリング頻度
New Relicインテグレーションは、インテグレーションによって異なるポーリング間隔に従って、GCPサービスをクエリします。Google Cloud Vertex AIのポーリング頻度は5分です。解像度は1分あたり1データポイントです。
ワークロード Identity Federation
データを見つけて使用する
インテグレーションを有効にすると、Vertex AIリソースがNew Relicのエンティティエクスプローラーにエンティティとして表示されます。ダッシュボードを表示してサービスを管理するには、one.newrelic.com > All capabilities > Infrastructure > GCPに移動してください。
GCPクラウドモニタリングで利用可能なすべてのVertex AIメトリクスは、Metricイベントタイプのディメンションメトリクスとして収集されます。この表以外の追加のメトリクスは自動的に収集されます。完全なリストについては、GoogleのVertex AIメトリクスドキュメントをご覧ください。
エンティティ
メトリックデータ
主要なメトリクス — ロケーション
メトリクス名 | ユニット | 説明 |
|---|---|---|
| Count | 現在、ロケーションで実行中のパイプラインジョブ数。 |
| Count | ロケーションで現在実行されているPipelineタスクの数。 |
| Count | ベースモデル別、プロジェクト別のオンライン予測 requests 数。 |
| Count | ベースモデルあたりのオンライン予測requestsの現在のクォータ使用量。 |
| Count | ベースモデルあたりのオンライン予測requestsの現在の割り当て制限。 |
| Count | オンライン予測の requests クォータを超過した試行回数。 |
| Count | ベースモデルごと、プロジェクトごと、1分あたりのオンライン予測入力トークン。 |
| Count | ベースモデルごと、プロジェクトごと、1分あたりのオンライン予測出力トークン数。 |
| Count | ロケーション内のパブリッシャーモデルによって提供されたトークンの総数。 |
| ミリ秒 | パブリッシャーモデルからの最初の応答トークンまでのレイテンシ。 |
ロケーションメトリクスの完全なリストについては、GoogleのVertex AIメトリクスドキュメントをご覧ください。
主要なメトリクス — エンドポイント
メトリクス名 | ユニット | 説明 |
|---|---|---|
| パーセント | 過去のサンプル期間において、アクセラレータがアクティブに処理を行っていた時間の平均割合。 |
| バイト | デプロイされたモデルレプリカによって割り当てられたアクセラレータメモリ。 |
| パーセント | デプロイされたモデルレプリカのCPU使用率。 |
| バイト | デプロイされたモデルレプリカによって使用中のメモリ。 |
| バイト | デプロイされたモデルレプリカによって受信されたネットワークバイト数。 |
| バイト | デプロイされたモデルレプリカによって送信されたネットワークバイト数。 |
| Count | エンドポイントによって提供されたオンライン予測の数。 |
| ミリ秒 | デプロイモデルのオンライン予測レイテンシ。 |
| Count | エンドポイントから返されたオンライン予測エラーの数。 |
| Count | レスポンスコード別に分類された、エンドポイントから返されたオンライン予測レスポンスの数。 |
| Count | デプロイされたモデルを提供するアクティブレプリカの数。 |
| Count | デプロイされたモデルのアクティブレプリカのターゲット数。 |
エンドポイントメトリクスの完全なリストについては、GoogleのVertex AIメトリクスドキュメントをご覧ください。
主要なメトリクス — インデックス
メトリクス名 | ユニット | 説明 |
|---|---|---|
| Count | 現在、インデックスをバッキングしているシャード数。 |
| Count | インデックスに送信されたストリーム更新requestsの数。 |
| Count | ストリーム更新を介して正常にアップサートまたは削除されたデータポイントの数。 |
| ミリ秒 | ストリーム更新の応答から更新が有効になるまでのレイテンシ。 |
インデックスメトリクスの完全なリストについては、GoogleのVertex AIメトリクスドキュメントをご覧ください。
主要なメトリクス — Featurestore
メトリクス名 | ユニット | 説明 |
|---|---|---|
| パーセント | Featurestoreオンラインストレージ内のノード全体の平均CPU負荷。 |
| パーセント | Featurestoreオンラインストレージ内の最もホットなノードのCPU負荷。 |
| Count | Featurestoreオンラインストレージ用にプロビジョニングされたノード数。 |
| Count | Featurestoreオンラインストレージで更新されたエンティティの数。 |
| Count | EntityType別の、Featurestoreによって処理されたオンラインサービングrequests数。 |
| ミリ秒 | EntityType別のFeaturestoreでのオンラインサービングリクエストのレイテンシ。 |
| バイト | EntityTypeでファセットされた、Featurestoreでのオンラインサービングリクエストサイズ。 |
| バイト | EntityType別の、Featurestoreでのオンラインサービングレスポンスサイズ。 |
| バイト | Featurestoreに保存された合計データ。 |
| バイト | Featurestoreのオフラインデータに対して処理された課金対象バイト数。 |
| Count | オフラインストレージに処理されたストリーミング書き込みrequestsの数。 |
| 秒 | streaming-write APIが呼び出されてから、レコードがオフラインストレージに到達するまでの時間。 |
featurestoreメトリクスの完全なリストについては、GoogleのVertex AIメトリクスドキュメントを参照してください。
主要なメトリクス — 機能 Online Store
メトリクス名 | ユニット | 説明 |
|---|---|---|
| Count | FeatureViewでファセット化された、機能オンラインストアによって処理されたオンラインサービングrequestsの数。 |
| ミリ秒 | FeatureViewでファセット化された、機能オンラインストアでのオンラインサービングリクエストのレイテンシ。 |
| バイト | FeatureViewでファセット化された、機能オンラインストアでのオンラインサービングレスポンスサイズ。 |
| Count | 機能オンラインストアで現在実行中の同期の数。 |
| 秒 | 機能オンラインストアによって提供されているデータの経過時間。 |
| Count | 同期されたタイムスタンプ別の機能オンラインストアのレコードの内訳。 |
| パーセント | 機能 Online StoreをバッキングするBigtableノード全体の平均CPU負荷。 |
| パーセント | 機能オンラインストアのバックエンドとなる最も負荷の高いBigtableノードのCPU負荷。 |
| Count | 機能オンラインストアをサポートするBigtableノードの数。 |
| バイト | 機能オンラインストアに保存されている合計データ。 |
機能オンラインストアのメトリクスの完全なリストについては、GoogleのVertex AIメトリクスドキュメントをご覧ください。
主要なメトリクス — Pipelineジョブ
メトリクス名 | ユニット | 説明 |
|---|---|---|
| 秒 | 実行中のパイプラインジョブの、作成から終了までのランタイム秒数。 |
| Count | パイプラインジョブで完了したパイプラインタスクの総数。 |
パイプラインジョブのメトリクスの完全なリストについては、GoogleのVertex AIメトリクスドキュメントを参照してください。
サービスアカウントまたはユーザーアカウント
データを見つけて使用する
インテグレーションを有効化し、数分待つと(ポーリング頻度に基づきます)、 New Relic UIにデータが表示されます。 や集計設定へのリンクを含むデータを検索して使用するには、 one.newrelic.com > All capabilities > Infrastructure > GCP > (select an integration)にアクセスしてください。
データは、次のイベントタイプに添付されます。
エンティティ | イベントタイプ | プロバイダー |
|---|---|---|
終点 |
|
|
機能ストア |
|
|
機能オンラインストア |
|
|
場所 |
|
|
索引 |
|
|
パイプラインジョブ |
|
|
データの使用方法の詳細については、統合データの理解と使用を参照してください。
VertexAI エンドポイントデータ
メトリック | ユニット | 説明 |
|---|---|---|
| パーセント | 過去のサンプル期間中にアクセラレータがアクティブに処理していた時間の平均割合。 |
| バイト | デプロイされたモデルレプリカによって割り当てられたアクセラレータ メモリの量。 |
| Count | オンライン予測エラーの数。 |
| バイト | デプロイされたモデルレプリカによって割り当てられ、現在使用されているメモリの量。 |
| バイト | デプロイされたモデルレプリカによってネットワーク経由で受信されたバイト数。 |
| バイト | デプロイされたモデルレプリカによってネットワーク経由で送信されたバイト数。 |
| Count | オンライン予測の数。 |
| ミリ秒 | デプロイモデルのオンライン予測レイテンシ。 |
| ミリ秒 | プライベートデプロイモデルのオンライン予測レイテンシ。 |
| Count | デプロイされたモデルで使用されるアクティブなレプリカの数。 |
| Count | 異なるオンライン予測応答コードの数。 |
| Count | デプロイ モデルに必要なアクティブなレプリカの数。 |
VertexAI Featurestore データ
メトリック | ユニット | 説明 |
|---|---|---|
| パーセント | Featurestore オンライン ストレージ内のノードの平均 CPU 負荷。 |
| パーセント | Featurestore オンライン ストレージ内の最もホットなノードの CPU 負荷。 |
| Count | Featurestore オンライン ストレージのノード数。 |
| Count | Featurestore オンライン ストレージで更新されたエンティティの数。 |
| ミリ秒 | EntityType によるレイテンシのオンライン サービング。 |
| バイト | EntityType によるリクエスト サイズ。 |
| Count | EntityType ごとの Featurestore オンライン サービング数。 |
| バイト | EntityType による応答サイズ。 |
| バイト | 処理されたオフライン データに対して課金されるバイト数。 |
| バイト | Featurestore に保存されるバイト。 |
| Count | オフライン ストレージに対して処理されたストリーミング書き込み要求の数。 |
| 秒 | 書き込み API が呼び出されてからオフライン ストレージに書き込まれるまでの時間 (秒単位)。 |
VertexAI FeatureOnlineStore データ
メトリック | ユニット | 説明 |
|---|---|---|
| Count | FeatureView によるサービングカウントの数。 |
| バイト | FeatureView による応答サイズの提供。 |
| ミリ秒 | FeatureView によるオンライン サービスのレイテンシ。 |
| ミリ秒 | 特定の時点で実行中の同期の数。 |
| 秒 | 提供データの経過時間を秒単位で測定します。 |
| Count | 機能 Online Store のデータを同期されたタイムスタンプ別に内訳します。 |
| パーセント | 機能オンラインストア内のノードの平均 CPU 負荷。 |
| パーセント | 機能オンラインストアで最もホットなノードの CPU 負荷。 |
| Count | 機能オンラインストア(Bigtable)のノード数。 |
| Count | 機能オンラインストアに保存されたバイト。 |
VertexAI 位置データ
メトリック | ユニット | 説明 |
|---|---|---|
| Count | 基本モデルごとのリクエスト数。 |
| Count | クォータ制限を超過する試行回数。 |
| Count | 現在のクォータ制限メトリクス。 |
| Count | クォータメトリックの現在の使用状況。 |
| Count | 実行中のパイプライン ジョブの数。 |
| Count | 実行中のパイプライン タスクの数。 |
VertexAI インデックスデータ
メトリック | ユニット | 説明 |
|---|---|---|
| Count | 正常にアップサートまたは削除されたデータポイントの数。 |
| ミリ秒 | ユーザー間のレイテンシは UpsertDatapointsResponse または RemoveDatapointsResponse を受信し、その更新が有効になります。 |
| Count | ストリーム更新リクエストの数。 |
VertexAI パイプラインジョブデータ
メトリック | ユニット | 説明 |
|---|---|---|
| 秒 | 実行中のパイプライン ジョブの実行時間 (作成から終了まで) (秒)。 |
| Count | 完了したパイプライン タスクの合計数。 |