アラート設定

アラート機能の概要

AITracerのアラート機能を使うと、LLMアプリケーションの異常を即座に検知し、通知を受け取ることができます。

アラートの種類

1. エラー率アラート

指定した時間枠内でエラー率が閾値を超えた場合に発火します。

2. コストアラート

日次/週次/月次のコストが閾値を超えた場合、または超過が予測される場合に発火します。

3. レイテンシアラート

P50/P95/P99レイテンシが閾値を超えた場合に発火します。

4. リクエスト数アラート

リクエスト数が急増/急減した場合に発火します。

アラートルールの作成

ダッシュボードから作成

1. ダッシュボードにログイン
2. 「アラート」メニューを開く
3. 「+ 新規ルール」ボタンをクリック
4. アラートタイプを選択
5. 条件と閾値を設定
6. 通知チャンネルを選択
7. 「保存」をクリック

フィルター条件

アラートルールには以下のフィルターを設定できます：

• プロジェクト：特定のプロジェクトのみを対象
• モデル：特定のモデル（gpt-4, claude-3など）のみを対象
• プロバイダー：OpenAI, Anthropicなど特定のプロバイダーのみ
• メタデータ：カスタムメタデータでフィルタリング

通知チャンネル

Email通知

全プランで利用可能。チームメンバーのメールアドレスに通知を送信します。

• アラート発火時に即座に通知
• 複数のメールアドレスに送信可能
• 通知頻度の制御（最小間隔の設定）

Slack連携

Proプラン以上で利用可能。Slackチャンネルにリアルタイム通知を送信します。

1. ダッシュボードの「設定」→「連携」を開く
2. 「Slackに接続」をクリック
3. Slackワークスペースを認証
4. 通知先チャンネルを選択

Webhook

Starter以上で利用可能。任意のエンドポイントにPOSTリクエストを送信します。

// Webhook ペイロード例
{
  "alert_id": "alert_abc123",
  "alert_name": "High Error Rate",
  "type": "error_rate",
  "severity": "critical",
  "triggered_at": "2025-01-15T10:30:00Z",
  "condition": {
    "threshold": 5,
    "current_value": 8.5,
    "time_window": "5m"
  },
  "filters": {
    "project": "my-chatbot",
    "model": "gpt-4"
  }
}

設定例

本番環境のエラー監視

月次コスト予算の監視

レイテンシ異常の検知

プラン別の制限