ダッシュボードの使い方

ダッシュボード概要

AITracerダッシュボードでは、LLMアプリケーションの運用状況をリアルタイムで監視できます。

メインメニュー

ホーム画面

ホーム画面では、重要な指標をひと目で確認できます。

主要指標カード

指標	説明
総リクエスト数	選択期間内のAPI呼び出し総数
総コスト	選択期間内のAPI利用料金（USD）
平均レイテンシ	API呼び出しの平均応答時間
エラー率	失敗したリクエストの割合
総トークン	入力・出力トークンの合計

期間の選択

画面右上のドロップダウンから表示期間を選択できます。

過去1時間
過去24時間
過去7日間
過去30日間
カスタム期間

グラフ表示

リクエスト数推移：時系列でのリクエスト数変化
コスト推移：日別のコスト変化
レイテンシ分布：P50/P95/P99の推移
モデル別使用量：円グラフでの内訳

ログの検索・閲覧

「ログ」メニューでは、すべてのAPI呼び出しログを検索・閲覧できます。

フィルター機能

フィルター	説明	例
期間	日時範囲で絞り込み	過去24時間
プロジェクト	プロジェクトで絞り込み	my-chatbot
モデル	使用モデルで絞り込み	gpt-4, claude-3
プロバイダー	プロバイダーで絞り込み	OpenAI, Anthropic
ステータス	成功/エラーで絞り込み	error
トレースID	特定のトレースを検索	trace-abc123
メタデータ	カスタムメタデータで検索	user_id:user-456

ログ一覧の表示項目

日時：リクエストのタイムスタンプ
モデル：使用されたモデル名
ステータス：成功/エラー
トークン：入力/出力トークン数
コスト：推定コスト（USD）
レイテンシ：応答時間（ms）

ログ詳細画面

ログをクリックすると、詳細情報を確認できます。

入力データ：リクエストの内容（プロンプト、メッセージ）
出力データ：レスポンスの内容
メタデータ：カスタムメタデータ
トレース情報：関連するリクエストのリンク
エラー詳細：エラーの場合、エラーメッセージと種類

PII保護
PII検出が有効な場合、個人情報はマスキングされて表示されます。

分析機能

「分析」メニューでは、詳細な分析レポートを確認できます。

コスト分析

日別コスト推移：日ごとのコスト変化をグラフ表示
モデル別コスト：どのモデルにコストがかかっているか
プロジェクト別コスト：プロジェクトごとのコスト内訳
コスト効率：トークンあたりのコスト比較

パフォーマンス分析

レイテンシ分布：P50, P95, P99のパーセンタイル
モデル別レイテンシ：モデルごとの応答時間比較
時間帯別パフォーマンス：時間帯によるパフォーマンス変化
ボトルネック分析：遅いリクエストの傾向

使用量分析

リクエスト数推移：時系列でのリクエスト数
トークン使用量：入力/出力トークンの推移
エラー率推移：エラー発生率の変化
ユーザー別使用量：user_idメタデータによる分析

セッション分析

セッション数：アクティブセッション数の推移
平均ターン数：1セッションあたりの会話回数
セッション時間：平均セッション継続時間
フィードバック：ユーザーフィードバックの集計

アプリユーザー分析

アプリユーザー機能では、AIアプリケーションのエンドユーザーごとの利用状況を追跡・分析できます。user_idを指定することで、ユーザー単位でのコスト・使用量・行動パターンを把握できます。

アプリユーザー機能について
アプリユーザー機能はStarterプラン以上でご利用いただけます。

アプリユーザー一覧

サイドメニューの「アプリユーザー」から、全ユーザーの一覧を確認できます。

項目	説明
ユーザーID	SDKで指定した`user_id`
リクエスト数	ユーザーが発行したAPIリクエスト総数
トークン数	使用した総トークン数（入力+出力）
コスト	ユーザーが消費したAPI費用（USD）
エラー数	エラーが発生したリクエスト数
初回アクセス	初めてログが記録された日時
最終アクセス	最後にログが記録された日時

ユーザー詳細画面

ユーザーIDをクリックすると、そのユーザーの詳細情報を確認できます。

サマリーカード：リクエスト数、コスト、トークン数、平均レイテンシ、エラー率
モデル別使用量：ユーザーが使用したモデルの内訳
最近のログ：直近のAPI呼び出し履歴

活用例

ヘビーユーザーの特定：コストの高いユーザーを把握し、利用パターンを分析
エラー発生ユーザーの調査：特定ユーザーで頻発するエラーの原因を特定
課金・制限の参考：ユーザーごとのAPI使用量に基づく課金設計
ユーザー体験の改善：レイテンシが高いユーザーへの対策検討

SDKでの設定方法

ユーザーを追跡するには、SDKでセッション開始時またはメタデータにuser_idを指定します。

# セッションでuser_idを指定
with tracer.session(
    session_id="session-123",
    user_id="user-456"
) as session:
    response = client.chat.completions.create(...)

# またはメタデータで指定
tracer.set_metadata({"user_id": "user-456"})

詳細はSDKリファレンス - セッション管理をご覧ください。

プロジェクト管理

プロジェクトを使ってログを論理的にグループ化できます。SDKでのプロジェクト指定方法やベストプラクティスはプロジェクト管理ガイドをご覧ください。

プロジェクトの作成

「プロジェクト」メニューを開く
「+ 新規プロジェクト」をクリック
プロジェクト名と説明を入力
「作成」をクリック

プロジェクトの使い分け例

プロジェクト名	用途
production	本番環境のログ
staging	ステージング環境のログ
development	開発環境のログ
chatbot-v2	特定機能のログ

プロジェクト設定

デフォルトアラート：プロジェクト固有のアラートルール
データ保持期間：ログの保持期間（Enterpriseのみ）
アクセス権限：チームメンバーの権限設定

設定

APIキー管理

「設定」→「APIキー」でAPIキーを管理できます。

新規発行：新しいAPIキーを発行
無効化：既存のキーを無効化
権限設定：キーごとにアクセス権限を設定
使用状況：キーごとのリクエスト数を確認

チーム管理

「設定」→「チーム」でチームメンバーを管理できます。

メンバー招待：メールアドレスで招待
ロール設定：管理者/メンバー/閲覧者
アクセス制御：プロジェクトごとの権限設定

連携設定

「設定」→「連携」で外部サービスとの連携を設定できます。

Slack：アラート通知の送信先
Webhook：カスタム通知エンドポイント

請求・プラン

「設定」→「プラン」で請求情報とプラン変更を管理できます。

現在のプラン：利用中のプランと使用量
プラン変更：アップグレード/ダウングレード
請求履歴：過去の請求書を確認
支払い方法：クレジットカード情報の更新