VI
Tiếng Nhật Tiếng Anh Tiếng Việt
AITracer
AITracer / Tài liệu / Hướng dẫn sử dụng Dashboard

Hướng dẫn sử dụng Dashboard

Tìm kiếm và phân tích log, hiển thị chi phí và giám sát hiệu suất

Mục lục

Tổng quan Dashboard

Dashboard AITracer cho phép bạn giám sát trạng thái hoạt động của ứng dụng LLM theo thời gian thực.

Menu chính

Trang chủ
Log
Phân tích
Phiên
Người dùng
Cảnh báo
Dự án
Cài đặt

Màn hình chính

Màn hình chính cho phép bạn xem các chỉ số quan trọng chỉ trong một cái nhìn.

Thẻ Chỉ số Chính

Chỉ số Mô tả
Tổng số Yêu cầu Tổng số cuộc gọi API trong khoảng thời gian đã chọn
Tổng Chi phí Phí sử dụng API trong khoảng thời gian đã chọn (USD)
Độ trễ Trung bình Thời gian phản hồi trung bình của cuộc gọi API
Tỷ lệ Lỗi Tỷ lệ phần trăm các yêu cầu thất bại
Tổng Token Tổng của token đầu vào và đầu ra

Chọn Khoảng thời gian

Chọn khoảng thời gian hiển thị từ menu thả xuống ở góc trên bên phải.

  • 1 giờ qua
  • 24 giờ qua
  • 7 ngày qua
  • 30 ngày qua
  • Khoảng thời gian tùy chỉnh

Hiển thị Biểu đồ

  • Xu hướng Yêu cầu: Thay đổi số lượng yêu cầu theo thời gian
  • Xu hướng Chi phí: Thay đổi chi phí hàng ngày
  • Phân phối Độ trễ: Xu hướng P50/P95/P99
  • Sử dụng theo Model: Biểu đồ tròn phân chia

Tìm kiếm & Xem Log

Trong menu "Log", bạn có thể tìm kiếm và xem tất cả các log cuộc gọi API.

Tính năng Lọc

Bộ lọc Mô tả Ví dụ
Khoảng thời gian Lọc theo phạm vi ngày 24 giờ qua
Dự án Lọc theo dự án my-chatbot
Model Lọc theo model sử dụng gpt-4, claude-3
Nhà cung cấp Lọc theo nhà cung cấp OpenAI, Anthropic
Trạng thái Lọc theo thành công/lỗi error
Trace ID Tìm kiếm trace cụ thể trace-abc123
Metadata Tìm theo metadata tùy chỉnh user_id:user-456

Các mục Hiển thị Danh sách Log

  • Thời gian: Thời gian yêu cầu
  • Model: Tên model sử dụng
  • Trạng thái: Thành công/Lỗi
  • Token: Số token Đầu vào/Đầu ra
  • Chi phí: Chi phí ước tính (USD)
  • Độ trễ: Thời gian phản hồi (ms)

Xem Chi tiết Log

Nhấn vào log để xem thông tin chi tiết.

  • Dữ liệu Đầu vào: Nội dung yêu cầu (prompts, messages)
  • Dữ liệu Đầu ra: Nội dung phản hồi
  • Metadata: Metadata tùy chỉnh
  • Thông tin Trace: Liên kết đến các yêu cầu liên quan
  • Chi tiết Lỗi: Thông báo lỗi và loại lỗi
Bảo vệ PII
Khi bật tính năng phát hiện PII, thông tin cá nhân sẽ được hiển thị đã che.

Tính năng Phân tích

Trong menu "Phân tích", bạn có thể xem các báo cáo phân tích chi tiết.

Phân tích Chi phí

  • Xu hướng Chi phí Hàng ngày: Biểu đồ hiển thị thay đổi chi phí hàng ngày
  • Chi phí theo Model: Model nào đang tiêu tốn chi phí
  • Chi phí theo Dự án: Phân chia chi phí theo dự án
  • Hiệu quả Chi phí: So sánh chi phí mỗi token

Phân tích Hiệu suất

  • Phân phối Độ trễ: Phân vị P50, P95, P99
  • Độ trễ theo Model: So sánh thời gian phản hồi theo model
  • Hiệu suất theo Thời gian: Thay đổi hiệu suất theo thời điểm trong ngày
  • Phân tích Nút thắt: Xu hướng các yêu cầu chậm

Phân tích Sử dụng

  • Xu hướng Yêu cầu: Số lượng yêu cầu theo thời gian
  • Sử dụng Token: Xu hướng token đầu vào/đầu ra
  • Xu hướng Tỷ lệ Lỗi: Thay đổi tỷ lệ lỗi
  • Sử dụng theo Người dùng: Phân tích theo metadata user_id

Phân tích Phiên

  • Số lượng Phiên: Xu hướng số phiên hoạt động
  • Trung bình Lượt: Số lượng hội thoại mỗi phiên
  • Thời lượng Phiên: Thời lượng phiên trung bình
  • Phản hồi: Tổng hợp phản hồi người dùng

Phân tích Người dùng Ứng dụng

Tính năng Người dùng Ứng dụng cho phép bạn theo dõi và phân tích sử dụng của từng người dùng cuối trong ứng dụng AI của bạn. Bằng cách chỉ định user_id, bạn có thể hiểu chi phí, sử dụng và mẫu hành vi của từng người dùng.

Về Tính năng Người dùng Ứng dụng
Tính năng Người dùng Ứng dụng có sẵn từ gói Starter trở lên.

Danh sách Người dùng Ứng dụng

Bạn có thể xem danh sách tất cả người dùng từ menu "Người dùng Ứng dụng" trong thanh bên.

Mục Mô tả
ID Người dùng user_id đã chỉ định trong SDK
Số Yêu cầu Tổng yêu cầu API do người dùng gửi
Số Token Tổng token đã sử dụng (đầu vào + đầu ra)
Chi phí Chi phí API người dùng đã tiêu (USD)
Số Lỗi Số yêu cầu có lỗi
Truy cập Đầu tiên Thời gian log đầu tiên được ghi nhận
Truy cập Cuối Thời gian log cuối được ghi nhận

Xem Chi tiết Người dùng

Nhấn vào ID người dùng để xem thông tin chi tiết của người dùng đó.

  • Thẻ Tóm tắt: Số yêu cầu, chi phí, số token, độ trễ trung bình, tỷ lệ lỗi
  • Sử dụng theo Model: Phân chia các model người dùng đã sử dụng
  • Log Gần đây: Lịch sử cuộc gọi API gần đây

Trường hợp Sử dụng

  • Xác định Người dùng Nặng: Hiểu người dùng chi phí cao và phân tích mẫu sử dụng
  • Điều tra Người dùng Gây Lỗi: Xác định nguyên nhân lỗi thường xuyên cho người dùng cụ thể
  • Tham khảo Tính phí & Giới hạn: Thiết kế tính phí dựa trên sử dụng API mỗi người dùng
  • Cải thiện Trải nghiệm Người dùng: Xem xét biện pháp cho người dùng có độ trễ cao

Cấu hình SDK

Để theo dõi người dùng, chỉ định user_id khi bắt đầu phiên hoặc trong metadata.

# Chỉ định user_id trong phiên
with tracer.session(
    session_id="session-123",
    user_id="user-456"
) as session:
    response = client.chat.completions.create(...)

# Hoặc chỉ định trong metadata
tracer.set_metadata({"user_id": "user-456"})

Xem Tham khảo SDK - Quản lý Phiên để biết chi tiết.

Quản lý Dự án

Bạn có thể nhóm log một cách hợp lý bằng cách sử dụng dự án. Xem Hướng dẫn Quản lý Dự án để biết cách chỉ định dự án trong SDK và các thực hành tốt nhất.

Tạo Dự án

  1. Mở menu "Dự án"
  2. Nhấn "+ Dự án Mới"
  3. Nhập tên và mô tả dự án
  4. Nhấn "Tạo"

Ví dụ Sử dụng Dự án

Tên Dự án Mục đích
production Log môi trường sản xuất
staging Log môi trường staging
development Log môi trường phát triển
chatbot-v2 Log tính năng cụ thể

Cài đặt Dự án

  • Cảnh báo Mặc định: Quy tắc cảnh báo riêng cho dự án
  • Lưu trữ Dữ liệu: Thời gian lưu log (chỉ Enterprise)
  • Quyền Truy cập: Cài đặt quyền thành viên nhóm

Cài đặt

Quản lý API Key

Quản lý API key trong "Cài đặt" -> "API Keys".

  • Tạo Mới: Phát hành API key mới
  • Thu hồi: Vô hiệu hóa key hiện có
  • Quyền: Đặt quyền truy cập theo key
  • Thống kê Sử dụng: Xem số yêu cầu theo key

Quản lý Nhóm

Quản lý thành viên nhóm trong "Cài đặt" -> "Nhóm".

  • Mời Thành viên: Mời qua địa chỉ email
  • Cài đặt Vai trò: Quản trị viên/Thành viên/Người xem
  • Kiểm soát Truy cập: Quyền cấp dự án

Cài đặt Tích hợp

Cấu hình tích hợp dịch vụ bên ngoài trong "Cài đặt" -> "Tích hợp".

  • Slack: Địa chỉ nhận thông báo cảnh báo
  • Webhook: Endpoint thông báo tùy chỉnh

Thanh toán & Gói

Quản lý thông tin thanh toán và thay đổi gói trong "Cài đặt" -> "Gói".

  • Gói Hiện tại: Gói hiện tại và mức sử dụng
  • Thay đổi Gói: Nâng cấp/Hạ cấp
  • Lịch sử Thanh toán: Xem hóa đơn trước
  • Phương thức Thanh toán: Cập nhật thông tin thẻ tín dụng