Mục lục
Tổng quan chức năng cảnh báo
Với chức năng cảnh báo của AITracer, bạn có thể phát hiện bất thường trong ứng dụng LLM ngay lập tức và nhận thông báo.
Phát hiện lỗi
Thông báo khi tỷ lệ lỗi vượt ngưỡng
Giám sát chi phí
Cảnh báo trước khi vượt ngân sách
Giám sát độ trễ
Phát hiện bất thường thời gian phản hồi
Giám sát sử dụng
Phát hiện bất thường số yêu cầu
Các loại cảnh báo
1. Cảnh báo tỷ lệ lỗi
Kích hoạt khi tỷ lệ lỗi vượt ngưỡng trong khung thời gian chỉ định.
| Mục cài đặt | Mô tả | Ví dụ |
|---|---|---|
| Ngưỡng | Phần trăm tỷ lệ lỗi | 5% |
| Khung thời gian | Khoảng thời gian đánh giá | 5 phút, 15 phút, 1 giờ |
| Số yêu cầu tối thiểu | Số yêu cầu tối thiểu cần để đánh giá | 10 yêu cầu |
2. Cảnh báo chi phí
Kích hoạt khi chi phí ngày/tuần/tháng vượt ngưỡng hoặc dự đoán vượt ngưỡng.
| Mục cài đặt | Mô tả | Ví dụ |
|---|---|---|
| Ngân sách | Số tiền (USD) | $100 |
| Kỳ | Ngày/Tuần/Tháng | Tháng |
| Ngưỡng cảnh báo | Bao nhiêu % ngân sách thì cảnh báo | 80% |
3. Cảnh báo độ trễ
Kích hoạt khi độ trễ P50/P95/P99 vượt ngưỡng.
| Mục cài đặt | Mô tả | Ví dụ |
|---|---|---|
| Percentile | P50, P95, P99 | P95 |
| Ngưỡng | Mili giây | 3000ms |
| Khung thời gian | Khoảng thời gian đánh giá | 15 phút |
4. Cảnh báo số yêu cầu
Kích hoạt khi số yêu cầu tăng đột ngột/giảm đột ngột.
| Mục cài đặt | Mô tả | Ví dụ |
|---|---|---|
| Điều kiện | Vượt/Dưới | Vượt |
| Ngưỡng | Số yêu cầu | 1000 lần/giờ |
| Khung thời gian | Khoảng thời gian đánh giá | 1 giờ |
Tạo quy tắc cảnh báo
Tạo từ Dashboard
- Đăng nhập vào Dashboard
- Mở menu "Cảnh báo"
- Nhấn nút "+ Quy tắc mới"
- Chọn loại cảnh báo
- Cài đặt điều kiện và ngưỡng
- Chọn kênh thông báo
- Nhấn "Lưu"
Điều kiện lọc
Bạn có thể cài đặt các bộ lọc sau cho quy tắc cảnh báo:
- Dự án: Chỉ áp dụng cho dự án cụ thể
- Mô hình: Chỉ áp dụng cho mô hình cụ thể (gpt-4, claude-3, v.v.)
- Nhà cung cấp: Chỉ OpenAI, Anthropic, v.v.
- Metadata: Lọc theo metadata tùy chỉnh
Kênh thông báo
Thông báo Email
Có sẵn trên tất cả các gói. Gửi thông báo đến địa chỉ email của thành viên nhóm.
- Thông báo ngay khi cảnh báo kích hoạt
- Có thể gửi đến nhiều địa chỉ email
- Kiểm soát tần suất thông báo (cài đặt khoảng cách tối thiểu)
Tích hợp Slack
Có sẵn từ gói Pro trở lên. Gửi thông báo theo thời gian thực đến kênh Slack.
- Mở "Cài đặt" -> "Tích hợp" trên dashboard
- Nhấn "Kết nối Slack"
- Xác thực workspace Slack
- Chọn kênh nhận thông báo
Bao gồm tên cảnh báo, điều kiện kích hoạt, giá trị hiện tại, dự án/mô hình bị ảnh hưởng.
Webhook
Có sẵn từ gói Starter trở lên. Gửi yêu cầu POST đến endpoint bất kỳ.
// Ví dụ payload Webhook
{
"alert_id": "alert_abc123",
"alert_name": "High Error Rate",
"type": "error_rate",
"severity": "critical",
"triggered_at": "2025-01-15T10:30:00Z",
"condition": {
"threshold": 5,
"current_value": 8.5,
"time_window": "5m"
},
"filters": {
"project": "my-chatbot",
"model": "gpt-4"
}
}
Ví dụ cài đặt
Giám sát lỗi môi trường sản xuất
Nội dung cài đặt:
- Loại cảnh báo: Tỷ lệ lỗi
- Ngưỡng: 5%
- Khung thời gian: 5 phút
- Số yêu cầu tối thiểu: 20
- Bộ lọc: Dự án = production
- Thông báo: Kênh Slack #alerts
Giám sát ngân sách chi phí tháng
Nội dung cài đặt:
- Loại cảnh báo: Chi phí
- Ngân sách: $500/tháng
- Ngưỡng cảnh báo: 80% ($400)
- Ngưỡng nguy hiểm: 100% ($500)
- Thông báo: Email + Slack
Phát hiện bất thường độ trễ
Nội dung cài đặt:
- Loại cảnh báo: Độ trễ
- Percentile: P95
- Ngưỡng: 5000ms
- Khung thời gian: 15 phút
- Bộ lọc: Mô hình = gpt-4
- Thông báo: Webhook (PagerDuty)
Giới hạn theo gói
| Tính năng | Free | Starter | Pro | Enterprise |
|---|---|---|---|---|
| Số quy tắc cảnh báo | 3 | 10 | 50 | Không giới hạn |
| Thông báo Email | 1 địa chỉ | 5 địa chỉ | Không giới hạn | Không giới hạn |
| Tích hợp Slack | - | - | 1 workspace | Không giới hạn |
| Webhook | - | 2 endpoint | 10 endpoint | Không giới hạn |
| Khoảng đánh giá | 15 phút | 5 phút | 1 phút | Thời gian thực |
Cảnh báo cùng quy tắc kích hoạt tối thiểu cách nhau 5 phút. Điều này ngăn chặn spam thông báo.
