Tổng quan hệ thống
Giám sát kho key, lưu lượng truy vấn và tình trạng kênh xoay vòng
| Thời gian | IP gọi | Model | Key sử dụng | Status | Độ trễ | Tokens (In/Out) | Cache |
|---|---|---|---|---|---|---|---|
| Chưa có dữ liệu | |||||||
Nhà cung cấp (Providers)
Quản lý các upstream API: NVIDIA là mặc định, có thể thêm provider khác
| Code | Tên | Base URL | Số key | Số model | Trạng thái |
|---|
Kho API Key upstream
Xoay vòng Round-Robin tự động, cooldown 60s khi gặp 429, tự loại key chết
| Key | Nhãn | Provider | Trạng thái | Độ trễ | Requests | Lỗi 429 | Gần nhất |
|---|
Quản lý Model
Ánh xạ modelKey client gọi sang model upstream, thiết lập fallback tự động
| Model Key | Tên hiển thị | Upstream | Provider | Fallback | Trạng thái |
|---|
Cụm máy chủ Proxy
Trạm trung gian đứng giữa Gateway và upstream - xoay vòng Round-Robin, hỗ trợ deploy 1-click lên Vercel
| Proxy URL | Đích đến | Nguồn | Server IP | Độ trễ | Trạng thái |
|---|
Khóa API cấp cho client
Token dùng để gọi endpoint /v1/chat/completions, hỗ trợ giới hạn lượt gọi mỗi ngày
| Token | Tên | Chủ sở hữu | Giới hạn/ngày | Đã dùng hôm nay | Tổng | Trạng thái |
|---|
Quản lý người dùng
Tài khoản đăng ký công khai - khóa tài khoản sẽ vô hiệu toàn bộ key của họ
| Tên | Vai trò | Số key | Đã dùng hôm nay | Tổng | Trạng thái | Ngày tạo |
|---|
Nhật ký truy vấn
Lịch sử request chi tiết - tự động xóa sau 7 ngày
| Thời gian | IP gọi | Model | Provider | Key | Proxy | Status | Độ trễ | Tokens In | Tokens Out | Cache | Tổng | Lỗi |
|---|
Playground
Thử nghiệm trực tiếp các model qua gateway - hỗ trợ streaming realtime
Streaming (SSE)
Truyền chữ realtime như ChatGPT
Sẵn sàng
Phản hồi của model sẽ hiển thị tại đây...
Độ trễ: -
Prompt: -
Completion: -
Tổng: -
Cài đặt hệ thống
Cấu hình hành vi gateway: xác thực, cooldown, retry, ghi log
Bật xác thực client token
Yêu cầu Authorization: Bearer <token> khi gọi /v1/chat/completions
Cho phép gọi ẩn danh
Bỏ qua kiểm tra token hoàn toàn (nguy hiểm nếu public)
Ghi nhật ký truy vấn
Lưu log request vào MongoDB (tự xóa sau 7 ngày)
Cho phép đăng ký tài khoản công khai
Tắt sẽ ẩn chức năng đăng ký và từ chối mọi yêu cầu tạo tài khoản mới
0 = không giới hạn. Admin có thể chỉnh từng key sau
Định tuyến qua cụm Proxy
Chuyển tiếp request tới upstream qua danh sách proxy
Khi một cặp (key, model) gặp lỗi 429, nó sẽ tạm nghỉ đúng thời gian này
Số kênh (key, model) tối đa được thử khi gặp lỗi trước khi trả lỗi về client
Gửi kèm header X-Proxy-Secret tới các proxy trong cụm (nếu proxy yêu cầu)