Logo
NVIDIA Free
Tài liệu
Chat AI Quản trị

Tài liệu API Gateway

Gateway tương thích 100% chuẩn OpenAI — mọi SDK, công cụ (Cursor, Cline, Chatbox...) đều kết nối được bằng cách thay Base URL. Xoay vòng key, failover model, streaming realtime.

1 Base URL & xác thực

Mọi request đều gửi tới Base URL bên dưới với header Authorization: Bearer <khóa API>:

Đang tải...
POST /v1/chat/completions
GET /v1/models
GET /ping
🔑
Lấy khóa API: đăng nhập/đăng ký tại trang Chat → ⚙️ Cài đặt → khu "Khóa API của bạn" → Tạo key. Hoặc dùng khóa do admin cấp từ Bảng quản trị.
⚠️
Khóa client dạng sk-nv-... có hạn mức theo ngày (mặc định 200 requests/ngày). Vượt hạn mức sẽ nhận lỗi 429 — liên hệ admin nâng hạn mức.

2 Danh sách model khả dụng

Gọi GET /v1/models để lấy danh sách realtime — dưới đây là model đang kích hoạt trên gateway:

Model ID (dùng trong request)Tên hiển thịNhà cung cấp
Đang tải...
💡
Model lớn lần gọi đầu sau một lúc nghỉ có thể chậm (cold-start phía NVIDIA, 30–90s), các lần sau nhanh. Gateway tự failover sang model dự phòng nếu model chính không phản hồi.

3 Chat completions

Đang tải...

Kết quả trả về đúng định dạng OpenAI: choices[0].message.content kèm usage (prompt/completion/total tokens).

4 Streaming SSE (khuyên dùng)

Thêm "stream": true — nhận từng mảnh chữ realtime dạng Server-Sent Events, kết thúc bằng data: [DONE].

Đang tải...

Với streaming, gateway tự thêm stream_options: {"{"}"include_usage": true{"}"} để chunk cuối trả về thống kê token (không đổi nội dung sinh ra).

5 Gửi hình ảnh (multimodal)

Với model hỗ trợ thị giác: gửi mảng content gồm text + image_url (data URL base64 hoặc link ảnh công khai).

curl "$BASE_URL/v1/chat/completions" \ -H "Content-Type: application/json" \ -H "Authorization: Bearer $API_KEY" \ -d '{ "model": "MODEL_ID", "messages": [{ "role": "user", "content": [ { "type": "text", "text": "Mô tả bức ảnh này" }, { "type": "image_url", "image_url": { "url": "data:image/jpeg;base64,..." } } ] }] }'

6 Python / Node.js SDK

Python (openai):

Đang tải...

Node.js (openai, streaming):

Đang tải...

7 Mã lỗi thường gặp

MãÝ nghĩaCách xử lý
401Thiếu/sai khóa APIKiểm tra header Authorization hoặc đăng nhập lại
403Khóa bị khóa / tài khoản bị khóaLiên hệ admin
429Vượt hạn mức ngày hoặc upstream 429Gateway đã tự xoay key — chờ vài giây thử lại
503Không có kênh nào khả dụngKiểm tra kho key trong Bảng quản trị
504Upstream không phản hồiGateway đã thử model fallback — thử lại hoặc đổi model
🧭
Mọi request đều được ghi nhật ký chi tiết (IP, model, key, tokens in/out, cache) tại Bảng quản trị → Nhật ký.