部署笔记（节选）
================================================

一、常见报错
------------------------------------------------
1. CUDA out of memory
   - 先降 gpu-memory-utilization 到 0.85 试；
   - 再降 max-model-len；
   - 最后才考虑减 max-num-seqs。

2. 启动卡在 "Loading model weights"
   - 多为磁盘 IO 瓶颈，权重放在本地 NVMe 而非网络盘。

3. 请求返回 400 "maximum context length"
   - 客户端 prompt 与 max_tokens 之和超过 max-model-len。

4. 并发上来后 P99 抖动明显
   - 打开 chunked prefill，限制 max-num-batched-tokens。

二、调参记录（单机 8×A100 80G，32B 模型）
------------------------------------------------
  上下文 8K / 并发 64   → 首 token 约 0.35s，吞吐约 1800 tok/s
  上下文 32K / 并发 32  → 首 token 约 0.9s，吞吐约 900 tok/s
  上下文 32K / 并发 64  → 出现排队，建议加卡或降并发

三、其他
------------------------------------------------
  - 前缀缓存对多轮对话提升明显，长 system prompt 场景建议开启；
  - 量化到 FP8 后显存约降 45%，质量损失在小样本评测中不明显；
  - 生产环境建议前置一层网关做限流与鉴权。