显存占用粗略估算（BF16）
================================================

  权重显存 ≈ 参数量 × 2 字节
  例：32B 模型 ≈ 64 GB，需 8×24GB 或 4×48GB

  KV Cache ≈ 2 × 层数 × 隐藏维度 × 序列长度 × 并发数 × 2 字节
  实际按 gpu-memory-utilization 预留余量，建议 0.90 以下

经验值（单卡 80GB，BF16，7B 模型）
------------------------------------------------
  上下文 8K，并发 32   → 约 22 GB
  上下文 32K，并发 32  → 约 48 GB
  上下文 32K，并发 128 → 超出单卡，需张量并行

调参顺序建议
------------------------------------------------
  1. 先压 max-model-len 到业务真实需求
  2. 再调 max-num-seqs（并发），观察 P99 延迟
  3. 最后开 prefix caching / chunked prefill 提吞吐
