Latent Space·· 4 小时前精选AI 评分85
DeepSeek 开源推理框架 DeepInfer，称单集群日处理 155 万亿 token
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源生产推理栈 DeepInfer，称单集群日处理 155 万亿 token、输入缓存命中率 96%、非高峰时段单卡每小时收入 38 美元。该框架基于 vLLM 定制，支持分布式推理、投机解码与结构化输出，可在 NVIDIA 和华为昇腾平台运行，但 KV 缓存管理与负载均衡等组件尚未完全开源。
推荐理由
DeepSeek 开源生产推理栈，同时给出单集群吞吐与单卡时收入数据，可对照 vLLM 的复现结果看差距。
来源：Latent Space · latent.space