跳到正文
  1. Latent Space80

    DeepSeek 开源推理框架 DeepInfer,单集群日处理 155T tokens

    DeepSeek 开源生产推理框架 DeepInfer,用于支撑 V4.1 Flash,官方称单集群日处理 155T tokens、输入缓存命中率 96%、非高峰时段每加速卡小时收入 38 美元。

    推荐理由:原文把 DeepInfer 的架构、缓存分层与成本测算拆开讲,并附 vLLM 的对照复现结果,便于判断开源推理栈的真实边界。

已经到底了