DeepInfer 实测:如何用 4 张 B200 提供 1000 并发
DeepInfer 实测:如何用 4 张 B200 提供 1000 并发DeepSeek 开源的推理框架 DeepInfer 经 PCIe 本机取数改造后,可在无 RDMA 网卡的 4 张 B200 上以 128k 上下文承载 1024 并发,总输出约 6.2 万 token/s。
搜索
DeepSeek 开源的推理框架 DeepInfer 经 PCIe 本机取数改造后,可在无 RDMA 网卡的 4 张 B200 上以 128k 上下文承载 1024 并发,总输出约 6.2 万 token/s。
据彭博社报道,DeepSeek最新一轮融资已筹集约1000亿元,创中国AI行业规模最大融资纪录,宁德时代和腾讯位列本轮融资规模最大投资者之列。
美团AI也在加码中。
没想到这也开源了。
好了好了这下坏了,黄仁勋接住梁文锋的招了。
昨天,DeepSeek 直接把自家压箱底的「印钞机」技术给开源了。
就在刚刚,DeepSeek再放大招,全面开源自研推理框架DeepInfer。一个集群一天服务155万亿Token,DeepSeek V4.1 Flash高吞吐、低延迟的大规模推理,靠的就是它。
10月20日,美国国土安全部(DHS)发布通告: 要求美国所有联邦民事行政机构,全面禁止采购DeepSeek的产品,并从现有IT系统中彻底清退相关软件和服务。
让全网信息变成合作机会。
永远不要相信 DeepSeek 的 “a minor update” (小更新)。