英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

admin1天前天气预报8

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!

  (来源:IT之家)

  IT之家 4 月 25 日消息,英伟达今天(4 月 25 日)发布博文,宣布其 NVIDIA Blackwell 平台已适配 DeepSeek-V4-Pro 与 DeepSeek-V4-Flash 两款模型,开发者可通过 NVIDIA NIM 微服务下载部署,或利用 SGLang 与 vLLM 框架进行定制化推理。

  英伟达在博文指出,DeepSeek-V4-Pro 拥有 1.6T 总参数量与 49B 激活参数,定位高级推理任务;DeepSeek-V4-Flash 版本则为 284B 总参数量与 13B 激活参数,主打高速高效场景。

英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

  两款模型均支持 100 万 Token 上下文窗口与最高 38.4 万 Token 输出长度,覆盖长文本编码、文档分析等核心应用,并采用 MIT 开源协议。

  实测数据显示,DeepSeek-V4-Pro 在 NVIDIA GB200 NVL72 上开箱即用性能超 150 tokens / sec / user,借助 vLLM 的 Day 0 配方,开发者可在 Blackwell B300 上快速部署。随着 Dynamo、NVFP4 及 CUDA 内核的深度优化,预期性能将进一步提升。

英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

  部署生态方面,开发者可通过 NVIDIA NIM 微服务下载部署,或利用 SGLang 与 vLLM 框架进行定制化推理。SGLang 提供低延迟、均衡及最大吞吐量三种配方;vLLM 则支持多节点扩展至 100 个以上 GPU,具备工具调用与推测解码能力。

英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

相关文章

惠泉啤酒2025年报解读:净利大增23%背后的隐忧与增长困局

  4月12日,惠泉啤酒发布2025年年度报告。报告显示,公司全年实现营业收入6.4亿元,同比微降1.05%,而归母净利润却同比大增23.38%至7999.05万元,扣非净利润更是同比增长27.88%...

Take-Two 重组 AI 团队,原负责人 Luke Dicken 离职

Take-Two 重组 AI 团队,原负责人 Luke Dicken 离职

IT之家 4 月 3 日消息,据外媒 Kotaku 报道,Take-Two 近期对内部 AI 团队进行重组,负责该业务的负责人 Luke Dicken 已在领英发帖确认离职,并表示对 Take-Two...

韩国Kospi指数抹去伊朗战争以来跌幅 高盛上调目标位至8,000点

  韩国基准股指Kospi一度上涨1.1%,抹去了自中东冲突爆发以来的全部跌幅,AI交易再次成为焦点。   SK海力士、SK Square和三星电子对指数贡献最大。   Kospi指数今年迄今已上涨超...

Engie CEO称勒庞能源计划对法国而言是“灾难”

  法国能源巨头Engie首席执行官卡特琳娜·麦格雷戈周二严厉批评了极右翼政党“国民联盟”领导人玛丽娜·勒庞提出的能源政策主张,直言这些想法对法国而言是“灾难性的”。   麦格雷戈是在一场新闻早餐会上...

变革呼声之下,lululemon任命新董事

变革呼声之下,lululemon任命新董事

  前李维斯 CEO 奇普・伯格加入公司,与 lululemon 关系疏远的创始人正推动董事会重组   作者:苏珊娜・卡普纳   简要摘要   在创始人奇普・威尔逊的压力下,lululemon 任命...

慈铭体检胡波:AI能够提高效率,但取代医生是不可能的

慈铭体检胡波:AI能够提高效率,但取代医生是不可能的

专题:2026博鳌新浪财经之夜   “2026博鳌新浪财经之夜”活动于3月25日在博鳌举办,主题为“智竞未来:AI时代的产业革命与全球新规则”。慈铭体检创始人、慈铭博鳌医院执行董事胡波出席并发言。...