在96块H100GPU上通过参数分解与大规模专家并行技术部署Deep

又仁看科技 2025-05-06 08:55:13

在 96 块 H100 GPU 上通过参数分解与大规模专家并行技术部署 DeepSeek

lmsys.org/blog/2025-05-05-large-scale-ep/

SGLang 的官方博客，写这篇博客是他们做到了“首个在大规模场景下接近官方 DeepSeek 博客所报道吞吐量的开源实现”.

“DeepSeek 是一款广受欢迎的开源大语言模型，其卓越性能备受赞誉。然而该模型庞大的参数量及独特架构——采用多头潜在注意力机制(MLA)与混合专家系统(MoE)——需要先进的系统架构来实现高效的大规模推理服务。本篇博客将详解如何通过 SGLang 实现与 DeepSeek 推理系统性能的精准匹配。”

系统架构如图。

AI创造营

0 阅读：19

猜你喜欢

又仁看科技

又仁看科技

感谢大家的关注

作者最新文章

1
编译器编写之旅github.com/DoctorWkt/acwj“在这个 Git
2
并行、并发与分布式编程公开课ilyasergey.net/YSC4231/教师I
3
求外卖爆单后骑手们的精神状态..这几天外卖特别是咖啡奶茶的价格被暴打~ 不论是店
4
电子书《交互的Python：数据分析入门》shixiangwang.github
5
一个只有约100行代码的极简主义LLM框架PocketFlow。github.c
6
英语教学电子书《语法俱乐部》作者旋元佑 llwslc.github.io/gra
7
这篇论文（ arxiv.org/pdf/2503.20481 ）通过逆向工程的方
8
OpenAI将引入公共利益公司 这个架构比较绕。简单了解下大概是这样的，首先明确
9
在 96 块 H100 GPU 上通过参数分解与大规模专家并行技术部署 Deep
10
从零开始实现高速 LLM 推理andrewkchan.dev/posts/yal

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

科技TOP

1
说刘强东作秀的，你们让王兴也秀一个噻，或者你们自己做一天体验一下。一个千亿身价的
2
目前接近完美的6部手机，有你在用的嘛？​​​
3
曝iPhone19Pro外形颠覆现在就已经预测了，2027年的iPhone1
4
这么老的苹果还在用​​​
5
上强度了！某些APP装傻充愣，就是不兼容鸿蒙系统，死抱着安卓。工信部看不过眼了，
6
国外拆解Mate30，零部件国产率仅为30%，国外拆解Mate30 5G，零部
7
手机续航排行榜！便宜手机电池越来越大，这是什么套路？手机​​​
8
格力电器董明珠董事长的“海归论”，遭到一些人的批评和质疑，个人觉得大可不必。
9
刚刚！#一加13T#首销10分钟破两亿！这手机我也用了几天，最大的感受是真爽，单
10
预算2000元适合买什么手机？这次机型供参考，性价比和当年小米1999不相上下。

科技最新文章

1
今年5月将推出鸿蒙电脑，以下是一些与鸿蒙电脑相关的上市公司及概念股：（内容来自网
2
惊呆了！英伟达突然宣布！​宁愿冒着亏损55亿美元的风险，也要和我们做抵抗
3
目前接近完美的6部手机，有你在用的嘛？​​​
4
整个行业给雷军陪葬了。​​​交通部新规刚落地三天，华为直接掀了桌子。央视直播镜
5
万万没想到荣耀手机竟然能免费换电池，你知道吗荣耀手机的专属福利，荣耀电量宝从
6
千万别被荣耀“忽悠”了这哪里只是一台8000mAh超长续航的机型，实际用了半个
7
国外拆解Mate30，零部件国产率仅为30%，国外拆解Mate30 5G，零部
8
五一假期，登山爬楼神器外骨骼机器人火了！外骨骼机器人概念梳理：最近，程天科技在购
9
同学的折叠屏手机屏幕摔坏了，问了售后维修价格是4000多，后来感觉不划算，直接把
10
华为第一个季度的销量，有多恐怖，不调查不知道，一调查吓所有人一大跳，大家可能都知