DeepSeek为什么要16000张卡?
这话翻成大白话就是,现在买卡的人最怕的,是以后买不到。更实在的一条在 2 月,赵海军说,去年公司新增了大概 5 万片 12 英寸产能;
GitHub 总计超 77,000 Star,大模型推理框架 vLLM、SGLang 是如何炼成的?
vLLM 和 SGLang 的社区发展故事。作者 | 赵晨、夏小雅责编 | Echo Tang出品丨AI 科技大本营(ID:rgznai100)首先,什么是 LLM 推理?
DeepSeek开源真香!vLLM/SGLang性能反超,推理速度卷出新高度
自家推理引擎DeepInfer掏出来还不到一周,开源社区就纷纷交上了作业。真乃一鲸“落”万物生,第一波开源效果已经新鲜出炉:立志学习DeepSeek、成为DeepSeek、超越DeepSeek。
DeepGEMM:GPU推理内核库,把DeepSeek-V3/R1的算力底座开源了
DeepGEMM:9k+ Stars的GPU推理内核库,把DeepSeek-V3/R1的算力底座开源了一句话定位DeepGEMM 是 DeepSeek 官方开源的一套「干净又高效的 GPU 统一张量核心内核库」——它把现代大模型最底层的算力原语(GEMM、MoE 分组矩阵乘、MQ
开源“印钞机”、每代降价90%,DeepSeek这几年那些「神播种」
从 MoE、MLA 到开源周、再到 DeepInfer,这条路线把缓存命中折扣压到 97%,每百万 token 的价格一路降了九成。要知道大模型便不便宜,现阶段不太看输入输出价格,大家拉不开差距,更重要的是看缓存命中价格。
DeepSeek 又一开源重器!深挖 DeepInfer 究竟藏着多少技术狠活?
传统推理引擎的 Decode 通常按照固定顺序运行:CPU 选择请求、组织 Batch 和 KV Cache 元数据,GPU 执行 Forward 与 Sampling,随后 CPU 读取结果、更新生成长度和请求状态,再启动下一轮计算。
DeepSeek宣布开源DeepGEMM
(本文来自澎湃新闻,更多原创资讯请下载“澎湃新闻”APP)
DeepSeek开源昇腾基础组件:计算、通信与编译工具同步发布
来自 DeepSeek 团队的底层 AI 芯片工具开源了。9 月 30 日上午,DeepSeek 宣布开源面向华为昇腾算力平台的基础设施组件,覆盖 TileLang 高级语言编译工具、高性能计算库和分布式通信库。
20 秒写完一份代码,DeepSeek 算子天才开始想"转业"了
写底层算子的人,最不该怕被 AI 取代。DeepSeek 最核心算子的作者发了三千字长文,认真讨论自己的转业。这事比所有失业新闻都值得职场人细读,我认真看完了。生火的人先冷刘胜与,DeepSeek 机器学习系统工程师,北大图灵班出身,未名超算队前队长。
🚀 DeepSeek 官方刚开源了自己的生产级推理框架!
DeepSeek 官方刚开源了自己的生产级推理框架!DeepInfer 专为 DeepSeek-V4.1-Flash 大规模推理优化,FlashMLA、DeepGEMM 等内核全家桶都内置了。推荐理由:25.