两天本地跑通千亿大模型：我的折腾实录与 Strata 实测
一张 32GB 显存的工作站显卡，就是这次故事的主角导语昨天，我的电脑干了一件“我以为不可能”的事：在本地跑起了一个千亿参数规模的大模型。实测对话输出 138.
12GB显存显卡跑125B模型：Strata登场
IT之家 10 月 6 日消息，科技媒体 gigazine 今天（10 月 6 日）报道，报道称开发者 Niko1221 开源推出 Strata 引擎，可以在 12GB 及以上显存的消费级显卡上，运行量化的 Qwen3.8-Flash-Next 模型（1250 亿参数）。
1250亿模型跑进游戏显卡，124 token/s
> 今天 Hacker News 上最热闹的三条，其实都在讲同一件事：藏。
Token自由之路，Strata 又更新了，本地部署大模型的不二之选
Strata（Niko1221/Strata，本地LLM推理引擎） 项目简介：MIT协议开源C++本地推理引擎，目标在消费级PC上运行Qwen3.
在普通电脑上跑125B超大模型？开源神器Strata深度介绍
Strata 0.1.44.1 正式更新！本地AI推理性能迎来质变升级
玩本地大模型部署的开发者，近期最值得升级的工具，当属 Strata。 作为目前消费级硬件最优的本地AI推理引擎，Strata 保持高频迭代节奏，从0.1.43到最新的0.1.44.
Strata 实测：1250 亿参数的 Qwen 模型，在4060TI上跑出每秒 30Token
一张 RTX 4060 Ti，16GB 显存，32GB 内存，是我几年前的游戏 PC 配置。这台机器刚跑通一个 1250 亿参数的大模型 Qwen3.8-Flash-Next，输出 30.1 token/s，读 6901 token 的长文档只花 6 秒。
Strata 更新先别点：5070 Ti 慢 21%，4090 掉到 19 tok/s，差 5 倍
一、一夜之间，21% 的速度没了10 月 11 日，本地推理圈的开源项目 Strata 照常发版，版本号 v0.1.43。一天之后，Reddit 的 r/LocalLLaMA 版块炸了。
Strata更新到v0.2版本了，但是建议跑qwen3.8-flash-next的别升级
Niko1221/Strata 仓库地址： https://github.com/Niko1221/Strata ✅ 稳定正式版：v0.1.45✅ 当前最新Beta版：v0.2.0-beta（发布时间：2026-10-20）底层引擎包版本：0.1.45.3 v0.2.
在普通电脑上跑125B超大模型？开源神器Strata深度介绍
最近本地AI圈又出了一个狠角色——Strata。它是一个由 Niko1221 主导开发的开源本地推理引擎（MIT 许可），核心目标非常直接：让普通人在普通消费级硬件上跑超大参数模型。目前最能打的代表作是跑 Qwen3.8-Flash-Next（约125B参数的MoE模型）。