8GB 显存跑 125B MoE,本地一键推理服务
🔍 这个项目是做什么的
Strata 是 C++ 推理引擎,宣称能在 8GB 以上 NVIDIA GPU 上运行 Qwen3.8-Flash-Next 125B MoE 模型,并提供 Windows 与 Linux 一键安装。它在本地暴露 OpenAI 与 Anthropic 兼容 API,支持可选图像输入。核心是降低大模型本地部署门槛,让普通显卡也能通过 MoE 稀疏激活、量化和卸载等方式跑大模型。
🎯 对我有什么用
对想本地跑大模型又不想买高端卡的开发者很有吸引力:装完即可在 localhost 调用兼容 API,接进聊天客户端、IDE 插件或自动化脚本,数据不出本机。适合隐私敏感、离线实验、低成本 agent 原型。但需核实实际速度、显存要求和模型许可,值得 star 跟踪,别急着上生产。