OpenAI 开源了! 本地直接安装部署 gpt-OSS,支持Windows、macOS、Linux!

就在刚刚,OpenAI 发布了 gpt-oss-120b 和 gpt-oss-20b——两款性能卓越的开放轻量级语言模型,可在低成本下实现强大的实际应用性能。这些模型在灵活的 Apache 2.0 许可证下提供,与同等规模的开放模型相比,在推理任务中表现更优,展现出强大的工具使用能力,并针对在消费级硬件上高效部署进行了优化。它们通过强化学习与 OpenAI 最先进内部模型(包括 o3 及其他前沿系统)所启发的技术相结合进行训练。

a567a8b23d20250806090605

模型选择:

  • gpt-oss-120b— 适用于生产、通用、高推理用例,适合单个 H100 GPU(117B 参数,其中 5.1B 活动参数)
  • gpt-oss-20b— 适用于较低延迟和本地或特殊用例(210 亿个参数,其中 36 亿个活动参数)

这两个模型都是使用OpenAI的和声反应格式进行训练的,并且只能与这种格式一起使用;否则,它们将无法正常工作。

亮点

  • 宽松的 Apache 2.0 许可证:自由构建,不受版权限制或专利风险 – 非常适合实验、定制和商业部署。
  • 可配置的推理力度:根据您的具体用例和延迟需求轻松调整推理力度(低、中、高)。
  • 完整的思路链:提供对模型推理过程的完整访问权限,从而简化调试并增强输出的可信度。此信息不打算向最终用户显示。
  • 可微调:通过参数微调完全根据您的特定用例定制模型。
  • Agentic 功能:使用模型的本机功能进行函数调用、网页浏览Python 代码执行和结构化输出。
  • 原生 MXFP4 量化:模型使用原生 MXFP4 精度针对 MoE 层进行训练,允许gpt-oss-120b在单个 H100 GPU 上运行并gpt-oss-20b在 16GB 内存内运行。

安装要求

  • python 3.12 【点击下载
  • 在 macOS 上:安装 Xcode CLI 工具 –>xcode-select --install
  • 在 Linux 上:这些参考实现需要 CUDA
  • 在 Windows 上:如果您想在本地运行模型,请尝试使用 Ollama 等解决方案。

如果您尝试在消费类硬件上运行,你可以有2种安装方式:

1、在安装 Ollama上进行部署, 点击下载【官方版】后运行以下命令来使用 Ollama 。

# gpt-oss-20b
ollama pull gpt-oss:20b
ollama run gpt-oss:20b

# gpt-oss-120b
ollama pull gpt-oss:120b
ollama run gpt-oss:120b

 

71d930bd9920250806125214

 

2、在 LM Studio 上部署 ,如果您使用LM Studio,则可以使用以下命令进行下载。

# gpt-oss-20b
lms get openai/gpt-oss-20b
# gpt-oss-120b
lms get openai/gpt-oss-120b

3、如果需要下载原尺寸模型,您可以直接从 Hugging Face CLI下载Hugging Face Hub中的模型权重:

# gpt-oss-120b
huggingface-cli download openai/gpt-oss-120b --include "original/*" --local-dir gpt-oss-120b/

# gpt-oss-20b
huggingface-cli download openai/gpt-oss-20b --include "original/*" --local-dir gpt-oss-20b/
THE END
点赞1759 分享
相关推荐
AI 声音克隆神器!MockingBird  轻松实现用自己的声音进行文字转语音 !附最新安装、使用教程!| 零度解说-零度会员
50款杀毒软件“保护”我的电脑,可怕的事情发生了!| 零度解说-零度会员

50款杀毒软件“保护”我的电脑,可怕的事情发生了!| 零度解说

在我们电脑上同时安装50款杀毒软件会发生什么?会不会死机报废? 今天我们来作死测试下,接下来我会在我电脑上,依次安装目前市面上几乎所有主流的杀毒软件 分别来自中美英法德意奥、印度、俄罗斯...
彩虹猫病毒样本分析!仅供技术研究,切勿随意运行!-零度会员

彩虹猫病毒样本分析!仅供技术研究,切勿随意运行!

MEMZ(病毒代码:Win32.Trojan.MEMZ.),又喊彩虹猫病毒或彩虹猫,是只针对旧版Windows的电脑病毒,也是种黑客攻击病毒,懂得通过非法下载途径来主动散播。此软体于2016年7月9日开始发起大规模...
admin的头像-零度会员admin
1.5W+2799
3 条命令解锁 SSD 隐藏性能!实测提速 45%,Windows 立刻起飞-零度会员

3 条命令解锁 SSD 隐藏性能!实测提速 45%,Windows 立刻起飞

只需在注册表中添加三项,即可让 Windows 11 使用最近随 Windows Server 2025 更新引入的原生 NVMe 驱动程序,正如我们刚刚测试的那样,这可以显著提升 SSD 的性能。可以零成本获得高达 45% 的...
admin的头像-零度会员admin
2.7W+1835
2021年真正强大、最值得推荐的的视频播放器!(全平台)-零度会员

2021年真正强大、最值得推荐的的视频播放器!(全平台)

1.MacOS最强视频播放器 IINA:https://iina.io 2.Windows系统上最好用的视频播放器 PotPlayer:https://potplayer.daum.net VLC:https://www.videolan.org KMPlayer:https://www.kmplayer.com 3.A...
5 个简单的 WiFi 路由设置技巧,提升您的互联网速度! | 零度解说-零度会员
黑客窃取了加密的 LastPass 密码库,你该做什么?-零度会员

黑客窃取了加密的 LastPass 密码库,你该做什么?

LastPass 有一个关于最近数据泄露的更新公告:该公司承诺将您的所有密码保存在一个安全的地方,现在说黑客能够“复制客户保险库数据的备份”,这意味着他们理论上,如果他们能够破解被盗的保险...
admin的头像-零度会员admin
1.7W+1092
谷歌 Nano-Banana 图片AI神器!轻松搞定图片生成和编辑,附提示词!-零度会员

谷歌 Nano-Banana 图片AI神器!轻松搞定图片生成和编辑,附提示词!

1、生成香蕉包裹的人物图片,提示词: zoom out and show him wearing a giant banana costume. keep his face visible 2、3D手办生成提示词: Use the nano-banana model to create a 1/7 scale...
admin的头像-零度会员admin
3W+1241
六个超级实用的网站,老司机收藏必备!-零度会员

六个超级实用的网站,老司机收藏必备!

1.Fosshub: https://www.fosshub.com 2.Aconvert:https://www.aconvert.com 3.MuscleWiki: https://musclewiki.com 4.GitMind: (中文站)https://gitmind.cn (英文站)https://gitmind.com 5...
admin的头像-零度会员admin
2.3W+657