OpenAI 开源了! 本地直接安装部署 gpt-OSS,支持Windows、macOS、Linux!

就在刚刚,OpenAI 发布了 gpt-oss-120b 和 gpt-oss-20b——两款性能卓越的开放轻量级语言模型,可在低成本下实现强大的实际应用性能。这些模型在灵活的 Apache 2.0 许可证下提供,与同等规模的开放模型相比,在推理任务中表现更优,展现出强大的工具使用能力,并针对在消费级硬件上高效部署进行了优化。它们通过强化学习与 OpenAI 最先进内部模型(包括 o3 及其他前沿系统)所启发的技术相结合进行训练。

a567a8b23d20250806090605

模型选择:

  • gpt-oss-120b— 适用于生产、通用、高推理用例,适合单个 H100 GPU(117B 参数,其中 5.1B 活动参数)
  • gpt-oss-20b— 适用于较低延迟和本地或特殊用例(210 亿个参数,其中 36 亿个活动参数)

这两个模型都是使用OpenAI的和声反应格式进行训练的,并且只能与这种格式一起使用;否则,它们将无法正常工作。

亮点

  • 宽松的 Apache 2.0 许可证:自由构建,不受版权限制或专利风险 – 非常适合实验、定制和商业部署。
  • 可配置的推理力度:根据您的具体用例和延迟需求轻松调整推理力度(低、中、高)。
  • 完整的思路链:提供对模型推理过程的完整访问权限,从而简化调试并增强输出的可信度。此信息不打算向最终用户显示。
  • 可微调:通过参数微调完全根据您的特定用例定制模型。
  • Agentic 功能:使用模型的本机功能进行函数调用、网页浏览Python 代码执行和结构化输出。
  • 原生 MXFP4 量化:模型使用原生 MXFP4 精度针对 MoE 层进行训练,允许gpt-oss-120b在单个 H100 GPU 上运行并gpt-oss-20b在 16GB 内存内运行。

安装要求

  • python 3.12 【点击下载
  • 在 macOS 上:安装 Xcode CLI 工具 –>xcode-select --install
  • 在 Linux 上:这些参考实现需要 CUDA
  • 在 Windows 上:如果您想在本地运行模型,请尝试使用 Ollama 等解决方案。

如果您尝试在消费类硬件上运行,你可以有2种安装方式:

1、在安装 Ollama上进行部署, 点击下载【官方版】后运行以下命令来使用 Ollama 。

# gpt-oss-20b
ollama pull gpt-oss:20b
ollama run gpt-oss:20b

# gpt-oss-120b
ollama pull gpt-oss:120b
ollama run gpt-oss:120b

 

71d930bd9920250806125214

 

2、在 LM Studio 上部署 ,如果您使用LM Studio,则可以使用以下命令进行下载。

# gpt-oss-20b
lms get openai/gpt-oss-20b
# gpt-oss-120b
lms get openai/gpt-oss-120b

3、如果需要下载原尺寸模型,您可以直接从 Hugging Face CLI下载Hugging Face Hub中的模型权重:

# gpt-oss-120b
huggingface-cli download openai/gpt-oss-120b --include "original/*" --local-dir gpt-oss-120b/

# gpt-oss-20b
huggingface-cli download openai/gpt-oss-20b --include "original/*" --local-dir gpt-oss-20b/
THE END
点赞1759 分享
相关推荐
Meta 裁员 11,000 人;扎克伯格说他投资元宇宙没有得到回报-零度会员

Meta 裁员 11,000 人;扎克伯格说他投资元宇宙没有得到回报

Meta 正在裁员 11,000 名员工,约占其员工总数的 13%,首席执行官马克扎克伯格今天在给员工的消息中写道。扎克伯格表示,他之前增加支出的决定并没有像他想象的那样得到回报,而且 Meta 的“收...
admin的头像-零度会员admin
1.6W+2250
逆天!AI 的下一个爆款项目,不想失业一定要提前知道!! | 零度解说-零度会员

逆天!AI 的下一个爆款项目,不想失业一定要提前知道!! | 零度解说

https://youtu.be/Xq6JDof3RVY   1.Stable Video Diffusion 注册链接 :https://www.lingdu80.com/10970.html 2.AI 画质修复 等候名单链接:https://www.lingdu80.com/10960.html 3.Claude...
admin的头像-零度会员admin
1.7W+1682
Windows 10专业版和家庭版该如何选择?它们都有什么区别?| 零度解说-零度会员
Gmail 的新外观现已向所有人推出-零度会员

Gmail 的新外观现已向所有人推出

自 2 月以来,我们一直在跟踪 Google 的 Gmail 界面更新进度,正如承诺的那样,该公司表示现在所有 Gmail 用户都可以使用它。返工将 Meet、Chat 和 Spaces 拉​​得更近,作为整体体验的一部分...
admin的头像-零度会员admin
1.7W+2251
【终身限免】Audials Vision 2026 特别版终身免费赠送!-零度会员

【终身限免】Audials Vision 2026 特别版终身免费赠送!

Audials Vision 2026 是一款功能强大的视频编辑软件,可用于优化电影、电视剧或流媒体视频。这款强大的工具利用人工智能 (AI) 来增强视频效果,将模糊的素材转化为清晰的高质量佳作。此外,这款...
admin的头像-零度会员admin
2.7W+1258
这款下载工具堪称利器! 完全免费开源、支持多种协议、支持批量下载(2022) | 零度解说-零度会员
ESET 病毒扫描工具被曝严重漏洞,黑客借此部署后门程序悄然绕过检测!-零度会员

ESET 病毒扫描工具被曝严重漏洞,黑客借此部署后门程序悄然绕过检测!

知名安全软件 ESET 被曝存在严重安全漏洞,令人意外的是,这一漏洞竟然出现在其命令行病毒扫描工具中。而揭露此漏洞的,正是其竞争对手——卡巴斯基实验室。漏洞编号:CVE-2024-11859攻击者利用...
admin的头像-零度会员admin
70432815
这5款Google浏览器插件你值得拥有的!Chrome必备效率神器-零度会员

这5款Google浏览器插件你值得拥有的!Chrome必备效率神器

  PostureMinder:https://chrome.google.com/webstore/detail/postureminder/dkmkfopiihabelocpelofchappjjnpkm?hl=en Weava highlighter:https://chrome.google.com/webstore/detail/weav...
admin的头像-零度会员admin
1.1W+653
今天情人节同时也是电脑问世76周年!多陪陪你的电脑-零度会员

今天情人节同时也是电脑问世76周年!多陪陪你的电脑

今天(2月14日)是情人节,从各大网站到微信都为这个特殊的日子,连红包都可以发520了。不过今天还是个特殊的日子,那就是全球首台电子计算机ENIAC问世的日子,不过情人节的可以多陪陪电脑。 在...
admin的头像-零度会员admin
1.6W+2251