OpenAI 开源了! 本地直接安装部署 gpt-OSS,支持Windows、macOS、Linux!

就在刚刚,OpenAI 发布了 gpt-oss-120b 和 gpt-oss-20b——两款性能卓越的开放轻量级语言模型,可在低成本下实现强大的实际应用性能。这些模型在灵活的 Apache 2.0 许可证下提供,与同等规模的开放模型相比,在推理任务中表现更优,展现出强大的工具使用能力,并针对在消费级硬件上高效部署进行了优化。它们通过强化学习与 OpenAI 最先进内部模型(包括 o3 及其他前沿系统)所启发的技术相结合进行训练。

a567a8b23d20250806090605

模型选择:

  • gpt-oss-120b— 适用于生产、通用、高推理用例,适合单个 H100 GPU(117B 参数,其中 5.1B 活动参数)
  • gpt-oss-20b— 适用于较低延迟和本地或特殊用例(210 亿个参数,其中 36 亿个活动参数)

这两个模型都是使用OpenAI的和声反应格式进行训练的,并且只能与这种格式一起使用;否则,它们将无法正常工作。

亮点

  • 宽松的 Apache 2.0 许可证:自由构建,不受版权限制或专利风险 – 非常适合实验、定制和商业部署。
  • 可配置的推理力度:根据您的具体用例和延迟需求轻松调整推理力度(低、中、高)。
  • 完整的思路链:提供对模型推理过程的完整访问权限,从而简化调试并增强输出的可信度。此信息不打算向最终用户显示。
  • 可微调:通过参数微调完全根据您的特定用例定制模型。
  • Agentic 功能:使用模型的本机功能进行函数调用、网页浏览Python 代码执行和结构化输出。
  • 原生 MXFP4 量化:模型使用原生 MXFP4 精度针对 MoE 层进行训练,允许gpt-oss-120b在单个 H100 GPU 上运行并gpt-oss-20b在 16GB 内存内运行。

安装要求

  • python 3.12 【点击下载
  • 在 macOS 上:安装 Xcode CLI 工具 –>xcode-select --install
  • 在 Linux 上:这些参考实现需要 CUDA
  • 在 Windows 上:如果您想在本地运行模型,请尝试使用 Ollama 等解决方案。

如果您尝试在消费类硬件上运行,你可以有2种安装方式:

1、在安装 Ollama上进行部署, 点击下载【官方版】后运行以下命令来使用 Ollama 。

# gpt-oss-20b
ollama pull gpt-oss:20b
ollama run gpt-oss:20b

# gpt-oss-120b
ollama pull gpt-oss:120b
ollama run gpt-oss:120b

 

71d930bd9920250806125214

 

2、在 LM Studio 上部署 ,如果您使用LM Studio,则可以使用以下命令进行下载。

# gpt-oss-20b
lms get openai/gpt-oss-20b
# gpt-oss-120b
lms get openai/gpt-oss-120b

3、如果需要下载原尺寸模型,您可以直接从 Hugging Face CLI下载Hugging Face Hub中的模型权重:

# gpt-oss-120b
huggingface-cli download openai/gpt-oss-120b --include "original/*" --local-dir gpt-oss-120b/

# gpt-oss-20b
huggingface-cli download openai/gpt-oss-20b --include "original/*" --local-dir gpt-oss-20b/
THE END
点赞1759 分享
相关推荐
使用cookies免费看Netflix奈飞教程-零度会员

使用cookies免费看Netflix奈飞教程

使用netflix cookies分享可以免账号密码登录,直接导入既可使用,但缺点是目前仅支持可安装cookies管理插件的浏览器(chrome)使用,其它如手机等app暂时无解(手机只能安装Netflix app观看)。 ...
admin的头像-零度会员admin
1.6W+654
DynaVision XL 专为绘制3D卡通IP而设计的模型,它能够制作出精美细腻、色彩丰富的3D卡通角色 !推荐NO.4-零度会员

DynaVision XL 专为绘制3D卡通IP而设计的模型,它能够制作出精美细腻、色彩丰富的3D卡通角色 !推荐NO.4

DynaVision XL:专为绘制3D卡通IP而设计的模型,它能够制作出精美细腻、色彩丰富的3D卡通角色。对于那些希望绘制3D卡通IP的小伙伴来说,这款模型是必备的工具。 【点击下载】 DynaVision XL 模...
admin的头像-零度会员admin
1.8W+1682
Windows 10挖最安全的加密货币,它居然不是比特币!无显卡挖矿教程 2021-零度会员
免费获取1年的Google Gemini  AI Pro 学生套餐!学生认证就这么简单!保姆级的教程-零度会员

免费获取1年的Google Gemini  AI Pro 学生套餐!学生认证就这么简单!保姆级的教程

今天我们来说下如何免费获取1年的Google Gemini  AI Pro 学生套餐,适合写作、学习、创作全流程提效,完全零成本体验顶级 AI。1、前期准备工作:Google 账号(估计大家都有,没有的可以看这个...
admin的头像-零度会员admin
17.8W+1585
Google Voice 号码已过期!附最新解锁教程,新手也能轻松注册谷歌虚拟机手机号! | 零度解说-零度会员

Google Voice 号码已过期!附最新解锁教程,新手也能轻松注册谷歌虚拟机手机号! | 零度解说

https://youtu.be/YI0cTVV4xLc =============   本期视频所用资源链接:https://www.lingdu80.com/11046.html
admin的头像-零度会员admin
1.8W+1684
Windows 11 正式发布!第一时间获取免费升级,附最新安装教程!| 零度解说-零度会员

Windows 11 正式发布!第一时间获取免费升级,附最新安装教程!| 零度解说

https://youtu.be/mQrfxKqP5r4   虚拟机下载:【链接】 Windows 11 ISO镜像下载:【链接】 Windows 11官方网站:【链接】
admin的头像-零度会员admin
1.1W+3250
禁用 Win10/11 全屏优化!提升 CSGO、守望先锋等高FPS需求游戏的流畅度!代码-零度会员

禁用 Win10/11 全屏优化!提升 CSGO、守望先锋等高FPS需求游戏的流畅度!代码

WindowsRegistryEditorVersion5.00 [HKEY_CURRENT_USERSystemGameConfigStore] 'GameDVR_FSEBehaviorMode'=dword:00000002 'GameDVR_HonorUserFSEBehaviorMode'=dword:00000001 'GameDVR_FSEBeh...
admin的头像-零度会员admin
2.4W+1688
手机快捷指令 APP-零度会员

手机快捷指令 APP

  iOS版:【点击下载】 “捷径”应用可为您喜爱的应用创建包括多个步骤的个性化捷径。您可以从“捷径中心”中数以百计的示例开始,或通过拖放操作创建自己的捷径。 “捷径”中包含了 300 ...
admin的头像-零度会员admin
2.3W+656
【地震预警】提前20秒通知!!全网最全的设置教程:手机、电脑、智能电视机等各大品牌都支持! | 零度解说-零度会员