本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型

图片[1]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度会员

安装步骤:

 

1、通过Ollama进行部署 ,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[2]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度会员

2、安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问,然后在里面下载安装Llama 3.2 模型

图片[3]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度会员

Llama 3.2 11B 本地部署教程:【点击前往】 注意:11B模型 需要22G以上的显存才能运行

当然如果你不想本地部署安装,或者显卡不支持,也可以直接在线体验 !

Llama 3.2 11B在线使用:【点击前往】 支持图片识别功能

THE END
点赞3258 分享
相关推荐
这才是 Windows 必装软件!“老司机” 必备的 8款神器!| 零度解说-零度会员
IP雷达 5.0 网络流量和对外连接检测工具-零度会员

IP雷达 5.0 网络流量和对外连接检测工具

  IP雷达: 【点击下载】
admin的头像-零度会员admin
1.8W+2251
shadowsocks 客户端下载| ss客户端-零度会员

shadowsocks 客户端下载| ss客户端

shadowsocks -Windows 客户端下载   Github:(点击下载)  
Starfield 泄密者因窃取 67 份未发行游戏而面临重罪指控!-零度会员

Starfield 泄密者因窃取 67 份未发行游戏而面临重罪指控!

根据 Polygon 获得的一份警方报告,这名Starfield泄密者上周被捕,不是因为上传了这款未发行游戏的 45 分钟内容,而是因为窃取了该游戏的 67 份副本。29 岁的达林·哈里斯 (Darin Harris) 在上...
admin的头像-零度会员admin
1.7W+1682
GPT-4o震撼夜间发布!AI实时视频通话如真人般流畅,Plus功能限时免费!-零度会员

GPT-4o震撼夜间发布!AI实时视频通话如真人般流畅,Plus功能限时免费!

OpenAI 最新旗舰大模型 GPT-4o,不仅免费使用,功能更是全面覆盖听觉、视觉和语音,体验丝滑流畅毫无延迟,仿佛在进行一次视频通话。 直播效果更是惊艳: 它能感知你的呼吸节奏,并用更加丰富的...
admin的头像-零度会员admin
1.4W+1527
Windows 11(25H2)终于发布!官方 ISO 下载、新功能及最新安装教程! | 零度解说-零度会员

Windows 11(25H2)终于发布!官方 ISO 下载、新功能及最新安装教程! | 零度解说

https://www.youtube.com/watch?v=n83GIByGNYk https://www.lingdu80.com/20659.html https://www.lingdu80.com/13771.html  
7个鲜为人知的趣味网站!上班摸鱼、休闲娱乐必备,让无聊瞬间消失 | 零度解说-零度会员

7个鲜为人知的趣味网站!上班摸鱼、休闲娱乐必备,让无聊瞬间消失 | 零度解说

https://youtu.be/7rffX-CAVTg   7个有趣的网站:https://www.lingdu80.com/13781.html
admin的头像-零度会员admin
2.7W+6249
Nvidia英伟达和AMD显卡的官方设置软件-零度会员

Nvidia英伟达和AMD显卡的官方设置软件

  1.Nvidia英伟达:https://www.nvidia.com/Download/index.aspx?lang=cn 2.AMD显卡:https://www.amd.com/zh-hans/support   注意:请根据自己的显卡型号下载对应的版本!
真正永久免费的容器!4核 CPU、8G内存、10G网络,无需绑卡,速度极快!搭建网站、部署AI、代理节点等爽歪歪! | 零度解说-零度会员