本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型

图片[1]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度会员

安装步骤:

 

1、通过Ollama进行部署 ,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[2]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度会员

2、安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问,然后在里面下载安装Llama 3.2 模型

图片[3]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度会员

Llama 3.2 11B 本地部署教程:【点击前往】 注意:11B模型 需要22G以上的显存才能运行

当然如果你不想本地部署安装,或者显卡不支持,也可以直接在线体验 !

Llama 3.2 11B在线使用:【点击前往】 支持图片识别功能

THE END
点赞3258 分享
相关推荐
Mac 安装 Windows 11 系统!最完美的方案,超级流畅丝滑,完全免费,支持 M1/M2/Intel,支持拖拽互传文件! | 零度解说-零度会员

Mac 安装 Windows 11 系统!最完美的方案,超级流畅丝滑,完全免费,支持 M1/M2/Intel,支持拖拽互传文件! | 零度解说

https://www.youtube.com/watch?v=7NJpTb9MNFo ==================   安装所需软件下载:https://www.lingdu80.com/12520.html
admin的头像-零度会员admin
1.8W+1528
7款超火爆的免费开源软件!Github上的Stars过万,良心又实用,实至名归!!| 零度解说-零度会员

7款超火爆的免费开源软件!Github上的Stars过万,良心又实用,实至名归!!| 零度解说

https://youtu.be/A2GUgvPlTBE?si=0BrzL2g-tJtutNBH 7款超火爆的免费开源软件:https://www.lingdu80.com/10301.htmlPutty工具+Docker下一键部署命令:https://www.lingdu80.com/10294.html
admin的头像-零度会员admin
1.7W+1682
这五款精品软件,是男人们的最爱!功能牛X强大 | 零度解说-零度会员
100%本地离线运行的 ChatGPT最佳替代!支持各大开源的AI大模型-零度会员

100%本地离线运行的 ChatGPT最佳替代!支持各大开源的AI大模型

真正完全免费! 100%本地离线运行的ChatGPT最佳替代,完全免费开源可以导入各大开源的AI大模型,支持Windows 、Mac 和linux系统,可以随时随地,哪怕在没有网络的情况下,都可以在我们电脑上跑AI大...
admin的头像-零度会员admin
1.8W+1530
Windows 11 重大更新:添加了记事本选项卡、iPhone 配对和 AI 功能-零度会员

Windows 11 重大更新:添加了记事本选项卡、iPhone 配对和 AI 功能

2023 年的第一个重大更新下降是 2022 年更新的应用程序和 UI 更改的组合。   更新,美国东部时间上午 11:42:我们在 Your Phone 应用程序中添加了有关 iMessage 支持的信息。 今天,微软宣...
admin的头像-零度会员admin
1.3W+6540
Photoprism 开源相册的搭建教程-零度会员

Photoprism 开源相册的搭建教程

我选择用官方的Docker-Compose安装方案: 1.下载配置文件 # 路径仅供参考 mkdir /home/ubuntu/photoprism cd /home/ubuntu/photoprism wget https://dl.photoprism.org/docker/docker-compose.y...
admin的头像-零度会员admin
1.7W+2251
DeepSeek-R1 实测 + 本地部署教程!最强开源AI大模型,完全免费,实力媲美OpenAI-O1 | 零度解说-零度会员

DeepSeek-R1 实测 + 本地部署教程!最强开源AI大模型,完全免费,实力媲美OpenAI-O1 | 零度解说

https://www.youtube.com/watch?v=tc84i2MM1b4   DeepSeek-R1 大模型下载+部署工具:https://www.lingdu80.com/18341.html    
恢复被删除被格式化的数据,用这款免费工具就够了!!rcvPortable-零度会员

恢复被删除被格式化的数据,用这款免费工具就够了!!rcvPortable

rcvPortable 允许您无需安装即可运行 Recuva®。Recuva 可以恢复丢失的图片、音乐、文档、视频、电子邮件或任何其他文件类型。它可以从您拥有的任何可重写介质中恢复:存储卡、外部硬盘驱动器、...
admin的头像-零度会员admin
3.7W+1688
谷歌Bard正式支持免费生图功能,无限使用!顶流模型大混战开始了-零度会员

谷歌Bard正式支持免费生图功能,无限使用!顶流模型大混战开始了

Google宣布Bard新增图像生成功能,只需要给Bard一段文字描述,例如:创造一张狗在冲浪板冲浪的图片,“Create an image of a dog riding on a surfboard”,Bard就能生成出客制化且种类多元的图...
admin的头像-零度会员admin
1.4W+1527