本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型

图片[1]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度会员

安装步骤:

 

1、通过Ollama进行部署 ,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[2]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度会员

2、安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问,然后在里面下载安装Llama 3.2 模型

图片[3]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度会员

Llama 3.2 11B 本地部署教程:【点击前往】 注意:11B模型 需要22G以上的显存才能运行

当然如果你不想本地部署安装,或者显卡不支持,也可以直接在线体验 !

Llama 3.2 11B在线使用:【点击前往】 支持图片识别功能

THE END
点赞3258 分享
相关推荐
主流勒索病毒解密器!STOPDecrypter、AuroraDecrypter、FilesLockerDecrypter、desuCrypt 解密器-零度会员

主流勒索病毒解密器!STOPDecrypter、AuroraDecrypter、FilesLockerDecrypter、desuCrypt 解密器

  1.STOP解密器下载 STOPDecrypter 是由 Michael Gillespie创建的勒索软件解密器 ,可以解密由 STOP Ransomware 加密的文件。使用此解密器,支付了赎金或使用离线密钥加密的受害者可以免...
这个反跟踪工具检查你是否被跟踪-零度会员

这个反跟踪工具检查你是否被跟踪

Raspberry Pi 供电的设备可以扫描您周围的手机。如果它一直发现同一个,它会向您发送警报。 马特·埃德蒙森过去 21 年在国土安全部工作的联邦特工,去年接到了求助电话。一位在政府另一部门工作...
admin的头像-零度会员admin
1.7W+2250
Norton Bootable Recovery Tool 恢复受感染的电脑!-零度会员

Norton Bootable Recovery Tool 恢复受感染的电脑!

诺顿启动恢复工具(Norton Bootable Recovery Tool Wizard)是一款急救工具,免费提供给所有人使用。 当电脑受到严重感染无法正常运行,甚至无法启动时,可帮助您的电脑备份并恢复运行。 出现紧...
手机远程连接Windows 电脑 客户端下载-零度会员

手机远程连接Windows 电脑 客户端下载

  1.动态域名:https://www.dynu.com 2.端口映射  3.手机客户端:【安卓版】 【 iOS版】
admin的头像-零度会员admin
1.6W+2252
使用黑苹果系统的最大痛点! 附解决方法 | Windows用户首次使用苹果系统必看教程-零度会员
Flow Launcher 快速文件搜索和应用程序启动器-零度会员

Flow Launcher 快速文件搜索和应用程序启动器

Windows 的快速文件搜索和应用程序启动器官方下载:【点击前往】或 【直接下载】安装后默认的启动快捷键:Alt+空格键 
admin的头像-零度会员admin
1W+1574
为什么你不能用加密重建维基百科-零度会员

为什么你不能用加密重建维基百科

每当区块链上发生新的灾难时,我越来越多地从同一个目的地了解它:一个两个月大的网站,其名称暗示着它记录了 NFT、DAO 和其他加密货币中发生的一切最新危机的冷酷喜剧。 Web3于 12 月 14 日推...
admin的头像-零度会员admin
1.6W+2251
本地部署 Llama3 - 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度会员

本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】

目前在开源大模型领域,Llama3 无疑是最强的!这次Meta不仅免费公布了 8B和70B两个性能强悍的大模型,400B也即将发布,这是可以和GPT-4对打的存在!今天我们就来介绍3各本地部署方法,简单易懂...
admin的头像-零度会员admin
2.7W+2178
美国宇航局完成部署詹姆斯韦伯太空望远镜-零度会员

美国宇航局完成部署詹姆斯韦伯太空望远镜

NASA GSFC/CIL/Adriana Manrique Gutierrez NASA 距离詹姆斯韦伯太空望远镜投入使用又近了一大步。该机构已成功部署了 JWST 标志性的镀金主镜,完成了该仪器的所有主要部署。任务组仍然需要通过...
admin的头像-零度会员admin
1.5W+2251