Redian新闻
>
打造本地ChatGPT,部署LlaMA3最简单的方法来了!

打造本地ChatGPT,部署LlaMA3最简单的方法来了!

科学

你好,我是郭震

现在还没有用上ChatGPT的朋友,现在平替方法来了,在本地部署大模型实现与GPT几乎一样的问答效果!

这是一篇关于大模型本地部署的教程,使用目前最强开源大模型LlaMA3,这篇先总结一种最简单、操作步骤最精简的本地部署方法。主要有2步。

2024年4月19日,Meta公司发布Llama3,共有8B,70B两种参数,分为基础预训练和指令微调两种模型。与Llama2相比,Llama3使用了15Ttokens的训练数据,在推理、数学、代码生成、指令跟踪等能力获得大幅度提升。

使用完全免费。

步骤1:安装Ollama

Ollama可以简单理解为客户端,实现和大模型的交互。ollama软件win和mac都包括:

在这里已经为大家准备好,只需要在我的公众号回复消息:ollama,就能下载到软件。

下载之后打开,直接点击Next以及Install安装ollama,安装步骤非常简单。

步骤2:安装Llama

下载Llama3,打开新的终端/命令行窗口,执行以下命令:

ollama run llama3

程序会自动下载Llama3的模型文件,默认是8B,也就80亿参数版本,个人电脑完全可以运行。

等待安装完成:

以上就已经安装完毕,到现在大模型已经在本地部署完成。

使用Llama3

打开一个终端窗口,再次输入 ollama run llama3,自动就会启动,进入会话界面:

发第一条消息,你是谁,用中文回答,与Llama2相比,Llama3确实在回答速度上大幅提升,基本小于秒级:

发第二条消息,Python代码,冒泡排序,代码+解释,回答响应非常快,如下图所示:

再告诉它,用中文回答,返回中文回答结果:

总结

Llama3 本地部署大模型,这是最精简的一种方法,推荐大家先按照此方法去实践,使用起来。



1 点击下面头像,进入我的主页,点击:发送消息按钮,可以直接获取到

《ChatGPT提问指南》教程,免费获取。

2 我打造的Python人工智能全栈课(超700节视频课)已上线,长按二维码查看,咨询或报名请加我微信:gz113097485

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
我找到了史上最简单的小甜品!酸甜浓郁很开胃,随便做做就能成功小华 (17)它是最简单的“预制菜”!明明是碳水双拼,还能做的很清爽,春天怎么也要做一回觉得您 2024 年的退税太少?这里有一个简单的方法让您明年获得更多!做饭是最简单的精神疗愈抖音最简单的赚钱项目神秘GPT模型引爆社区,GPT-4.5、GPT-5谣言满天飞,奥特曼在线围观马伯庸新书,美食X权谋X悬疑,[hào]吃有多了不起?ChatGPT实体化了!手机变身ChatGPT实体机器人,只需一个配件,能说话还会做梦,真的牛!苹果与 OpenAI 重启谈判,Siri 或引入 ChatGPT,网友:国行用文心一言?纽约常青藤精英集团多岗位招聘!支持CPT,OPT,H1B及绿卡+丰厚薪资+员工保险!E-Verify资质公司在线邀约!还不快来!这个看似羞耻的小习惯,其实是最简单的解压术比LoRA还快50%的微调方法来了!一张3090性能超越全参调优,UIUC联合LMFlow团队提出LISAChatGPT 之父最新演讲:GPT-5 聪明程度超乎想象,一大批 AI 初创公司的努力将变得毫无意义爆改周杰伦的音乐界ChatGPT,还抢不了网易云们的饭碗深度好文|真刺激!让ChatGPT,Google Bard和Microsoft Bing相互攻击,成功越狱生成违禁内容…ChatGPT,在这一点让我受益最大!废掉一个孩子最简单的方式移民美国,没有比这更快更简单的方式了吴恩达:别光盯着GPT-5,用GPT-4做个智能体可能提前达到GPT-5的效果小华 (18)增强视力有一种最简单的方法,你每天都在做用了一个简单的方法,我在港股2个月赚了50万颠覆认知!外网锐评10个“最简单”美本专业!CS、信息系统名列其中.....小华 (1)古代农耕社会发生灾荒时,会用什么有效的方法来应对这是一种病态的发泄吗?今天起,这个重磅功能向 ChatGPT Plus 用户全面开放!GPT-4.5 疑似泄露, Altman 在线「吃瓜」小华 (16)ChatGPT 大更新曝光!免费用户自动升级 GPT-4 ,还能创建 GPTs一个简单的选基方法,轻松跑赢大多数人GPT-4「荣升」AI顶会同行评审专家?斯坦福最新研究:ICLR/NeurIPS等竟有16.9%评审是ChatGPT生成ChatGPT 之父最新演讲:GPT-5 聪明程度超乎想象,一大批 AI 公司的努力将毫无意义第一财经对网络流传伪造本公司“说明函”的声明微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。