我在iPhone上装了70亿参数大模型，来自陈天奇团队最新成果
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
跑大语言模型的门槛，已经降低到一部iPhone了。
当然安卓版本也有，只要手机RAM够6G，听上去是不是比用2060还要震撼？
而且这次还是开箱即用的版本！
这个项目名为MLC LLM，与之前的WebLLM同出自知名学者陈天奇团队。
截止目前已在GitHub上斩获超6800星。
目前可以测试的模型有羊驼家族（基于LLaMA）的RedPajama和Vicuna。
可选模型参数分别为30亿和70亿，与很多在线Demo规模也相当了。
RedPajama团队表示，这一成果打开了大模型私有化部署的可能性。
话不多说，快来看看体验如何。
文字功底尚可，但理科是短板
我们选择了其中的Vicuna模型进行测试。
首先测试一下它的文学造诣，于是让它为四个季节分别写了一首诗。
韵律吗，基本上是两三句一押。
除了诗歌，故事也能创作，甚至还能写出内心戏来。
不只是爱情，其他类型的故事也难不倒它。
除了文学上的应用，我们不妨再来试试它的实用功能。
我们让它生成了一道夏威夷披萨的菜谱，看上去还蛮不错。
旅游计划也可以让它来安排。
我们再来看看它在理工科上的表现怎么样。
首当其冲的是代码，我们让它尝试用Python写了一段寻找最大数的代码。
想不到上来就是一通枚举……不过结果倒也是符合要求。
def max_of_three(num1, num2, num3):
if num1 > num2 and num1 > num3:
return num1
elif num2 > num1 and num2 > num3:
return num2
elif num3 > num1 and num3 > num2:
return num3
return None
num1 = 11
num2 = 45
num3 = 14
max_value = max_of_three(num1, num2, num3)
print("The maximum value is: ", max_value)
不过遇到稍难的问题，它的编程能力就有些捉襟见肘了。
至于数学和逻辑推理则一言难尽，不过毕竟为适配手机参数有限，倒也情有可原。
我们还试了试用中文进行提问，但发现目前对中文的适配还有些问题。
另外，移动APP目前还不具有保存聊天记录功能，切出界面时一定要小心小心再小心。
虽然目前能在手机上跑的大模型能力还有限，但团队也展示了未来更多发展方向。
比如为用户定制模型并与云端公共基础模型交互、提供离线支持、App嵌入、去中心化等等。
如何安装
这款大模型支持iOS、安卓移动设备，以及Windows和Mac
iOS用户可以先安装好TestFlight，然后从下面的传送门申请测试：
传送门：https://testflight.apple.com/join/57zd7oxa
如果名额已满，也可以用GitHub上的代码自行编译安装
传送门：https://github.com/mlc-ai/mlc-llm
安卓用户直接下载apk安装即可，第一次运行时需联网下载数据包。
传送门：https://github.com/mlc-ai/binary-mlc-llm-libs/raw/main/mlc-chat.apk
桌面用户请参阅官方教程：
传送门：https://mlc.ai/mlc-llm/
— 完 —
「AIGC+垂直领域社群」
招募中！
欢迎关注AIGC的伙伴们加入AIGC+垂直领域社群，一起学习、探索、创新AIGC！
请备注您想加入的垂直领域「教育」或「电商零售」，加入AIGC人才社群请备注「人才」&「姓名-公司-职位」。
点这里👇关注我，记得标星哦～
微信扫码关注该文公众号作者