王小川月更大模型：530亿参数但闭源，现场拷问室温超导相关问题
衡宇 发自 凹非寺
量子位 | 公众号 QbitAI
王小川旗下百川智能，又双叒叕发布大模型了。
Baichuan-53B，530亿参数，是百川智能首个闭源大模型。
这是一个主要面向公众（To C），展示百川大模型能力的版本，为To B的进一步落地和商业化做准备。
该版本的API能力会在下个月对外开放，并将陆续开放其它模型组件。
在媒体沟通会现场，王小川亲自现场演示了Baichuan-53B的能力：
他表示当年在搜狗的时候，也想过让搜索变成问答，或让输入法根据联想续写句子段落，但仍然无法达到现在这样的效果。
演示后连说“好像没有翻车”的王小川，对大模型创业带给自己的成就感直言不讳：
大模型创业，比当年做搜索引擎（带给我的）成就感更大。
他还透露，目前百川113名员工，其中约30%是搜狗昔年的成员。
Baichuan-53B是该公司发布的第三个大模型。
官宣成立以来，百川智能保持每月对外发布一次的速度：
6月初发布中英文语言模型Baichuan-7B，7月初发布通用大语言模型Baichuan-13B，同时宣布清华北大已经率先内测。
最新进展是，在腾讯云和阿里云提供算力的情况下，已经有浪潮、火山引擎等150+公司部署使用了Baichuan大模型。
第三次迭代，王小川率队发布的这一版530亿参数大模型，带来了哪些新东西？
Baichuan-53B
演示现场，王小川让Baichuan-53B完成了一些知识问答和文本创作类的任务，比如完成一个电动汽车品牌调研PPT、给一家公司起名等。
不过他也笑着表示：“这些能力其实都不新鲜了，就看各家完成的品质怎么样。”
（话虽这么讲，此处还是附上一些测试图）
关于热点时事常温超导的提问：
关于博大精深中文的benchmark测试：
以及一份短视频镜头脚本策划与写作：
据介绍，Baichuan-53B主要针对搜索增强、预训练数据和对齐能力3个方面进行了更新：
53B对“搜索增强”的追求，多次在媒体沟通会上被王小川提到。
以此为目的，Baichuan-53B还完成了智能化搜索词生成、高质量搜索结果筛选和回答结果的搜索增强等优化工作。
为了弥补大模型本身的幻觉问题，同时让大模型的回答更有时效性、更精确，Baichuan-53B的搜索增强系统融合了多个模块，包括指令意图理解、智能搜索和结果增强等关键组件。
这一综合体系通过深入理解用户指令，精确驱动查询词的搜索，并结合大语言模型技术来优化模型结果生成的可靠性。
王小川现场解释道，今后在这一层面，会尝试让搜索引擎和大模型在模型层面就有更多的交互。
尤其对于重视To B条线的百川智能来说，采取的方法是接入企业私有的向量数据库。
而现在发布的53B，接入了某家搜索引擎的能力。
体验了一把，是可以问出最新相关消息的。
在预训练数据方面，为了追求更丰富、质量更好的数据，百川智能建立了一套包括低质、优质、类别在内的系统的数据质量体系、设计了一个多粒度的大规模聚类系统，并且开发了一种细粒度的自动化匹配算法。
在与人类意图对齐方面，Baichuan-53B进行了多目标优化、多RM融合、数据多样性/质量识别、SFT训练加速、课程学习策略等工作。
需要注意的是，Baichuan-53B除了参数量对外公布，中英文语料规模、上下文窗口长度均未对外透露。
百川智能第一个闭源模型
连续发布两个开源模型后，百川智能的第三个模型选择了闭源路线。
为什么会转向不开源模型？王小川进行了回答。
他给出的解释是，开源和闭源之间，并不像安卓和iOS之间必须二选一，“我们认为这不是竞争关系，而是不同产品间的互补关系”。
从百川智能定位的To B落地的视角来看，出于“未来80%的企业都需要使用开源模型”的认知，开源、闭源在百川的技术路线里，都需要实现。
开源模型，百川能让用户使用模型时更轻便、更灵活；
但是从13B提升到53B，模型参数的增加，提高了企业推理部署时的难度。
于是53B走闭源路线。如此一来，百川提供的接口更直接、更简单，让有需要的客户更方便地调用。
“大家其实生活中有经验，一个“开箱即用”的精装房，哪怕再像样板间，还是得拆了重新装修。”他继续说道，“也就是说，有能力的人，会在这个基础上自己进行调优。”
王小川给出了一个态度：
开源闭源，我们都会发，但对开发者最大的尊重是给他一个毛坯房，而不是精准房。
而且在开源市场，此前的7B、13B两款大模型，作为后发者（相比于智谱、MiniMax等），百川智能“给中国的大模型商业生态做出了一些贡献”，以至于“LlaMA-2发布的时候大家并没有太受惊吓”。
对齐LlaMA-2的能力，也是百川作为国内大模型创业公司一员，追赶国外大模型能力的“小目标”。
且追赶并不是只盯着LlaMA-2的参数去做文章，更需要是关注背后的开源生态在某些具体场景如何进行强化。
同时，此前发布开源模型，在某种程度上也是百川秀肌肉的一部分。
搜狗旧部占百川人员30%
沟通会上，又一名搜狗旧部以百川智能联合创始人的身份亮相——
陈炜鹏，百川智能联合创始人，主要负责大语言模型技术部分。
此前在搜狗时，陈曾任搜狗搜索研发总经理，负责搜狗通用/垂直搜索和推荐系统的研发工作。
搜狗被腾讯收购后，陈炜鹏加入Soul，担任技术VP，负责算法能力建设，推动内容理解、推荐技术和AIGC技术在社交场景的应用和落地。
此次王小川进行大模型创业，不少都是搜狗老班底。
比如公司创立时就确认入职的前搜狗COO茹立云，以及上月月底官宣加入的洪涛——前搜狗CMO，入职百川智能，负责商业化方面的事务。
现如今，百川智能上下共113个人，其中有搜狗背景的占据其中30%左右（这也一度被投资人质疑，到底为啥要用那么多搜狗的人？？）。
王小川说了三个理由：
第一，搜索和输入法用到的NLP等知识和经验，都能完整地适配大模型领域；
第二，之前有过亲密无间的合作，彼此之间更加信任；
第三，创业公司有一定的失败率，但是成功之后，回报会比以前在搜狗高很多——不论是物质，还是精神。
内测申请网址：
https://chat.baichuan-ai.com/home
— 联系作者 —
— 完 —
「AIGC+垂直领域社群」
招募中！
欢迎关注AIGC的伙伴们加入AIGC+垂直领域社群，一起学习、探索、创新AIGC！
请备注您想加入的垂直领域「教育」或「广告营销」，加入AIGC人才社群请备注「人才」&「姓名-公司-职位」。
点这里👇关注我，记得标星哦～
微信扫码关注该文公众号作者