对话云知声创始人梁家恩：大模型要在务实解决行业问题中演进！
物联网智库 原创
导读
当前，人工智能技术的发展已经进入了新拐点，AI技术范式正从过去的“预训练模型-特定任务精调”向“基础模型-应用反馈学习”变迁，这种迁移也必然创造更多应用可能，各行各业也在纷纷探索AI新范式，包括通用大模型演进和利用大模型范式解决医疗、工业、办公等场景问题，新产品也已经快速融入各行各业，不断塑造新业态、新场景，带来巨大的商业价值。
作为国内顶尖的语音人工智能独角兽企业，云知声十年来构建了以语音、语言和知识图谱为核心，涵盖感知、认知与生成的全栈AI技术体系，并向多模态人工智能方向拓展。对于云知声而言，已经把ChatGPT技术升级作为公司AGI能力构建的新起点，并优先解决在智慧物联和智慧医疗领域的应用问题。
近期，云知声创始人、董事长兼CTO梁家恩博士与智次方·物联网智库创始人彭昭聊了聊大模型在不同场景中的应用。
从鉴别式AI到生成式AI的转变
梁家恩：生成式AI其实和过去的鉴别式AI，在核心算法框架上来说差别并没有那么大，鉴别式AI主要研究的是数据分布，根据数据分布来区分不同的类型，而生成式AI，则是在数据分布做建模的基础之上，还要去研究数据的生成结构，特别是现在跟自然语言结合在一起以后，就可以用自然语言的方式去灵活控制它的生成的结果。
在人工智能领域，数据、算力和算法早已成为不可缺少的“三驾马车”，对于云知声来说，实际上我们在2012年成立时就已经开始布局这三方面，也是把深度学习最早用到产业界里的公司之一。在数据方面，云知声构建了一个云平台来汇集数据；在算力方面，早期公司就布局了GPU集群，但规模并不算大，在2016年的时候，我们开始把GPU集群升级为Atlas大规模机器学习超算平台，为未来同时调度上千块GPU做大模型做了很好的准备；在算法方面，现在语音、歌唱和虚拟人合成技术已经比较成熟，云知声在这方面的技术储备也很充分，未来还需要在多模态领域延伸，比如图像和视频的生成。多模态生成目前也都是通过自然语言来衔接在一起的，需要继续增加算力和数据，并结合应用场景进行拓展。
梁家恩：在科技圈之外，Transformer的强大是在ChatGPT出现之后才被大众才看到。其实在它刚刚出现之后，GPT就已经用到了Transformer架构，虽然几个月之后就被Google推出的BERT模型打败，但BERT本身也用到了Transformer架构。过去，用传统的方法来处理语言问题是非常困难的，因为语言是个离散符号处理问题，要做词法分析、句法分析等任务非常麻烦，直到通过深度学习转化为词向量表示才有实质性突破。有了Transformer架构以后，利用它的自注意力（self-attention）机制，只要训练的数据量足够大，就可以把序列映射问题做到足够好。当时，这篇论文的标题取的也非常“嚣张”，叫“Attention is all you need”，意思是只要用自注意力机制就可以搞定所有问题，结果它确实在机器翻译上取得了非常大的突破。后来，业界就用这个框架去解决很多语义理解的问题，确实都有很大的提升，这在过去是不可想象的。不过，这些都是普通用户感觉不到的，用户真正能够感觉到的是模型在理解之外，生成的应答效果如何。
而ChatGPT的回应超出了用户的预期，大家才觉得终于比过去看到的对话机器人的智商有了质的突破，但其实技术在这些年里一直都有突破和进展，只不过是现在的应用形式让大家突然感觉到进展确实非常大。
刚才说到“以算法为中心转向以数据为中心”的趋势是非常明确的，因为在框架统一之后，模型的性能就取决于究竟给什么样的数据去训练，数据就决定了模型性能的上限，数据质量越高、规模越大，往往模型效果就越好。
未来，我认为Maas的模式会成为大趋势。过去，要处理相对复杂业务，都需要根据业务流程来编程解决，但现在就可以通过自然语言接口来处理这些任务，在这种情况下就可以用模型优化代替流程编码来直接解决各种问题，只需要收集这个领域和应用的数据去训练即可，而不需要自己编程来解决，这是模型处理业务和编程处理业务方式的本质区别。
大模型要更加注重数据安全
彭昭：如果转变为Maas的模式，如何判断各种模型的好坏呢？
梁家恩：其实最终都要从结果来评判的，ChatGPT比较好的一点就在于它其实在隐藏了中间的理解问题，用户不需要关心模型中间的“意图理解”环节，也不需要显式做句法分析、语义理解等动作，只要看看ChatGPT最终给用户的反馈质量如何就可以。就像图灵测试一样，只要人类无法判断是真人还是机器在回应，就是足够智能。如果单独处理“语义理解”任务，过去像BERT这种模型，要比GPT模型做得更好，因为它使用了双向注意力机制，但BERT架构没法直接形成直观的高质量回复，所以让非技术用户感知到。
彭昭：如果以数据为中心的话，掌握大量数据的企业会有很强的竞争优势吗？
梁家恩：不论是过去的传统算法，还是现在的机器学习算法，数据都已经变得非常重要，很多公司本质上也已经变成了数据公司。只要有很多的数据沉淀下来，模型就可以变得足够聪明，只不过此前使用传统的统计学习方法去挖掘这种能力，而现在是用深度学习和大模型的方法去挖掘，精度和能力也就越来越强。
彭昭：相比于其它行业来说，医疗领域对安全的要求更高甚至不容出错，云知声是如何在医疗行业大模型中满足近乎严苛的要求，从而让模型输出的结果更专业、更可信的？
梁家恩：云知声之所以把医疗作为一个主要方向，是因为医疗行业的知识密集程度非常高，如果在医疗领域的问题都能够处理好，相信很多其他行业也都能搞定，这对我们来说是一个技术的制高点，所以需要攻克它。另外，医疗行业的应用场景、应用空间包括社会价值也都很大。
在数据安全性方面，特别是有些涉及到用户的隐私数据，要求都是很高的，最难的就是真实的用户治疗案例，都必须经过数据的脱敏处理。另外，在我们和医院的合作过程中，也会把数据做相应的加密和tokenization，即把数据符号化，只有机器能够知道解码后的含义。在算法方面，现在的联邦学习也可以把各种特征融合后再去计算，使得不接触初始敏感信息的情况下，还可以继续优化模型。
彭昭：OpenAI的CEO也在积极的做一些生态投资的布局，云知声会不会担心OpenAI投资医疗赛道？
梁家恩：我觉得不论是教育还是医疗，这些行业其实都事关国计民生，所以这里面中国一定要有自己独立的解决方案，如果他愿意投资这方面的企业，在国内来看，我相信云知声是很好的标的。过去我们已经有很多行业已经遭受到所谓卡脖子的问题，在这个领域我们肯定不会让它成为一个新的卡脖子问题。
彭昭：云知声是以语音识别技术起家的，从2012年至今积累了大量相关经验，早期的这些技术积累对于云知声推出行业大模型有怎样的帮助？
梁家恩：当时起“云知声”这个名字的时候，我们就不仅仅停留在声音领域了，声音只是我们的一个切入点，我们更希望有一个云端大脑，有强大的认知能力，能够通过声音的交互去解决问题。
2012年时，我们开始布局“三驾马车”，到2016年AlphaGo开始兴起的时候，我们就已经开始布局底层的大规模计算能力，也就是Atlas超算平台。在此之上，我们还拓展了知识图谱和认知技术体系，从而形成一个全栈的技术体系。现在拓展到的大模型对我们来说只是一个算法框架的升级。类似过去用BERT主要是解决判别式问题的，那现在就把它切换成GPT的生成式框架，而BERT实际上是Transformer的编码器部分，GPT则是Transformer的解码器部分，算法改变对我们没有本质的挑战，我们也已经具备训练大模型的基础架构。除了算法和算力支撑，在行业问题认知和数据积累方面，也让我们充满信心。包括物联网和医疗领域，我们理解这些行业业务的核心问题，也有相关的数据积累，我们是非常有信心能把这个大模型做好的。
其实从ChatGPT的算法原理来说，早就已经有了， OpenAI最重要的是率先把产品做了出来，从而形成一个工程闭环。另外，大家对OpenAI的容忍度是远远高于Google的，如果OpenAI之前犯的那些错误Google同样犯的话，我估计后果是完全不一样的，所以不能说OpenAI在技术上是一骑绝尘的，像Google内部也有DeepMind在研究AGI，相关储备也已经非常充足。
在过去算法、算力和数据积累基础上，对我们来说就是把过去以BERT为核心的技术架构升级成以ChatGPT为核心的技术框架，这样的好处就在于可以用生成式AI把理解和生成打通，性能体验、灵活性、扩展性会强很多。
技术发展其实更符合对数曲线
彭昭：上周，OpenAI CEO表示诞生ChatGPT的研究策略已经结束，继续扩展模型规模带来的收益将出现递减。您觉得模型继续向参数量变大的方向发展还会持续多久，除了拼参数外，还有哪些发展方向？
梁家恩：大家其实对于算法好像有一种不切实际的预期，觉得一个算法就能解决所有问题，但不论是过去的统计学习、支持向量机，还是现在的深度学习，事实都并非如此，每种算法都有它自身的局限性，像OpenAI就是把GPT框架的潜力挖掘到尽头，并不是说竞争已经结束了，而是按照他们的这种探索策略，再继续加大投入可能已经没有太大收益。因此，需要寻找一些新的策略、新的方法，在这个基础上去探索，而不是说这个游戏已经结束了。
另外，单纯扩大模型规模也有它的局限性，对于技术外行来说，大都希望技术进步是一条“指数曲线”，但它其实是一条“对数曲线”，继续扩大规模到一定程度后，进步的幅度就会平缓很多，通过尝试新的方法可能再做出第二个对数曲线出来。
当然对于国内的企业来说，和OpenAI还是有差距的，那我们首先需要先做到现在GPT-3.5 或者GPT-4的水平，然后再继续往前走，我觉得后面还有持续的工作要做，毕竟纯靠参数量级的扩大，哪怕是做到人脑神经元的连接数量，也不是完全复制了一个人，还有其他的技术瓶颈需要突破。
彭昭：关于云知声将要推出的UniGPT大模型，能否简单透露一些信息？
梁家恩：其实去年我们看到ChatGPT出来后，就觉得这确实是一个颠覆性的工作。其实GPT-3就已经有很多新奇特性，但当时大家觉得它的可控性很差，可能无法驾驭好这种能力，直到ChatGPT展示出很好效果，才引起行业内外的高度关注。深度学习到今天为止，最核心的一个问题也还是可解释性和可控性不足。
而大模型所谓的“思维链”能力，可以告诉用户推导的过程，从而知道中间过程里有哪些东西是错的，优化的时候就可以获得提示了，而不是像过去一样只能看见和调整参数的权重。此外，还有一个比较早期的AutoGPT研究方向，但我觉得非常有潜力，就是用大模型来把大模型用好，形成AI for
AI，未来的空间也会很大。
云知声的UniGPT，就是希望优先提升行业应用中的可控性和可解释性，把大模型调教到真正能解决行业问题的程度，甚至可以自动化完成，这样未来渗透到其他各种业务的应用中，效率就会高很多。
彭昭：现在好多人纷纷创业做大模型，请问云知声的大模型和其他人创业做的大模型相比，优势在哪里？
梁家恩：从技术原理角度来说，没有任何区别，我觉得现在做大模型的无非是三类公司，一类就是巨头企业，像微软、Google、百度等，他们都在做这事，因为这对他们主营业务来说确实太具颠覆性；第二类公司是以技术为核心的，包括云知声、科大讯飞和视觉四小龙等企业，需要和行业玩家结合去做，大家比的就是在不同的行业里谁能真正有效地解决问题，毕竟只有解决问题才能产生价值；第三类就是从纯学术届出来新创业的公司，他们的挑战更大的还是在工程上以及对行业应用的理解上面，与实际是会有比较大的鸿沟。
对于巨头企业来说，他们肯定是优先朝着更加通用的方向发展，守住自己的主业，再逐步进入到垂直领域，但是其实我们并不惧怕任何巨头团队，我们很多标杆客户都是这样竞争获得的，因为必须先要守住各自的主营业务，这才是第一要务。
微信扫码关注该文公众号作者