2024 年过半，AI 大模型在各行业的落地实践走到哪了？

转眼之间，2024 年已经过半，AI 大模型的热度从去年的技术探索转向落地实践，肉眼可见的是，各行各业都纷纷在这场热潮中寻找新的业务创新点和行业增长点。

“大模型的出现带来了变革，它实现了知识平权，为我们提供了技术条件，使得我们能够参与到 AI 的应用中来。”宁德核电人工智能实验室负责人王澍在 InfoQ 17 周年庆直播中表示，核电由于行业特殊性，从业人员自身的技术意识和能力有限，加上传统 AI 依赖于规则驱动，知识门槛高，使得过去核电领域对 AI 的应用并不广泛。而大模型的出现，让过去看似不可能的事情变为了可能。

此外，即便是在物流、金融等这些已经较为普遍应用了 AI 技术等行业，大模型也带来了新的突破。顺丰科技运筹优化算法专家王一帆指出，在复杂的供应链领域，传统技术面临两大挑战，一是求解性能，二是使用门槛。对此，大模型解决了很多以前难以解决的瓶颈问题，使得业务效率大大提升。

蚂蚁集团投研支小助技术负责人纪韩以知识图谱技术的演进为例，介绍了大模型在金融领域的应用价值。他表示，随着市场的变化，管理知识图谱的成本越来越高，而且事件与金融资产波动的逻辑也在内生变化，这使得模型和知识图谱难以跟上变化节奏。对此，大模型提供了另一种可能性，由于具备阅读大量报告的能力，它能够发现报告中金融逻辑的共性，使得机器进行复杂分析变得更加可行。

然而，在面对不同行业时，大模型的落地过程仍然充满挑战。比如，成本投入是否合理、可能带来哪些新的风险、如何克服内外部的各种阻力等等。在直播对话中，三位老师展开了深入的探讨和分享。

以下内容根据对话整理，篇幅有删减：

王澍：自从我们几个月前发布了大模型，它已经展现出了多方面的发展潜力。作为我们的知识管理平台，大模型在持续迭代中显著提升了其泛化能力，效果显著。此外，基于大模型开发的首款应用“AI 讲师”已经在一些试点课程中推广使用。

在生产领域，我们设备管理等方面也推出了一些试点产品。同时，我们在 AI 人才培养方面也取得了进展，不仅培养了复合型人才，还大胆推进了种子教育计划。核电领域由于计算机背景相对薄弱，我们需要培养既能使用大模型又能训练大模型的人才。这一过程不能完全依赖第三方，必须培养自己的教员，以便为不同层次的一线员工提供相应的培训。换句话说，全员都需要掌握不同程度的技能，以适应我们行业的特殊需求。

此外，我们的大模型本身也实现了拟人化，作为宁德核电人工智能实验室的 AI 智囊，参与了日常的头脑风暴、培训学习和科研项目研讨等工作。

纪韩：我的工作主要集中在利用大模型及其多智能体系来解决投资研究中的问题。投资研究主要分为定量和定性两个方向。在定量研究方面，我们已经有多年的利用技术刻画金融市场的经验，并且量化金融领域已经形成了成熟的处理方式。引入大模型后，我们采用了一种更为成熟的技术，即利用大模型生成代码，这使得那些不擅长编程的分析师也能通过大模型进行初级的定量分析。

在定性研究方面，金融分析师需要进行大量的案头工作，如阅读新闻资料、研报、财报和上市公司公告等。大模型在这方面表现出了其优势，擅长处理文字材料。基于此，我们开发了一个名为“投研支小助”的智能助手工具，旨在辅助分析师的日常工作。目前，蚂蚁集团及其紧密合作伙伴已经开始内测这一工具，用以辅助理财师和分析师，帮助他们解决过去机器难以解决的问题。

纪韩：可以肯定的是，大模型技术的应用在两个主要方面取得了显著成效。

首先，对于理财师而言，过去他们能够服务的客户数量是有限的，因为他们需要为每位客户准备个性化的服务材料，包括投资分析报告和持仓分析等。但通过机器辅助，理财师的服务半径得以显著扩大，可以覆盖更多的客户，实现了服务能力数量级的提升。

其次，以支付宝的理财服务为例，过去在没有大模型技术支持的情况下，我们每天只能挑选有限的重点事件、新闻或政策进行解读，数量通常在 30-50 篇之间，甚至更多时候只有个位数。深入应用大模型技术后，我们可以对细分行业领域进行更细致的分析和解读，覆盖全市场的行业，数量可以达到 100-200 以上。目前，我们每天都由机器先生产一大批相关的分析和解读，然后由人工专家进行审核和改写。这使得分析报告从过去的几十篇甚至个位数，提升到了上百篇，实现了数量级的增长。

王一帆：顺丰作为物流行业的重要企业，一直致力于解决物流和供应链中的优化问题，包括库存优化、销量预测、物流配送和路径规划等全链路供应链场景。我们不仅采用了传统的运筹学方法，也积极运用人工智能技术。随着大模型技术的兴起，顺丰投入了大量资源进行研发，利用我们在供应链领域的丰富项目经验和行业积累，发挥了天然优势。目前，顺丰在两个主要领域进行了深入研究。

供应链分析领域：传统的对话式机器人需要用户提出非常具体的问题才能给出准确的回答。借助大模型技术，用户可以用更宽泛的问题提问，大模型能够对这些问题进行细致筛选，提取出精准信息，再传递给传统的 AI 问答工具。这样，工具可以针对解析出的信息进行深入分析，提供全局性的供应链分析建议或咨询方案。

供应链决策领域：在装箱问题、库存优化和路径规划等方面，传统技术可能会遇到性能或定制化的问题。大语言模型最初用于解决词汇层面的对话生成，例如提供句子的后续词汇提示。尽管这看似与路径规划无关，但实际上，路径规划中的访问次序优化与词汇生成的顺序逻辑在数理上具有相关性。顺丰借鉴了这方面的知识，将其应用于路径规划，取得了良好效果。

王澍：在大模型技术兴起之前，我们核电领域对 AI 的应用并不广泛，主要集中在一些特定领域的探索，如 AR 眼镜和机器狗等。这其中主要有两个原因：首先是能力层面或意识层面的问题。由于 AI 本身具有较高的知识门槛，而核电人员往往缺乏计算机背景，因此很难具备应用 AI 的意识和能力。大模型的出现带来了变革，它实现了知识平权，为我们提供了技术条件，使得我们能够参与到 AI 的应用中来。

第二个方面是业务层面的差异。传统 AI 更多依赖于规则驱动，但核电领域的复杂性使得我们这些 IT 领域的门外汉难以轻松找到并应用这些规则。大模型的端到端目标驱动方式和自然语言交流机制，使得我们即使没有深厚的 IT 背景，也能够将看似不可能的事情变为可能。

王一帆：在使用大模型技术之前，我们在行业内遇到了一些难以解决的瓶颈问题。这些问题通常涉及复杂的供应链领域，我们面临的第一个挑战是求解性能。举个例子，对于某类型的优化问题，传统技术能够在一天内求解 100 个案例，并且每个案例的得分都能达到 90 分以上，但如果没有硬件或软件的提升，就很难突破现有瓶颈，高效率的求解更多案例。大模型技术的出现改变了这一局面。现在我们可以在一天内解决一千一万甚至更多案例。虽然目前大模型可能还无法完全达到传统方法 90 分以上的平均水平，但其潜力巨大。

另一方面，使用门槛也有所降低。以往，解决这些问题需要算法人员或技术专家设计特定方法。有了成熟的大模型平台后，只需按照规定格式进行数据标注和投喂，大模型就能根据现有数据不断训练和迭代，成为一个高度智能的工具。面对新的应用场景，大模型能够快速得出良好结果，而使用这种技术不再依赖于专业的算法能力，只需在数据层面和操作层面进行一些培训即可，这大大降低了使用门槛。

纪韩：在金融领域，主观研究一直带有一种神秘性，业界一直在尝试用机器来解决主观决策的问题。例如，早期的 Alphasense 公司就利用自然语言处理技术来理解新闻，并从中提取与金融领域相关的事件和观点。还有一家在金融界广为人知的公司 Kensho，它利用知识图谱技术，将资产的涨跌和行业事件联系起来，实现金融推理。这些公司在大约 10 年前取得了一些技术成果。

随着市场的变化，管理知识图谱的成本越来越高，而且事件与金融资产波动的逻辑也在内生变化，这些模型和知识图谱很难跟上世界的变化。从那时起，大约从 2013 年到 2023 年，在这 10 年间，通过机器进行决策的尝试相对沉寂。直到大模型技术的爆发，金融界才重新发现了一种新的可能。现在，我们可能不再需要像过去那样，费尽心思地从分析师的大脑中提取他们的分析方法论和模式，通过知识工程的方式将其沉淀下来。

大模型只需要大量的金融语料，比如分析师撰写的报告，就能从中抽象出分析师自身的分析逻辑。由于大模型具备阅读大量报告的能力，它能够发现报告中金融逻辑的共性。这种能力在过去，对于整个金融界来说，几乎是不可能通过机器实现的负责分析逻辑。大模型的出现，为金融领域带来了一种全新的可能性，使得机器进行复杂分析变得更加可行。

王澍：核电行业的保守程度可能远超外界的想象。在我们这个行业，有一条基本原则——任何未经证明安全的行为，我们都视为不安全。安全是我们核电人的底线。换句话说，如果一项技术存在风险，我们绝不会在核电行业中引入它，我们只使用那些经过验证的保守和成熟技术。

然而，我们在现实中考虑引入看似不太成熟的大模型，这可能听起来有些矛盾。实际上，这背后有两个方面的考虑。首先，我们需要判断大模型技术是否值得投入，是否应该采用。经过大半年的可行性验证，我们看到了它的价值，认为这是值得做的事情。一旦确定这一点，我们就会进一步评估它可能带来的风险。核电行业并非所有岗位和领域都涉及安全风险。因此，我们选择了一些业务价值大且不涉及安全风险的领域来引入大模型。例如，我们特别重视人才培养和第一个大模型平台的开发，这些都是围绕知识管理和人才发展进行的。既然我们已经判断这项技术必须采用，那么接下来的问题就是如何更好地实施它。我们的目标是找到既能发挥大模型技术优势，又能确保安全和风险可控的方法。

面对一项新技术，尤其是像大模型这样不太成熟的技术，核电行业所面临的挑战是全方位的，每一个挑战都可能非常严峻。我经常感到窒息的一个问题是，核电领域对 AI，包括大模型的认知基础非常薄弱。我去年 5 月开始探讨这个话题时，行业内几乎没人明白我在说什么。

在这个极其保守的行业中，对新生事物往往存在偏见，甚至敌意。在这样的环境下，如何推广大模型技术，并最终取得阶段性成果，是一个复杂的过程。我认为这个过程可以分为几个关键步骤。

第一，说服领导：我从去年 7 月开始，自己投入了大约 10 万元，购买电脑，自学如何部署开源大模型，并训练了一个效果出乎意料的大模型。这最终打动了领导，使他们认识到这项技术确实比人类更有优势。

第二， 说服一线员工：在说服了领导之后，接下来需要在整个一线环境中说服大家接受这个新事物。我们去年推广了一个名为“全民大模型”的计划，让所有人都能通过大模型解决工作中的效率问题和难点问题。

第三，持续教育和培训：我们持续对管理层和一线员工进行大模型的科普宣讲和培训，不断向他们灌输一个概念：如果不学习 AI，未来就可能被 AI 淘汰。大模型已经非常强大，几乎能做你们能做的所有事情。

第四，培养种子教员：由于我们的基础特别差，覆盖面广，但对人才培养非常重视，我们必须培养能够讲授 AI 和大模型知识的教员。这样既能降低成本，也能让企业相信我们真的能够持续推进这项技术。

目前，从组织的最高层到基层员工，我们已经形成了一种共识：大模型技术的价值是无法估量的。这种认识贯穿了整个组织结构，大家都认识到这项技术的重要性和潜在的巨大影响。

纪韩：在蚂蚁集团，我们对于大模型技术持有非常开放和包容的态度，许多同事自发地利用业余时间进行研究和尝试。这种自发性的研究热情，加上公司对新技术的鼓励和支持，创造了一个积极的环境，促进了大模型技术的应用和发展。

在金融领域应用大模型技术，我们面临一些挑战，尤其是模型的严谨性和合规性问题。金融领域对严谨性的要求极高，因此我们在模型的调试和训练上投入了大量的精力，使用了精心制作的金融数据，包括正例和反例，以确保模型生成的内容符合金融逻辑和严谨性。此外，我们还建立了智能体评审机制和“安全围栏”，确保生成内容的合规性、专业性，并满足金融领域对数值型信息的精确处理需求。由于早期基础大模型在数值感知和时间识别方面的能力有限，我们通过与传统专家系统和规则系统的结合，确保最终生成内容的准确性。

在这个过程中，我们特别重视人才梯队的建设。金融领域的专家知识积累相对欠缺，研究方法论主要通过资深分析师的口头传授。为了让模型生成的效果达到预期，并评估模型是否真的解决了金融问题，我们需要真正懂金融的专业人士对模型生成的结果进行打分、标注和修正。

最初，让资深分析师来参与模型标注可能比较困难，但随着一些对新技术更开放的研究员的参与，模型开始展现出效果，比如帮助生成初步的分析报告。这逐渐吸引了更多的分析师愿意参与到模型的打标和迭代过程中。这个过程涉及到技术人员、算法人员和分析师之间的信任建立和磨合，最终形成了一个良性循环，使大家认同大模型能够帮助解决实际工作问题。这可能是金融机构以及对大模型应用有高正确性和严谨性要求的领域所面临的情况。

王一帆：在面对新技术的应用和推广时，不同行业虽有差异，但遇到的问题存在共性。我们的任务是说服相关人员采纳这些技术，并帮助他们有效使用。在供应链领域，我们已经积累了丰富的经验，这些经验可能源自传统行业和传统技术。我们面临的挑战并不全是 AI 大模型技术出现后才遇到的，但新技术的出现无疑带来了新的挑战。

首先，AI 是一个快速发展的新兴领域，技术更新迭代迅速，并依赖于多样化的应用场景。我们需要不断跟踪新技术，对它们进行验证，并针对具体问题开发解决方案。这是一个不断螺旋上升、积累有价值技术方案的过程。

其次，需求的差异性也是一个挑战。供应链领域的客户对服务的细节要求各不相同，如时效性或成本。将这些差异化的需求转化为大模型可以识别和响应的特征，需要大量的迭代和调整。

再者，实现这些目标需要一个坚实的数据基础。没有历史数据的支持，我们不能期望大模型一步到位地达到理想效果。必须基于以往的决策和业务实践，分析其优缺点，并通过数据标注等工作，为大模型提供必要的训练数据。

其四，大模型本身的决策精度问题。大模型追求泛化效果，能够应对多种场景，但要针对特定客户或项目达到预期效果，则需要在泛化的基础上进行更多定制化的调试和优化。

其五，和之前提到的老师一样，我们也遇到了需要自己投入资源以先期证明技术能力的情况。大模型开发涉及到软硬件以及人力资源的大量投入，需要充分的支持才能取得效果。

纪韩：在实际应用大模型技术时，成本是一个重要的考量因素。我们经常需要研究什么样的模型规模和参数量适合解决特定复杂度的问题。在早期研究阶段，我们倾向于使用较大的模型以期达到接近人类专家的金融研究水平，以获得高质量的分析结果。在真正投入生产时，我们必须考虑是否需要对金融市场上每天发生的几千个事件，很多事件可能并没有太大价值。例如，在财报季，上市公司集中公布财报和举行电话会议，A 股市场每天可能有五六百家公司发布财报，每份报告可能数十万字，用大参数量的模型处理这些报告将消耗巨大的资源。

我们需要识别哪些信息真正适合用大模型处理，以及哪些信息对业务有重大的增量价值。在金融行业研究中，我们可能更关注对市场影响大的龙头企业，而对于基本面变化对行业影响微弱的长尾公司，则不必使用过于强大的模型处理。

我们采用了多智能体技术来模拟金融专家的分析任务，通过不同的任务节点分工合作，如问题拆解、定量分析、定性分析和信息汇总等。这个过程被抽象成一个多智能体协作的 PEER 范式，即 Planning（规划）、Executing（执行）、Expressing（表达）、Reviewing（评审），模仿专家分解任务、执行任务、撰写报告和通过同行评审迭代分析结果的过程。在这个过程中，不同任务节点的难度不同，所需的模型规模也不同。

例如，规划任务可能不需要很大的模型，而撰写任务则可能需要更大参数量的模型，如 72B 或 110B 以上，以便处理大量信息语料。我们认为，能够根据不同任务选择适配的模型，并建立相应的基础设施，是未来在工业实践中有效利用大模型的关键。这样不仅可以确保任务的复杂度与成本开销之间达到合理匹配，还能提高大模型技术在实际应用中的效率和效果。

王一帆：大模型以其出色的泛化能力受到认可，但这并不意味着模型越大越好。虽然大型模型能够提供更强的推理能力和更精准地理解用户意图，但它们在特定领域的专业性上可能不够深入。例如，当面对领域专家提出的专业问题时，大模型可能给出的回答不够精确，表现出“什么都知道一点，但什么都不精”的特点。针对这一问题，我们研究并采用了一种结合“大模型”和“小模型”的解决思路。“小模型”，也就是传统 AI 中的分析工具，擅长在特定类型的问题上给出精确答案，但它们可能无法回答所有问题。结合这两种模型的优势，我们可以在供应链分析等领域进行更有效的尝试。

在使用过程中，我们首先利用大模型的泛化能力进行初步分析，理解并分析用户想要提出的问题类型，然后对问题进行解析和归类。例如，在供应链分析中，可能包括根因分析、库存仿真推演、销量预测等具体问题。用户可以用宽泛的方式向大模型提问，大模型将问题提炼并分发到不同的小模型中，由这些小模型提供精确的分析和回答。最终，这些精确的回答可以通过大模型以更精致、系统的方式呈现给用户，比如通过图形、报表或全面的解析报告。这种结合使用大模型和小模型的方法，能够充分发挥各自的长处，互补不足，从而提高整体效果。

王澍：大模型确实不是越大越好。在我们核电行业，大模型训练是我们经过近一年训练所积累的技术优势之一。这包括数据收集、清洗，以及在大模型训练中的模型选择、超参数设置等。除了传统 AI 技术与大模型的结合，我想进一步探讨的是传统 AI 技术、通用大模型、垂直大模型以及人如何协同作战。关键在于发挥各自的优点，而不是过分关注缺点。我们不应该期望单一技术解决所有问题，也不应该因为某项技术的短板而全盘否定它。

大模型的优点主要有两个：一是在准确回答问题方面能够做到极其精准；二是它们提供了强大的泛化能力，也就是所谓的头脑风暴能力。人的特点在于，我们可以迅速判断一个答案的正确与否，这是在四者协同工作中的一个显著优势。通过这种协同，许多曾经难以处理或无法解决的问题，现在至少有了新的解决思路。这种协同作战不仅提高了解决问题的能力，也为我们提供了更广阔的视野和更多的可能性。这些感受来自于我过去一年在训练和使用大模型过程中的亲身体验。通过将传统 AI 技术、不同种类的大模型以及人的判断力有效结合起来，我们可以更全面、更高效地应对各种挑战。

王一帆：在大模型技术到来之前，我们面对的挑战已经存在多年，特别是如何让业务人员理解 AI 大模型或传统运筹学算法。由于这些技术对他们来说难度相当，我们的目标一直是促进技术和业务之间的互通，以便更好地推动算法项目的落地，具体来说有以下几点。

第一，我们需要深入理解业务场景，这样才能将业务需求转化为算法能够理解的语言，并通过算法或大模型技术将所需结果传递给客户。

第二，我们要在众多技术方案中选择适合特定项目的技术。例如，如果项目对时效性要求高但对求解精度要求相对较低，AI 大模型或快速启发式方法可能是合适的选择。相反，对于一些规划或计划层面的项目，可能更适合采用更传统、更保守的方法，以确保结果的稳定性和安全性。

第三，我们需要考虑客户的接受程度。客户只有在理解技术和业务的基础上，才能对所采用的方法给予支持。这需要我们在客户的使用习惯上进行培养，逐步引导他们适应新技术带来的便利性和优势，并通过 KPI 报表等结果导向的方式证明技术的有效性。此外，数据质量的提升也是关键。维护高质量的数据可以促进 AI 大模型的迭代，使其更加精准。

第四，顺丰作为物流行业的代表，正在积极探索各种行业场景中大模型和传统方法的应用，并针对这些场景进行深入探索和扩展。这是一个长期的过程，我们将持续投入。

王澍：企业普遍面临的共性问题之一是办公效能的提升。自从我们引入大模型技术后，首先解决的就是这方面的一些问题。例如，通过大模型技术，我们能够实现文本自动生成图表和 PPT，连模板设计都变得不再必要，这在国有企业中已经成为一种常规操作。然而，在安全至上的核电行业，大模型的应用面临一些特有的挑战。

大模型的前期能力不足：这主要表现在两个方面，一是大模型的幻觉问题严重，即生成的信息可能不准确；二是泛化能力不足，即对特定领域的适应性不强。解决这一问题没有捷径，需要耐心迭代，坚信大模型的能力会随着时间积累而实现质的飞跃。

传统行业的使用意愿低：这主要是因为大家不熟悉如何使用大模型，或者没有意识到大模型在解决特定问题上的优势。要提高使用意愿，可以通过提供培训、奖励机制，或者适度施加行政压力等手段，激发大家使用大模型的动力。

此外，大模型在写论文方面的应用，为企业员工提供了一个明显的受益点，这可以作为一个非常好的突破口。通过大模型辅助撰写或解读论文，不仅可以提高研究效率，还能帮助员工在学术和专业领域取得更好的成果。

纪韩：大模型技术在金融领域的应用已经开始展现出显著的业务价值。例如，它被用来帮助上市公司生成财报和金融机构生成研报，这在一些合作紧密的上市公司中已经成为现实。

提高研究效率和覆盖度：在金融投资领域，大模型技术如投研支小助等产品可以辅助专家阅读大量新闻、财报和研报，极大地提高了市场研究的及时性和覆盖度。这种能力是人工所无法比拟的，可以说是量级式的提升。

风险识别和欺诈检测：在风控领域，大模型通过文本分析能够识别资料中的矛盾点，进行欺诈检测，帮助风险管理部门更有效地识别潜在风险。

C 端用户的金融助手：蚂蚁集团通过智能金融管家支小宝，将高端的金融管家服务带给普通用户。这种服务以往只有高净值或超高净值人群才能享受，但现在通过技术手段，可以让每位用户都获得个性化的投资顾问和保险配置服务。

解决投资焦虑：在市场波动时，普通投资者可能会感到焦虑和不安。金融助手可以通过专业的分析帮助用户理解市场动态，减少不必要的担忧，鼓励长期健康的投资行为。

普惠金融价值：虽然金融服务在业务数值上可能难以直接衡量，但从普惠金融的角度来看，技术的应用具有巨大的社会价值。它可以帮助普通投资者更好地管理自己的财务，提高整个社会的金融素养。

纪韩：我们公司内部目前有一个普遍认同的观点：当前大模型和智能体技术，正处在学习模仿金融专家的阶段。现阶段，这项技术已经能够辅助金融专家进行工作，未来我们希望它不仅仅是辅助的助手，还能进行独立的金融决策，成为金融专家的 Agent 替身。这是一个长远的目标，也是我们对未来技术发展的愿景。

王一帆：我们在供应链分析和供应链决策这两个领域已经取得了一些初步的成果和进展。如果这些进展顺利，我们公司计划在下半年推出一些基于大模型的新产品。请大家持续关注我们的动态。

王澍：在我们这种传统公司，准备工作应该从以下三个方面规划。

一是机制建设：首要任务是建立一种机制，避免让带薪上班成为常态。这里存在一个矛盾：在产品可行性得到验证之前，企业不太可能进行投资；但若没有企业的投资，产品也无法完成可行性验证。因此，机制建设是我们需要优先考虑的问题。

二是人才培养：对于垂直领域的大模型开发，需要该领域的专业人员深度参与。与其从外部培养专业人员，不如加强内部人员的培养，使他们能够掌握大模型技术，具备相关的能力。

三是算力储备：我将这一点排在第三位，因为只要有足够的资金，算力是相对容易获取的资源。虽然重要，但相较于机制建设和人才培养，它并不是最迫切需要解决的问题。