银行应用生成式AI，大模型如何选？

银行应用生成式AI，大模型如何选？

2023-09-01 04:09

现在整个市场上的模型提供方非常多，对银行而言，模型的选型是从根本上解决生成式AI应用场景质量的关键输入点。

这些问题都值得我们思考。BCG专家在《银行业生成式AI应用报告（2023）》中是这样说的：

若要在全行前中后台规模化应用大模型，银行需要从算力准备、模型选择和配套能力升级，做整体的规划。

主要结论：

1	算力准备。即使不从0到1训练大模型，只是进行精调，也需要相对较高的算力资源；若规模化应用，需在基础算力和稳定性上做好充分准备，特别是GPU。
2	模型选择。面临商用模型和开源模型两个路径的选择，两大路径各有优势，需充分权衡利弊；大模型不一定越“大”越好，训练语料、训练方法、训练时长等都很重要，业务团队的输入也非常重要；选择模型可以从准确性、置信度、鲁棒性、公平性、毒性、效率等多个维度进行验证。
3	配套应用开发能力的构建。一是面向业务团队搭建基于自然语言交互、支持“托拉拽”的开发工具；二是针对“提示词设计”构建常态化的专项研发管理机制；三是强化模型测试、输出审查过滤、对模型表现进行持续监控等风险控制能力。