金融圈的GPT来了

2023-04-03 08:04

1. BloombergGPT的核心突破在于构建超3,000亿词例的金融训练数据集

2. BloombergGPT的开发对于所有垂直领域都有重要意义

文：白话华尔街丨ID：WallstreetTalk

字数：1268字，阅读时长：3分钟

图：Bloomberg

近日，由ChatGPT引发的生成式AI热潮也蔓延到了金融行业。3月30日，全球商业、金融信息和财经资讯领域的供应商彭博（Bloomberg）发布了一篇关于BloombergGPT发开情况的研究论文，详细介绍了这一专注于金融领域的大规模生成式人工智能模型。

和OpenAI的ChatGPT将从根本上颠覆书面交流一样，BloombergGPT也将彻底改变金融行业。

“核心突破在于构建了超3,000亿词例的金融训练数据集”

根据Bloomberg的公告，BloombergGPT大语言模型（LLM）专门针对各类金融数据进行训练，从而全方位地支持金融领域的各种自然语言处理（NLP）任务。这些任务可能包括但不限于快速地分析财务数据、协助进行风险评估，以及自动执行会计和审计任务等。

该模型将帮助彭博改进现有的金融NLP任务，如市场情绪分析、实名实体识别、新闻分类和问题回答等。除此之外，BloombergGPT还可以调动彭博终端（Bloomberg Terminal）上的海量数据，将人工智能的全部潜力应用到金融领域。

BloombergGPT基于彭博研究人员开创的混合训练法，通过将金融数据与通用数据集结合起来训练模型，既可以在金融基准上取得最佳结果，同时也可以在通用LLM基准上保持足够的竞争力。

坐拥彭博在数据创建、收集和整理方面的资源，BloombergGPT是迄今为止规模最大的专业领域数据集之一。

在过去的40多年里，彭博积累了充斥大量金融用语的文档，其开发团队从这个由大量英文金融文档组成的数据库中提取并创建了一个包含3,630亿词例（token）的金融数据集。该数据集又与另外一个包含3,450亿词例的公共数据集叠加，形成一个包含超7,000亿词例的大型训练语料库。

彭博的研究团队利用该语料库的一部分内容训练了纯解码器（decoder-only）因果语言模型，包含500亿个参数，并对训练出的模型进行了基准测试。

金融领域的NLP任务采用了彭博的自有基准，各类通用NLP任务则采用了市面上流行的基准，如BIG-bench Hard、 Knowledge Assessments、Reading Comprehension以及Linguistic Tasks。

测试结果显示，BloombergGPT在金融任务上的表现远超类似规模的开发模型，而在一般NLP基准上的表现也达到甚至超过了平均水平。

BloombergGPT在金融NLP和一般NLP任务中的表现图：Bloomberg

“所有垂直领域都将受益”

彭博在公告中表示，基于LLM的人工智能在许多领域都已经展示出了应用潜力，然而金融领域的复杂性和独特的术语意味着需要有一个专攻金融专业的模型。BloombergGPT的推出意味着，金融行业在基于LLM的人工智能开发和应用方面已经迈出了第一步。

彭博首席技术官Shawn Edwards表示，小样本学习、文本生成和对话系统等，都是生成式LLM模型如此迷人的原因，而首个专注于金融领域的LLM模型将具有巨大价值。BloombergGPT能帮助人们处理许多新型的应用，不仅比定制化模型的表现好，而且即开即用，能够大大缩短上线时间。

关于BloombergGPT的发布，彭博研究团队在论文中表示，虽然业内无法对未公开的模型进行全面评估，但发布模型很可能会导致不良用途。特别是像BloombergGPT这样的接受了大量新闻稿、媒体报道和其他文件训练的模型，发布以后将面临很高的被模仿滥用的风险，而且很容易受到数据泄漏攻击。出于这些原因，彭博研究团队宁可谨慎行事，并遵循其他一些LLM开发人员的做法，不发布BloombergGPT。

尽管如此，彭博在训练和评估BloombergGPT方面的见解和经验将有助于加深人们对LLM模型的理解，对那些希望构建某一领域特定模型的从业者起到借鉴作用。

参考资料

1.Bloomberg, Introducing BloombergGPT, Bloomberg’s 50-billion parameter large language model, purpose-built from scratch for finance

2.Bloomberg, BloombergGPT: A Large Language Model for Finance

3.Fox Business, Bloomberg unveils finance-focused AI model Bloomberg GPT

BloombergGPT论文阅读原文 https://arxiv.org/pdf/2303.17564.pdf