星环科技孙元浩：语料已经是大模型最大的挑战

2024-06-16 05:06

机器之心报道

作者：Esther

「原来以为语料已经匮乏了，大模型训练已经没有语料了，实际上不是的，数据还远远没有跑光」。

作为大数据领域超过十年的创业者，「星环科技」创始人及CEO孙元浩并不认同「大模型已经将人类互联网数据穷尽」的说法。

根据他的观察，如今在各行各业企业内部的数据还远远未被足够利用，人类在互联网上的存量数据远远大过目前大模型能够利用的量级。拥有了这些来自各行各业内部高质量的数据，大模型可以在如今的基础上，大大提高准确性。

而关键问题就在于，怎样可以高效地开发这些数据？

大模型时代，语料的开发遇到了新的挑战。孙元浩分享称，目前企业内部的数据往往多是非结构化的、海量的、不同形式的、以小文件居多的，同时标注和校正这些专业数据还有较高的门槛。这对文件系统、知识库系统、语料开发系统等都提出了新的要求。

比如，面对数据量巨大的问题，对企业内部各种文档、PPT的处理，意味着存储和计算资源有更高的要求；在数据多样性方面，对于企业内部不同类型的文档，如媒体文章、政府公文、设计文档等，都需要用训练模型进行识别和解析，这就要求数据处理工具具备强大的多模态数据处理能力。

对于数据安全和隐私问题，在训练和推理的过程中，如何保证企业内部信息的保密与安全性，这对工具的安全把控也提出了新要求；专业数据标注人才问题方面，由于企业内部数据的处理往往是专业领域的标注，比如生物分子式或者专业金融术语，需要更专业的数据标注专家进行处理。

为了应对这些挑战，孙元浩分享了星环科技的一些尝试：

1、升级大数据平台：对 Transwarp Data Hub 数据平台进行升级，使其能够处理更多元化的数据，包括大量的文档和小文件。通过重构源数据管理节点和增加 POSIX 接口，提高了文件系统的支持能力和数据存储效率。

2、增加 Python 接口：在 Data hub 上增加 Python 接口，并将 Python 语言和库进行分布式化，以便在处理语料时使用 Python 语言进行清洗。这有助于提高语料处理的效率和灵活性。

3、推出分布式 Python 引擎：针对语料量通常为几十 T、上百 T 的情况，推出分布式 Python 引擎，提高了处理海量语料的能力和效率。

4、优化向量数据库：对向量数据库进行升级，提高召回准确度和分布式性能，使其能够更好地支持大规模数据的处理和检索。

5、构建知识图谱：提供Transwarp Knowledge Studio for LLM知识工具来构建知识图谱，弥补向量召回的准确度不足。例如在设备维修场景中，将设备的故障数、归零报告等导入知识图谱，大模型在回答问题时可以在知识图谱上进行推理，从而提供更准确的答案。

6、开发语料开发工具：推出语料开发工具，包括语料的解析、分类、清洗、标注、增强等功能，以及从语料中构造问答对和安全测试集。用于自动化或半自动化地处理各种文档类型、语音视频，将其转化为可用于大模型训练的高质量语料。

7、提供大模型工具链：提供大模型整套工具链，包括从语料生成到模型训练、知识库构建、应用开发、智能体构建的一系列过程，以及调度算力的工具。这有助于提高大模型应用的构建效率和管理能力。

8、构建 AI 原生应用：推出无涯·问知和无涯·问数等 AI 原生应用，实现企业内部信息检索和数据分析，提高数据处理的效率和便捷性。

9、支持多种模型和数据源：支持第三方模型，无论是开源还是商用，以及多种数据源，包括个人知识库、企业知识库、财经类数据库、法律法规数据库等，提高数据处理的灵活性和适应性。

基于这些，企业可以直接上传多种类型的资料，产品将快速解析，形成企业自己的知识库。不过，将更多企业内部的数据开发释放并不是终点，孙元浩认为，提升语料质量是目前大模型在提升准确性上最大的挑战。

「现在模型结构大家都不是秘密了，训练方法也不是秘密了，只是没有语料。语料存在于各种地方，因为工作非常巨大，都是巨大的体力活，这是目前最大的挑战，不是之一，这是最大的挑战。」

除此之外，在大模型落地实践中，孙元浩认为现阶段提升模型准确率的方法主要包括以下几种：

1、构建外挂知识库：将企业的资料、文章等解析出来放到知识库中，让大模型参考知识库的内容进行写作或分析，这是一种快速提升模型准确率的方法。

2、微调模型：通过对大模型进行微调，使其能够学习特定领域的知识和语言习惯，从而提高模型在该领域的准确率。

3、持续训练：对于金融等领域，需要持续地将大量的语料喂给大模型，以提高模型的精准度和回答金融问题的能力。

4、提供语料开发工具：开发语料开发工具，帮助企业整理和清洗语料，将其转化为适合大模型训练的格式，从而提高模型的准确率。

5、结合多种方法：可以将以上几种方法结合起来使用，如构建外挂知识库的同时，对模型进行微调或持续训练，以进一步提高模型的准确率。

孙元浩比喻道，过去一年一直讲大模型是个“文科生”，因为它能写作、生成；星环的目标是把大模型训练成一个理科生，希望它能做数学分析，能够懂自然科学的各个领域、各个学科。通过星环科技AI Infra工具，企业能够准确、高效地将拥有的多种来源的多模语料转换为高质量的专业领域知识，让企业构筑知识壁垒。

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq