持续数据开源，智源发布超3亿对面向中英文语义向量模型训练数据集
这是全球最大的中、英文文本对训练数据集， 数据规模达3亿对，希望推动解决中文模型训练数据集缺乏问题。
数据对大模型训练起着至关重要的基础作用，开源亦是人工智能发展的关键推动力量。作为中国大模型开源生态圈的代表机构，智源持续进行包括数据在内的大模型全栈技术开源，推动人工智能协同创新。
链接大模型与外部知识，通用语义向量模型是决定大模型性能的关键组件。由“关联文本”为基本元素的优质训练数据，是生产通用语义向量模型的核心要素。
智源研究院发布大规模文本对训练数据集MTP（massive text pairs），开放热门语义向量模型BGE训练所用的超3亿条中英文数据，以规模巨大、主题丰富、数据质量高为特点，推动语义向量模型训练高质量发展。
- 大规模向量模型权威排行榜 MTEB上排名稳居第一
- Hugging Face 累计下载量达到数十万
- 被LangChain, LangChain-Chatchat, llama_index 等多个知名开源项目集成
与此同时，BGE模型回应社区反馈、快速迭代，带来一系列升级更新。
MTP数据集链接：
https://data.baai.ac.cn/details/BAAI-MTP
BGE 模型链接：
https://huggingface.co/BAAI
https://github.com/FlagOpen/FlagEmbedding
秉承 BAAI 数据集开源传统
3亿中英向量模型训练数据开放
数据在大模型训练中至关重要，构建高质量开源数据集，特别是用于训练基础模型的开源数据集对大模型发展意义重大，然而中文社区却鲜少数据开源贡献者。
本次发布的全球最大语义向量模型训练数据MTP，具备如下特征：
规模巨大：3亿文本对，中文1亿，英文2亿。
主题丰富：源自海量优质文本数据，涉及搜索、社区问答、百科常识、科技文献等多种主题。
数据质量高：数据经过必要的采样、抽取、过滤获得；由该数据训练得到的语义向量模型BGE (BAAI General Embedding)性能大幅领先同类别模型。
详情参见MTP数据集：
https://data.baai.ac.cn/details/BAAI-MTP
建设高质量中文数据集、推动数据资源开源开放是智源来持续贡献的方向。
2021年，智源推出全球最大语料库WUDAO copora ，开放200GB高质量低风险中文语料，由400余个产学研单位合作，已有770多个研发团队申请，为微软、哈佛大学、斯坦福大学、华为、阿里巴巴、腾讯、鹏城实验室等提供数据服务，有效支撑全球大模型相关研究。
今年开放的最大规模、可商用、持续更新的中文开源指令数据集COIG，由来自全球40余个机构的100多名工程师共同参与，创造了跨越国界、紧密合作的全球数据开源动人故事。
目前，智源亦在推动各方共建大规模高质量中文数据库，以盘活我国高质量中文数据资源，加快数据处理相关标准、技术、工具和支撑平台研发，提高数据处理效率。
下载达数十万，被LangChain集成
广受欢迎的BGE模型升级更新
BGE 语义向量模型一经发布就备受大模型开发者社区关注，目前Hugging Face累计下载量达到数十万，且已被LangChain, LangChain-Chatchat, llama_index 等知名开源项目集成。
了解更多：
《链接大模型与外部知识，智源开源最强语义向量模型BGE 》
中文语义向量模型评测（C-MTEB）
英文语义向量模型评测榜（MTEB）
Langchain官方推文：“BGE模型在MTEB基准上排名第一”。
LangChain联合创始人兼首席执行官Harrison Chase推荐
Deep trading 创始人Yam Peleg 表示：“BGE在（推出）不到一周时间超越了之前的领先模型，创下新纪录”。
基于社区反馈，BGE进一步优化更新，表现更加稳健、出色。具体升级如下：
模型更新。BGE-*-zh-v1.5缓解了相似度分布问题，通过对训练数据进行过滤，删除低质量数据，提高训练时温度系数temperature至0.02，使得相似度数值更加平稳 。
新增模型。开源BGE-reranker 交叉编码器模型，可更加精准找到相关文本，支持中英双语。不同于向量模型需要输出向量，BGE-reranker直接文本对输出相似度，排序准确度更高，可用于对向量召回结果的重新排序，提升最终结果的相关性。
新增功能。BGE1.1增加难负样本挖掘脚本，难负样本可有效提升微调后检索的效果；在微调代码中增加在微调中增加指令的功能；模型保存也将自动转成 sentence transformer 格式，更方便模型加载。
值得一提的是，日前智源联合Hugging Face发布了一篇技术报告，报告提出用C-Pack增强中文通用语义向量模型。
《C-Pack: Packaged Resources To Advance General Chinese Embedding》：https://arxiv.org/abs/2309.07597
率先推动大模型基础软硬件开源
FlagOpen致力于构建大模型时代的类Linux生态
坚持开源开放，促进协同创新，智源大模型技术开体系 FlagOpen 新增 FlagEmbedding 版块，聚焦于 Embedding 技术和模型，BGE 是其中首个开源模型。
FlagEmbedding：
https://github.com/FlagOpen/FlagEmbedding
上线于2022年11月，正式发布于2023年2月，FlagOpen大模型技术开源体系先见性地预见大模型开源建设这一大势所趋，引领共建共享大模型时代的“新Linux”开源开放生态。
在BGE项目之外，FlagOpen还有包括大模型算法、模型、数据、工具、评测等重要组成部分。
其中，FlagEval（天秤）大模型评测体系及开放平台，构建3维评测体系、覆盖600余项全面能力评测，旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能。
每月发布的FlagEval大模型评测榜单，对主流模型进行多维评测解读，打造公正全面金标准，正在愈来愈成为大模型能力评价的风向标。
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者