Redian新闻
>
介绍一个被称为十一边形战士的强大模型

介绍一个被称为十一边形战士的强大模型

公众号新闻

文档智能(DI, Document Intelligence)主要指对于网页、数字文档或扫描文档所包含的文本以及丰富的排版格式等信息,通过人工智能技术进行理解、分类、提取以及信息归纳的过程。文档智能技术广泛应用于金融、保险、能源、物流、医疗等行业,常见的应用场景包括财务报销单、招聘简历、企业财报、合同文书、动产登记证、法律判决书、物流单据等多模态文档的关键信息抽取、文档解析、文档比对等。随着企业数字化、信息化进程不断加速,这类需求越来越强烈,工业界急需前沿技术与易用工具来解决这些问题。百度开源的文心ERNIE-Layout以及自然语言处理开发工具PaddleNLP来得很及时,强烈安利!


文心ERNIE-Layout

重磅开源

近期,百度文档智能团队基于多语言跨模态布局增强的文档智能大模型文心ERNIE-Layout,刷新了五类11项文档智能任务效果。


▲ 百度文档智能技术指标

继文心ERNIE-Layout1.0后,文心ERNIE-Layout再次登顶DocVQA榜单,并成为榜单首个突破90分大关技术方案[1]。同时,基于文心ERNIE-Layout的开放文档抽取问答模型DocPrompt, 首次以文档智能模型登顶网页问答榜单WebSRC[2]

▲ DocVQA、WebSRC榜单
飞桨自然语言处理模型库PaddleNLP第一时间为大家开源了文档智能十一边形战士系列模型。

文心ERNIE-Layout多语言跨模态布局增强文档智能大模型 

文心ERNIE-Layout依托文心ERNIE,基于布局知识增强技术,融合文本、图像、布局等信息进行联合建模,能够对多模态文档(如文档图片、PDF文件、扫描件等)进行深度理解与分析,为各类上层应用提供SOTA模型底座。
  • 前往GitHub获取详情:

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-layout

欢迎STAR收藏,跟踪最新开源工作

DocPrompt开放文档抽取问答模型(基于ERNIE-Layout)

文档智能技术广泛应用于金融、保险、能源、物流、医疗等行业,常见的应用场景包括各类多模态文档的关键信息抽取、文档解析、文档比对等。基于前沿的文档智能技术,PaddleNLP正持续开源一系列产业实践范例,解决开发者们实际应用难题。

  • 前往GitHub获取详情:
https://github.com/PaddlePaddle/PaddleNLP/tree/develop/applications/document_intelligence
本次重磅开源的DocPrompt开放文档抽取问答模型,以文心ERNIE-Layout为底座,可精准理解图文信息,推理学习附加知识,准确捕捉图片、PDF等多模态文档中的每个细节。通过PaddleNLP Taskflow,仅用三行Python代码即可快速体验DocPrompt功能。
from paddlenlp import Taskflow
docprompt = Taskflow("document_intelligence", model='docprompt')
docprompt({"doc""./invoice.jpg""prompts": ["发票金额""左侧抬头日期是什么?"]})
DocPrompt零样本问答效果非常强悍!能够推理学习空间位置语义,准确捕捉跨模态文档信息,轻松应对各类复杂文档。
▲ 可支持空间位置语义理解
▲ 可准确捕捉图文混排多模态语义

针对网页、表格和试卷等复杂布局文档,DocPrompt也能结合上下文及表头信息,给出精准答案。

▲ 网页理解优于半结构化抽取方案
▲ 支持多维度无框线表格问答
▲ 试卷解析问答
以文心ERNIE-Layout为底座的DocPrompt,还具备跨语言多语种的抽取亮点!
▲ 支持10+语种的多语言提问

推荐大家访问Huggingface 文心ERNIE-Layout空间,快速体验DocPrompt带来的惊喜!

https://huggingface.co/spaces/PaddlePaddle/ERNIE-Layout
▲ Huggingface 文心ERNIE-Layout空间

直播课预告

10月25日,文心ERNIE-Layout论文作者,百度高工将带来直播讲解,介绍文档智能的前沿技术,深度解读多语言跨模态布局增强文档智能大模型文心ERNIE-Layout与开放文档抽取问答模型DocPrompt,并带来基于PaddleNLP的实践范例。欢迎扫码入群,获取直播课程链接。入群还有更多福利:

  • 与百度飞桨官方技术团队深度交流

  • 官方团队整理的10GB NLP学习大礼包
  • TextMind智能文档分析平台合作咨询



核心技术方案
文心ERNIE-Layout以文心ERNIE为底座,融合文本、图像、布局等信息进行跨模态联合建模,创新性引入布局知识增强,提出阅读顺序预测、细粒度图文匹配等自监督预训练任务,升级空间解耦注意力机制。输入基于VIMER-StrucTexT大模型[3]提供的OCR结果,在各数据集上效果取得大幅度提升,相关工作已被EMNLP 2022 Findings 会议收录[4]。
▲ 文心ERNIE-Layout 技术框架
文心ERNIE-mmLayout为进一步探索不同粒度元素关系对文档理解的价值,在文心ERNIE-Layout的基础上引入基于GNN的多粒度、多模态Transformer层,实现文档图聚合(Document Graph Aggregation)表示。最终,在多个信息抽取任务上以更少的模型参数量超过SOTA成绩,相关论文被ACM MM 2022会议收录[5]

▲ 文心ERNIE-mmLayout 技术框架


文档智能技术体系

与应用平台

文档智能(DI, Document Intelligence)主要指对于网页、数字文档或扫描文档所包含的文本以及丰富的排版格式等信息,通过人工智能技术进行理解、分类、提取以及信息归纳的过程[6]。百度文档智能技术体系立足于强大的NLP与OCR技术积累,以多语言跨模态布局增强文档智能大模型文心ERNIE-Layout为核心底座,结合图神经网络技术,支撑文档布局分析、抽取问答、表格理解、语义表示多个核心模块,满足上层应用各类文档智能分析功能需求。

▲ 文档智能技术体系

百度TextMind智能文档分析平台[7]可提供包括文档信息抽取、文本内容审查、企业文档管理、文档格式解析、文档内容比对等全方位一站式的文档智能服务,已形成一套完整的企业文档场景化解决方案,满足银行、券商、法律、能源、传媒、通信、物流等不同行业和场景的文档处理需求,以AI助力企业的办公智能化升级和数字化转型。

开源地址

https://github.com/PaddlePaddle/PaddleNLP
【更多精彩直播推荐】

*本文封面图背景由文心ERNIE-ViLG大模型生成,欢迎点击参考链接[8],体验更多百度AI开放能力。

参考链接

[1]DocVQA榜单

https://rrc.cvc.uab.es/?ch=17&com=evaluation&task=1 

[2]网页问答榜单WebSRC

https://x-lance.github.io/WebSRC/index.html

[3]VIMER-StrucTexT

https://github.com/PaddlePaddle/VIMER#structext

[4]文心ERNIE-Layout: Layout-Knowledge Enhanced Multi-modal Pre-trainingfor Document Understanding 

https://arxiv.org/abs/2210.06155

[5]文心ERNIE-mmLayout: Multi-grained MultiModal Transformer for Document Understanding

https://arxiv.org/abs/2209.08569
[6]崔磊,徐毅恒,吕腾超,韦福如. 文档智能: 数据集、模型和应用[J]. 中文信息学报, 2022, 36(6): 1-19.

[7]百度AI开放平台——智能文档分析平台

https://ai.baidu.com/tech/nlp/Textanalysis

[8]文心ERNIE-ViLG

https://wenxin.baidu.com/moduleApi/ernieVilg


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
5亿豪宅曝光,被称为“言情教母”的她,原来是这样的人保健养生——3种运动被称为“长寿运动” 每天坚持时长死亡率最低投资利好!希腊经济被称为“世界七大奇迹”之一“六边形战士”马龙:老骥伏枥,还能起舞历史学家×资产管理人:被称为帝王教科书的《资治通鉴》该怎么读这种新药也许能终结新冠疫情!被称为对病毒的真正复仇!女性苦难史《落叶归根》5-如影随形 2 (多图)《百年孤独》:一个人内心的强大,是从享受孤独开始的突发!澳洲移民政策突变,这类签证下月将取消!近90%申请者来自中国,被称为移民的“黄金门票”!九年来救助各种野生鸟类,他被称为白洋淀“鸟叔”行业入门|数据科学,一个被称为21世纪“最性感”的行业华宝新能上市首日跌11%:公司市值202亿 被称为大号充电宝一个人真正的强大,是悦纳自己介绍一个英语学习网站她是释小龙的师妹,曾为拍戏停经十个月,拍10年打戏被称为“女版吴京”……她怎么就是不红?介绍一套迪士尼入门原版书 | 文末福利他投资了互联网的半壁江山,被称为“一条穿着西装的鲨鱼”!罗大佑因她痴狂、李宗盛为她流泪,被称为“才子收割机”的她却在未婚生子后嫁入豪门……如今她过得怎样了?被称为“肠道清道夫”,我家现在离不开这种健康的汁!1袋≈24颗新鲜西梅作成,口感酸甜醇厚龙卷风健康快递 206近日,美国14个机场网站瘫痪,被称为Killnet的黑客组织宣称对此事负责农民占多数的国家能实现工业化这三种颜色被称为抑郁色,如果孩子喜欢,家长一定要多留心!“杀死”老妈的50种方式?这个儿子把老妈打造成了六边形战士公认的四大名著,却被称为“中国人的精神地狱”中国是一个特别幽默的国家!为什么它被称为“柚子瀑布”?《部队大院的八零后》7. 只卖艺,不卖身Rivian遭遇滑铁卢:召回超1.3万辆车 曾被称为特斯拉杀手给大家介绍一个,可以瞬间提升魅力的便宜小玩意!在古代朝鲜,有一种女医生,被称为“医妓”,有一项工作难以启齿“我一不恋爱、二不社交、三不买房!”4年前,那群被称为大神的年轻人,如今怎么样了?被称为“中国卡夫卡”,她才是2022诺奖最大遗珠华东医药:“六边形战士”厚积薄发,创新转型稳步迈入新台阶这种血型被称为“恐龙血”,国内仅发现百余例,常被误认为“O型血”
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。