单点端到端文本检测识别框架速度提升19倍！华科、华南理工等联合发布SPTS v2

论文链接：https://arxiv.org/abs/2301.01635

代码地址：https://github.com/Yuliang-Liu/SPTSv2

今年9月，华中科技大学白翔团队刘禹良研究员联合华南理工大学、浙江大学、香港中文大学、字节跳动等机构的研究人员于TPAMI在线发表了SPTS v2的相关工作，针对端到端场景文本检测识别任务，提出基于单点标注的SPTS v2方法。

该方法采用了单点来指示文本位置，采用语言序列统一表征图片、坐标及文本等不同模态，使得检测及识别任务的融合更加紧密，也免除了先验知识的介入和复杂的后处理操作。针对其自回归推理速度较慢的问题，通过将检测识别解耦为自回归的单点序列预测及基于每个单点的并行文本识别进行推理加速。

此外，该方法同样采用了单点来指示文本位置，极大地降低了标注成本，并且使用序列预测的方式完成端到端场景文本检测识别任务，使得两个任务的融合更加紧密，也免除了先验知识的介入和复杂的后处理操作。

实验证明该方法在多个场景文本端到端检测识别数据集上优于现有方法，同时相对于SPTS v1达到了19倍的推理加速。

3. 点的表征有什么性质及优点？

① 点的标注可以很随意。

实验表明，点即使是随机的一个点，效果依然是和全部选取中心点相差不大的，甚至比全部取左上角点还要高。这意味着标注人员仅需对着文本随意点一个点即可标注文本。

② 点的性能很高。

文中点的性能取得了最好的Text Spotting结果。同时为了消除是否是因为点和框不同评估标准的影响，实验验证了点的评估和框的评估性能差异不大。

③ 随机文本排序最好。

由于自回归的有序性，第一阶段预测哪个文本点的顺序可能会对结果产生影响。实验表明随机点排序达到了最佳性能，因为它可能会在以后捕获那些丢失的对象。由于在不同迭代中为同一图像构建的不同序列，这使模型更加鲁棒。这一结论也与Pix2seq[5]一致。

④对噪声更加鲁棒。

在SCUT-CTW1500上对框或者点的坐标加上随机扰动，实验结果表明SPTSV2相比于基于框的方法能够更好地应对标注噪声。

⑤甚至很长的文本行也可以仅用一个点标注。

如SCUT-CTW1500就是文本行数据，SPTSv2效果不仅是最好的，还大幅好于基于框的方法。

4. 既然检测识别解耦，是不是该方法不需要点也能识别结果？

此外，值得一提的是，文中还有一个有趣的发现。仅仅只是在SPTS的框架内验证，如果不预测点，而是预测水平矩形框和多边形，效果不如点。

针对这一现象，文中做了一些分析：