图片迟迟加载不了、一片马赛克？谷歌开源模型优先显示图像受关注部分

本文提出注意力中心模型，用于预测人眼在图像上首先注意到的位置，从而提高用户体验。

当观察一副图像时，你会先注意图像的哪些内容，或者说图像中的哪些区域会首先吸引你的注意力，机器能否学会人类的这种注意力形式。在来自谷歌的一项研究中，他们开源的注意力中心模型（attention center model）可以做到这一点。并且该模型可用于 JPEG XL 图像格式上。

举例来说，下图是注意力中心模型的一些预测示例，其中绿点为预测的图像的注意力中心点。

图像来自 Kodak 图像数据集：http://r0k.us/graphics/kodak/

注意力中心模型大小为 2MB，格式为 TensorFlow Lite。它以 RGB 图像作为输入，并输出一个 2D 点，该点是图像上的预测注意力中心点。

为了训练模型来预测注意力中心，首先需要一些来自注意力中心的真实数据。给定一张图像，一些注意力点可以通过眼动仪收集，或者通过鼠标点击图像来接近。该研究首先对这些注意点进行时间滤波，只保留最初的注意力点，然后应用空间滤波去除噪声。最后，计算剩余注意力点的中心作为真值注意力中心。下面显示了获取真值过程的示例说明图。

项目地址：https://github.com/google/attention-center

注意力中心模型架构

注意力中心模型是一个深度神经网络，以一张图像为输入，使用预训练分类网络如 ResNet、MobileNet 等作为骨干。从骨干网络输出的几个中间层被用作注意力中心预测模块的输入。这些不同的中间层包含不同的信息，例如，浅层通常包含较低层次的信息，如强度 / 颜色 / 纹理，而更深层次通常包含更高、更语义的信息，如形状 / 目标。

注意中心预测采用卷积、反卷积调整算子，并结合聚合和 sigmoid 函数，生成注意力中心的权重图。然后一个算子（在例子中是爱因斯坦求和算子）可用于从加权图中计算中心。预测注意力中心和真实注意力中心之间的 L2 范数作为训练损失。

此外 JPEG XL 是一种新的图像格式，允许用户在对图像编码时，确保有趣的部分率先显示。这样做的好处是，当用户在网上浏览图像时，图像中吸引人的部分可以率先显示出来，也就是用户首先看到的部分，在理想情况下，一旦用户看向图片其余地方时，图像的其他部分也已经就位并已解码。

在 JPEG XL 中，图像通常被划分为大小为 256 x 256 的矩阵， JPEG XL 编码器将在图像中选择一个起始组，然后围绕该组生成同心正方形。Chrome 浏览器从 107 版增加了对 JPEG XL 图像的渐进解码功能。目前，JPEG XL 还是一个实验性的产物，在 chrome://flags 中通过搜索 jxl 即可启用。

要想了解渐进式加载 JPEG XL 图像的效果，可以访问网址进行查看：https://google.github.io/attention-center/

原文链接：

https://opensource.googleblog.com/2022/12/open-sourcing-attention-center-model.html

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]