华为智慧搜索更好用了！上线智慧搜图，用人话就能找出“我的”图片
明敏 萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
搜索引擎的求变信号，比以往任何时候都要强烈。
先是谷歌推出AI snapshot，让搜索结果不再只是“10条蓝色链接”，还加上了AI智能总结；很快百度也把“AI伙伴”嵌入搜索引擎，通过对话就能得到问题解答。
不过，这些都还只是针对外部搜索。
对于移动端来说，“内部搜索”需要也正在同步发生改变。
内部搜索，相比于搜索外部世界知识，是把用户个人信息当成一个巨大知识库的搜索技术。
不同于谷歌和百度，这种搜索引擎更像是用户的“第二大脑”，能从拍摄过的照片、下载过的文件中精准找出所需的个人资料。
但无论哪种搜索，对于智能化要求都很高，甚至需要借助千亿参数级别的大模型实现。
以从手机中找一张照片为例。以前我们的操作习惯可能是翻个10分钟相册，从几百张表情包或是几千张照片中找到想要的那张（甚至找不到）。
但在搭载HarmonyOS 3.1的华为P60系列和Mate X3手机上，现在只需用自然语言描述想找的照片特征，系统就能高效识别、并给出相关图像。
不仅能理解整体语义，如在图库输入“山顶看日出”——
就连更精细的时间、地点描述也能快速get到，如语音唤起小艺搜索“去年在长白山滑雪的照片”：
最关键的是，这种堪比大模型语义理解的搜索方式，直接在端侧就能实现，无需将数据上传到云端处理。
换而言之，即使手机开飞行模式，这种内部搜索也照样能进行。
所以，这个新出的图片搜索功能究竟有啥特点，率先把它部署到端侧的华为又做了什么？
华为智慧搜图长啥样？
此前，在手机上搜索图片主要有两种方式。
一种相当于“换皮”的文件搜索，用户不仅得准确回忆起具体时间、拍摄地址等信息，甚至得精确到文件名：
另一种则是依靠分类AI做的图像识别功能，但这种搜图也只能通过某些场景关键词描述缩小搜索范围，例如风景、美食、人像等。
显然，这两种方法都还停留在“信息匹配”阶段，支持的标签数量也有限，一旦搜不出来，最终还是得回到手动翻照片流程上。
这是因为，我们不仅习惯用自然语言描述图片内容，而且描述的内容不限定某个名词，还可能是动词、场景、代词等。
要想做到搜索“记忆中”的个人图片，AI模型不仅得听得懂人话，还要能提取人话中的细粒度标签，并将之对应到图片上。
现在，华为最新的智慧搜图，就很好地实现了这两大功能。
除了可以直接搜名词找图片，还可以用任何短描述词来形容图像，如桌面下拉在智慧搜索中输入“奔跑的”，系统就能自动搜出相册中奔跑的各种人像，快速给出推荐：
如果感觉搜出来的范围还是太大了，还能随时增加信息标签，如“奔跑的”变成“奔跑的小狗”，立刻就能找到想要的图像：
当然，不止能添加一两个标签。如果你想，还可以灵活地细化描述，如加上时间、地点、人物、语义等各种复合标签，像“前年冬天和女朋友去内蒙古拍的各种好吃的”等。
体验过华为智慧搜图后，最直观的感受应该就是“AI理解力”和“响应速度”了。
相比传统的文件搜索、或是AI图像识别方法，华为智慧搜图主要实现了图片搜索功能的两大“跃迁”：
其一，“人话”解读能力。传统图像AI往往按“时间”、“地点”等概括词分类，而智慧搜图不仅能单独搜词分类，甚至还能放一起搜，如“去年在动物园拍的老虎”等。
其二，高效搜索速度。相比动辄翻上十几分钟半个小时的相册，现在无论从桌面下拉智慧搜索、打开图库、或是用小艺语音，都只需要一句话就能搜到想要的图片，系统级地提升了找信息的效率。
虽然听起来只是手机等移动端搜索功能上的一个小突破，然而在华为之前，端侧却没有一个厂商能够解决这个难题。
究竟是什么技术这么难实现？
技术上突破了什么难点？
事实上，无论是大模型的语义理解能力，还是搜索引擎的响应速度，都并非计算资源极其有限的端侧所能承受。
因此，之前大部分搜索引擎和大模型相关APP解决“上线到移动端”的唯一办法，是将模型计算量分配到云端，解决资源不够的问题。
但这势必意味着，数据处理要在云端进行。
具体到技术细节来看，又有三大难点：
其一，压缩多模态大模型并确保精度。这并非简单用剪枝或量化等方法，直接压缩几倍模型大小就能搞定。毕竟对于端侧而言，算力有限的情况下，能部署的模型大小是往往只能达到大模型的几十分之一。
其二，搜索所需功耗随着数据增加逐渐增大。对于端侧搜索引擎而言，面对不断更新的照片、文件等数据，只能将索引重新写一遍，这势必导致大量新的计算开支。
其三，模型更新等面临的云端协同问题。虽然AI模型最终部署在端侧，但无论是模型效果迭代、更新，训练还是得在云端进行，最终再下发到端侧，这势必要求厂商同时具备云端两方面的技术。
因此，对于数据隐私极为敏感的内部搜索而言，这两类技术想要布局到端侧上非常难。此前的“折中”方法，最多也就是将图像分类AI这种“小模型”布局到端侧，实现简单的智能搜图。
所以，华为究竟是如何解决这些难点，同时又最大程度上保留大模型“理解人话”效果和搜索响应速度的？
简单来说，华为在AI模型和搜索引擎两方面，都自研了对应的技术。
一方面，华为专门为端侧自研了轻量级的多模态语义理解模型，能够在不损失精度的情况下，将大模型缩小几十倍。
首先，用多模态语义表征模型将不同模态输入转变为语义向量，结合多模态语义对齐算法模型对齐文本和图片的语义信息，结合华为内部的海量高质量数据，提升召回率。
然后，依靠轻量化部署技术，在端侧实现高精度检索，同时确保数据留在本地，提高隐私安全保护。
另一方面，华为又使用索引分段、定期压缩合并等方式，成功将检索引擎“塞”进了移动端中。
检索引擎部署到端侧的核心难点，是云侧离线构建索引的方式在端侧无法实现。
为了解决这一问题，华为先通过采用索引分段，减少单次落盘时间，并通过定期压缩合并的方式，释放已删除数据占用的内存/磁盘资源，以降低所需的存储空间；
随后，又通过定义索引的格式，将地点、时间等信息作为索引的一部分，快速实现检索条件过滤，并返回和查询语句最相关的结果，相比数据库检索能提升十几倍效率。
△几乎不需要计算时间
不过，耗费这么大的技术资源，去实现移动端一个看似很小的“搜图”功能，华为这样做的目的究竟是什么？
为什么要做智慧搜图？
直接原因当然是手机用户——也就是你我，真的很需要这个功能。
试问谁没有经历过，因为找一张图片而需要化身福尔摩斯展开缜密分析的场景：
“我上一次看到这张图是什么时候”、“它是什么时候存的”、“那天我还拍什么了”……
但即便根据这些问题思索完，最终也不一定真能找到那张图。
尤其随着大家在手机内存的照片越来越多、种类越来越复杂——不光是记录生活的照片，还有上课拍下的PPT、网上保存的旅行图文攻略等堆在相册里，手动查找的难度也越来越高。
手机系统厂商们早就注意到这个事了。
如自动分类相册、根据标签检索、OCR检索照片文字等功能，都陆续出现在大家的手机里。
但是这些能力相对而言，灵活性不高、实际效果有限，很多时候也是躺在手机里“吃灰”。
所以，让搜图功能更智能化是目前用户侧真实存在的需求，也直接驱动了华为上线智慧搜图功能。
而深层原因上，还有内外两方面因素驱动。
外因来自于行业方面：搜索功能更拥抱AI是大势所趋。
通过行业各种数据的初步验证，让搜索更加智能、高效符合用户当下的需求，能推动行业向前发展。
不过目前覆盖的范围是互联网上的内容搜索，而日常生活中还有另一大搜索场景——端侧搜索，也需要智能化升级。
尤其随着用户在手机/电脑本地及个人账户中存储的文件、图片、音频等越来越多，涉及到对个人信息的搜索操作增加，这种升级也变得更加迫切起来。
比如微软在变革必应的同时，也推出了Windows Copilot，一举替代原本的“小娜”。它们的定位虽是AI助手，但也同样覆盖了端侧搜索的应用场景，二者最大的差距便是Windows Copilot引入更强的AI能力、更加智能化。
总之，无论对内对外，搜索接入更加强大的AI、向着更智能高效便捷的方向发展，已经是行业的共识。
深层内因：则来自于华为自身。
智慧搜图其实是作为华为智慧搜索战略与蓝图的一部分推出。
所谓智慧搜索，具体来看就是一个一站式聚合入口，实现了手机桌面下拉一下，就能以最快捷的方式，一步直达各类本机应用及信息内容，同时支持全场景跨终端搜索。
它的定位是进行“我的”搜索。
搜索范围是用户在手机端上的各类信息和功能，比如图片文件APP等；搜索的目标是智能识别用户的需求，让用户在“我的”领域内，实现更加快速便捷的操作。
智慧搜索的战略是要实现“本机搜索+生态搜索+全场景搜索”。
这三者联通，便能覆盖所有“我的”搜索。
其一，本机搜索是指本机应用搜索、图片搜索、文件搜索（含云端文件）、搜设置项、搜备忘录等。
比如最新升级版本中，智慧搜索下拉即搜华为云空间的云盘文件，只需输入文件名称关键词就能开始搜索，范围包括自己存入云盘的本地文件、微信/QQ保存的文件等。
前文提到的智慧搜图，也在这一范畴内。
此外还能智慧搜索备忘录，如采购清单、密码账单、朋友生日等等零碎信息，如果在记录时没有对内容进行分类的话，想要再查看之前记录的文稿十分费事。现在智慧搜索能帮人省去这一步了。
其二生态内容搜索，包括搜服务及网页内容、旅游出行、本地生活、音乐视频、购物等。
尤其是购物方面，能聚合全网精品商品，提供与“我”相关的购物服务。
其三则是全场景搜索，即跨设备搜索。
HarmonyOS将手机、电脑、平板等设备之间壁垒打通，形成了一个“超级终端”。
在登录同一帐号情况下，用户在PC端点击华为电脑桌面任务栏控制中心内搜索图标，或使用快捷键Ctrl+Alt+Q，可快速检索手机、平板内的文件。包括文档、应用、图片、视频等，并支持选择不同类型文件进行快捷预览。
通过整合“软硬芯云一体化”技术，端侧预置AI模型的加持，保障跨端搜索也不会有延迟感。
总之，无论是从最基本的用户层面，还是行业层面、华为自身，都在推动操作系统将端侧搜索体验进一步升级。
由此也就不难理解华为为什么要上线智慧搜图功能。
尤其是当下，手机操作系统经过十余年发展，在功能、内容、生态上的搭建都已经相对完善，接下来的升级和迭代一定是朝着更加细微处发展。
这些细小的升级和改变，更加润物细无声，往往让人在使用了很久后不得不感慨一句：真香。
如果从更加宏观的角度来看，这些细微功能的升级和改变，还能把人机交互体验“卷”向一个新的水平和高度。
从华为的动作里可以看到，它们选择了端侧搜索作为切入口之一，由点及面带来改变。
智慧搜图的出现，更像是一个“序章”，后面隐藏着华为对智慧搜索、手机系统、乃至人机交互的无限想象。
AI升级端侧，从搜索看起
不仅仅是华为。
一方面，从AI技术落地场景来看，本机搜索、甚至是“搜图”这个特定功能，或许是AI技术应用到移动端最容易忽略、又最为重要的方式之一。
当前这波最新的AI浪潮，正在飞速改变搜索引擎的交互方式。
正如开头所言，无论谷歌还是百度，都已经投身这场搜索引擎革新，在云侧改变搜索的方式，核心就是让搜索引擎具备自然语言理解能力，更好地认知并理解用户的意图。
但这并不意味着只有云端的搜索引擎会被迭代。
在端侧用自然语言搜“内部数据”，与在云端用自然语言提问一样，是长期以来用户隐秘的刚需之一。随着计算硬件的迭代和算法的优化，AI用于移动端改善用户体验，也必然成为一种全新的趋势。
另一方面，从人机交互角度来看，这种对内的搜索，不会局限于单一设备，必然是多端互通，形成核心以“人”为单位，最终完成全局智能化检索的生态。
如今人类对移动计算平台的畅想，已经从PC、手机逐渐延伸到VR、AR、智能汽车等新型终端上。
而在这些新型移动计算平台上，交互的形式开始不再局限于一块屏幕，转而变成更加自然的语言、手势交互。
最终在“万物互联”的前提下，实现多端信息的互通。
总之，无论从AI落地应用、还是人机交互趋势而言，搜索都是移动端必不可少的体验改善功能之一。
无论技术趋势如何，华为已经都从移动端侧做好了提升用户体验的准备。
— 完 —
点这里👇关注我，记得标星哦～
微信扫码关注该文公众号作者