苹果一夜重塑iPhone！GPT-4o最强助力！库克：开启苹果AI新时代！
点击下方卡片，关注“CVer”公众号
点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
AI/CV重磅干货，第一时间送达
添加微信：CVer5555，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
添加微信：CVer5555，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
明敏 西风 发自 凹非寺
量子位 | 公众号 QbitAI
千呼万唤，苹果如何用AI重塑iPhone，答案终于揭晓！
各种令人闻之激动的传闻，通通都是真的——
确定和OpenAI达成合作，接入ChatGPT，使用GPT-4o模型。
Siri完成重生，iPhone人机交互模式重构，手机智能助手代劳一切近在咫尺。
Apple Intelligence，就此要成为AI的全新代名词了。
发布一结束，WWDC 24立马冲进热搜前三。
网友们都在感慨苹果这逆天的整合能力，各种AI新功能通通满足大家想象力。
还有人说，这回骂早了……
简单总结，这场发布的内容就是苹果家族OS大更新。
尤其是iOS、iPadOS，在Apple Intelligence加持下，AI浓度飙升。
而且Apple Intelligence，免费提供！支持iPhone 15 Pro及以上设备，搭载M1及更高配置芯片的Mac。
内置的ChatGPT也无需注册即可使用。
今年秋季，iOS 18、iPadOS 18、macOS Sequoia的测试版将以英文版发布。
具体带来哪些新体验？抢先来看。
Apple Intelligence+ChatGPT强强联手
如何定义AI Phone？
苹果选择系统AI化+引入强大云端大模型。
也就是Apple Intelligence和ChatGPT联手。
先来看Apple Intelligence（以下简称苹果AI）。
它是iPhone、iPad及Mac具备强大生成式AI能力的关键。
它的基础能力共分为四个方面：语言、图像、行动和个性化。
语言方面，基于内置的大模型，苹果AI能为iPhone通知设定优先次序，把最要紧的事放最上面。
加强的全系统内的写作工具（Keynotes以及第三方APP等）， 支持重写、校对、提取摘要、创作评论等功能。
图像方面，苹果AI能分清楚相册中不同的面孔，并基于他们生成图像。
一共支持素描、插画、动画3种生成风格，可在信息、无边记等各种APP中使用。
如果想不到提示词，Image Playground还支持根据标签生成图像，模型在端侧运行。
另一个重大的图像生成能力是emoji都能自定义了！
Genmoji能根据提供的描述生成最符合你心意的emoji，还能根据相册中的人物定制。
同时，苹果AI还成支持清除照片中的干扰物：
使用自然语言搜索图像视频：
根据输入的提示词选择出最佳相片一键剪辑：
行动力方面，主要是指苹果AI可以在APP内或者跨APP执行更多操作。
比如只需开口说，找到XX上周发的文件、找到和妈妈相关的照片等，系统就能代劳。
同时还能深刻理解个人情景。
不仅分析各种个人信息数据，还能读懂屏幕。
举个栗子，比如突然邮件通知了一个临时会议，那么还能赶上接下来女儿的演出吗？苹果AI可以自动识别分析邮件中的会议时间、知道“女儿”是谁、找到女儿演出的时间地点日程、并从地图中规划路线，最后给出分析。
但如此深度的智能，个人信息隐私如何保障？
苹果表示推出了专门的隐私架构，涉及到个人隐私的计算，能在端侧就在端侧进行。在这方面，他们对硬件进行深度整合，A17 Pro以上的芯片都支持。同时在云测，他们也推出了Private Cloud Compute，可以提供芯片级的信息保护。
在用户发出指令后，苹果AI会先分析请求是否能在端侧利用大模型解决，如果不能再调用云端模型。
苹果自信表示，这是为AI隐私保护设立了全新标准。
除此之外，苹果AI还能对录音内容自动生成摘要、总结电话录音。
这些能力都是随着iOS 18、iPadOS 18、macOS Sequoia免费提供的。
而对于需要更广阔知识、专长特长的任务，苹果搬出了ChatGPT。
比如想要为菜谱提供灵感，可以问问Siri，Siri推荐使用ChatGPT，如果接受这一建议，就能立马获得来自ChatGPT的答案。
多模态任务也支持，Siri会询问是否可以查看照片、PDF等。
所有会分享给ChatGPT的信息，都会事先征求用户意见。
想要免费使用ChatGPT也不用创建账户，所有请求都不会被记录。ChatGPT的订阅用户能关联自己账户，也能接入付费功能。
这个功能将在今年稍晚推出。苹果表示，未来还将增加对其他AI模型的支持。
那么更具体的，苹果AI还能做什么？
来看Siri的全新升级。
Siri新纪元的起点
苹果表示，在Apple Intelligence加持下，Siri正式迈入新纪元。
接下来的Siri，更自然、更贴合语境、也更接近用户。
从外观来看，当和Siri对话时，屏幕边缘会环绕一圈光晕。
从智能度来说，Siri现在可以理解更丰富的语言，就算说的不连贯，也OK：
并且Siri现在还可以联系上下文信息。
即使停顿一下再让它安排日程，它也能理解安排“那里”指的是哪里。
Siri现在还支持语音打字切换输入，只需在屏幕下方快速轻点两下就能召唤出键盘：
更重要的是，Siri已经掌握了大量关于功能和设置的信息，能够解答数千个关于操作的问题。
就算不知道某项具体功能是什么名字，只需要表述个大概，Siri就能懂你说的是哪个功能。
苹果表示明年会推出更多功能。首先，Apple Intelligence将为Siri带来屏幕内容感知功能。
Siri还将能够理解用户在APP中的更多操作，然后代劳用户在数百种APP内以及APP之间操作，其中还会用到写作和图像生成功能。
比如让它找到某张照片，然后一键修图：
Siri还可以进行跨APP操作，将修好的图自动添加到指定的备忘录中：
据苹果介绍，能够做到这些，还得益于其对APP Intents框架的增强，能让app定义Siri、快捷指令及其它系统体验。
而这些增强功能并不局限于苹果开发的APP，开发者可以借助APP Intents API定义他们开发的APP中的各种操作。
还没完，Apple Intelligence所提供的个人情境的认知能力，让Siri发现和理解的内容范围远超以往。
例如，直接询问“妈妈的航班几点到？”，Siri就能自主参考邮件中的航班详情以及航班的实时动态，提供最新到达时间。
询问“午饭怎么安排的？”，Siri就能追踪信息闲聊里的内容，回答在哪里吃饭，吃什么。
紧接着还能给出机场到吃饭地点需要的时长。
一系列操作完全不需要用户在几个APP之间跳转自己查询，询问Siri几秒钟就能搞定。
Siri的所有更新均同样适用于iPad和Mac。
iOS 18更加个性化了
在Apple Intelligence以外，iOS 18也迎来重大更新。
全新iOS 18，主打“个性化”。现在，iOS 18可以设置深色模式：
且所有APP小组件的主题色可自定义，iOS还能根据壁纸风格自动推荐色调：
控制中心现在也能自定义控制项了，开发者可把APP加进控制中心，长扫即可调出其它控制项：
布局和大小均可调整：
所有控制项还可以设置在锁屏页面，替代原来的手电筒和相机：
iOS 18在隐私安全方面也推出了个性化设置。
用户现在可以为APP上锁，需面部识别等进行身份验证才能打开，且上锁后APP的内部信息也不会出现在搜索、通知等手机系统的其它地方。
或者，还可以直接隐藏某个APP，将其放在一个带锁的隐藏文件夹中：
iOS 18加持下，众多APP也一并大更新。
其中，图库（Photos）的新功能被官方称作是“迄今为止最重磅的设计更新”。
现在图库布局上半部分延续之前的的网格视图，适合浏览所有图片；下半部分新增对图片按时间、主题进行分类整理的“小相册”。
每个小相册的位置可以自定义，并支持一键导出分享。
在浏览所有图片时，底部设有筛选按钮，可以选择一键过滤所有截图等，缩小图片查找范围：
另一大APP——短信（Messages）也解锁了新功能，不仅可以使用emoji、贴纸，还能更改文字格式，进行加粗、斜体、下划线、删除线等操作。
如果这些还不足以表达你的情绪，还可以给文字添加特殊效果：
而且现在短信还支持延迟发送了：
值得一提的是，iPhone14及后续机型还支持卫星功能，无需联网就能发信息。
除此之外，邮箱（Mail）增加邮件分类整理功能，可自动提取重要邮件，比如带有时效性的信息的文件，还能一键提取“摘要”。
钱包、游戏等APP也有新功能推出，这里就不逐一细说了。
一张图来看iOS 18推出的新功能：
iPad、Mac、Vision Pro系统迭代
除了iPhone，Apple其他智能硬件系统也都进行全新升级。
下面我们挑重点来看。
iPad终于有计算器啦
iPadOS 18绝对称得上是重大更新……因为它终于引入计算器了！
而且针对iPad的手写场景推出了“数学笔记”功能，支持识别手写公式、自动求解、自动画函数曲线等功能。
用Apple Pencil写一个数学表达式，写下等号的一瞬间，计算器就自动算出结果。
如果对表达式做出修改，结果也会实时更新。
除了基础运算以外，计算器支持的所有运算都能如此实现。同时这些计算笔记也能被保存下来。
甚至还有更简单的计算方式，画个横线。
比如正在计算项目预算，在一串开支数字下画个横线，答案就自动计算出来。非常自然，就像是在纸上手动计算一样。
当然也支持更复杂的计算，比如正在算一个物理题，以不同角度和速度击打乒乓球时，乒乓球能到达的最高高度。
只需在数学笔记中写出各种变量的数字，然后就能让计算器直接带入数字在公式中计算。改变相应的变量，计算结果随之变化。
写成函数表达式，点击等号，还能直接画出函数曲线。调整变量，函数曲线随之改变。
另一个重大改变也体现在手写方面。
备忘录中推出了Smartscript新功能，利用机器学习，它能模仿你的笔迹，让书写更加工程，还支持将键盘打出的内容一键生成手写笔记、拼写检查、校对纠错等。
如此看来，买一支Apple Pencil变得更加有必要了。
除此之外，iPad OS 18在更多细节上也做了提升。
VisionOS 2更3D
VisionOS 2同样也提到了AI。
它能利用AI将普通2D照片“空间化”。
而且支持在照片应用中和好友沉浸式分享内容。
交互方面，VisionOS 2支持双指轻点切换至主屏幕，翻转手掌调出控制中心的通知、快捷方式等。
旅行模式中增加了对火车场景的支持。
苹果表示，今年晚些时候将支持在Vision Pro上连接Mac上的内容。
开发者方面，新增了体积应用API，名为TabletopKit的游戏开发工具包以及企业应用API。
苹果宣布，接下来将在中国、日本、新加坡、加拿大、法国、德国、英国八个国家发售Vision Pro。
中国、日本和新加坡的上市时间是6月28日，其他5个地方则要等到7月12日。
MacOS支持iPhone镜像
MacOS方面，Sepuoia让设备互联更丝滑了。
现在，可以在Mac桌面上直接打开iPhone镜像，并且操作iPhone，比如点个咖啡、添加备注。
iPhone的通知、音频也都能在Mac上互通。但是iPhone本身会处于锁屏模式，其他人动不了。
当然Mac的内容也能更方便地传送到iPhone上，比如剪辑好的视频，一键拖到镜像内，便完成了传输。
另一个值得关注的是Safari中的Highlights功能。
它能利用机器学习将浏览页面的重点内容突出显示，能让人更快了解内容。
同时在安全方面，最新版本的Safari不仅具备智能防追踪功能，还能阻止网站窥探你在浏览时做了什么。
新出的Keychain则能将各种密码安全管理好，Mac、iPad、iPhone等都适用。所有密码都能安全同步于你的各个设备。
One More Thing
在发布结束后，库克发布了一条推特，其中写道：
Apple Intelligence是苹果AI的下一篇章。
而在被机器学习、大语言模型、扩散模型等AI专业词汇灌满的发布会中，苹果也多次提到“新纪元”、“just begining”这样的字眼。
总之，AI Phone苹果是终于出手了。
对于这场WWDC，你对哪部分最感兴趣？
欢迎来唠~
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
CVPR 2024 论文和代码下载
CVPR 2024 论文和代码下载
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集
Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！
▲扫码加入星球学习
▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看
▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！
▲扫码加入星球学习
▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看
微信扫码关注该文公众号作者