Redian新闻
>
你的照片在哪儿拍的,AI一下子就能看出来

你的照片在哪儿拍的,AI一下子就能看出来

公众号新闻


来源 | 把科学带回家(id:steamforkids)
撰文 | Cloud
审校 | 阿娴


“你好!明天是母亲节,我妈妈大约八年前去世了。我不知道你能否看出这照片是在哪儿拍的,因为我当时还很小,不记得了。”

图片来源:georainbolt


在判断照片拍摄的地理位置方面,25岁的特雷弗·雷恩博尔特(Trevor Rainbolt)是有名的专家,他经常收到网友让他帮忙寻找老照片拍摄地的请求。凭借出色的判断,他帮助了很多人。


视频来源:georainbolt


雷恩博尔特是GeoGuessr这款看照片猜位置游戏的专业玩家,他的走红也让很多人知道了这款游戏。出色的成绩离不开长时间的训练,他玩这个游戏的时间已经超过一万个小时,疫情期间每天能玩四到八个小时。


不过,今年五月,他败给了AI。


这个厉害的AI玩家由斯坦福大学的三名研究生开发,用时大约两个月。在训练时,它猜出照片拍摄地所在国家的正确率是92%,玩GeoGuessr的平均分高达4525(满分是5000分),在全球玩家中排前0.01%。


AI有时候接近满分 | 图片来源:georainbolt


面对这个AI对手,雷恩博尔特也甘拜下风。不过,这个AI可能带来的隐私风险,也让很多人感到不安。



如何判断图像位置


和雷恩博尔特一样,AI的三位研发人员也是GeoGuessr的资深玩家。


GeoGuessr是一款在线地理猜测游戏,大约有5000万个玩家,由瑞典的一位软件工程师在2013年开发。进入游戏时,玩家会被随机放置在谷歌街景的某个地方,然后根据画面信息猜测自己所处的地理位置,最后玩家需在世界地图上的某个地方放置一颗图钉,标记出自己的推测地点。游戏的玩家大多都很年轻,一些最优秀的玩家甚至只有14岁。


雷恩博尔特对阵AI时第一轮出现的图像,你也来猜猜看吧 | 图片来源:georainbolt


玩家猜测的准确度和速度决定了得分高低。猜测的位置越接近实际位置,玩家赢得的分数就越多。另外,越快完成猜测的玩家也会获得更高的得分。


第一轮比赛分数 | 图片来源:georainbolt


游戏所提供的谷歌街景图像中的任何细节都是玩家们判断的依据。照片里地上的土、电线杆、街道标志、道路标线、人们的穿着、植物、可见的景观等线索都能用来判断位置。当然,玩家个人的直觉也很重要。


关于判断技巧,雷恩博尔特会建议先去找图里的护柱和电线杆,这些东西每个国家或地区都有非常独特的设计。例如,丹麦的护柱上有黄色的顶部,德国的是黑色的。


向左滑动查看更多护柱

向左滑动查看更多电线杆

再比如,电线杆使用的材料也有讲究,有些是木头的,有些是混凝土的。电线杆的形状也各有不同,杆上面的贴纸也是一个线索。“澳大利亚95%的混凝土电线杆都在维多利亚州,”雷恩博尔特说道。

在澳大利亚的塔斯马尼亚,电线杆有防止袋貂攀爬的装置 | 图片来源:wired


专业的玩家会学多种语言,记住不同国家都有哪些不同的东西,例如知道哪些国家使用三重白色道路线,哪些国家有虚线道路线,哪些国家有绿色的道路标志,标志上是什么样的字体,道路所使用的建造材料、道路长度、路上的汽车车牌和汽车类型,以及道路两边的植被类型……所有看似普通且微小的细节统统都是游戏线索。


图片来源:georainbolt


除了画面的内容,谷歌街景拍摄的图像质量也有区别。作为世界上国土面积最小的共和国,圣马力诺是一个被意大利包围的国中国,这里的街景和意大利看着很像。但是,两者的图像质量却不一样——圣马力诺的差一些。


被意大利包围的圣马力诺 | wikipedia

另外,你有时候还会看到谷歌街景车的一小部分,如果看到街景车的顶部有黑色胶带,那么就表明图片所在位置是非洲西部国家加纳。

街景车上的黑胶带 | 图片来源geoguessr


玩家们还会分享各种线索,但是由于谷歌街景图像有2200亿多张,因此要记住所有提示不太现实,大师级的玩家往往也很依靠直觉。


AI虽然没有人类玩家这样的第六感,但是它不仅能看到人类能看到的明显特征,也能关注到被人忽视的微小细节。



AI击败人类玩家


去年,斯坦福大学的一群研究生正在学习人工智能课程《深度多任务和元学习》( Deep Multitask and Meta Learning),三个都爱玩GeoGuessr的学生需要一个项目,于是他们决定从共同的爱好出发,试试看能否打造出一个比人类玩家更厉害的人工智能玩家。


他们的项目名称是“预测图像地理位置”(Predicting Image Geolocations),根据字母的首字母将其简称为PIGEON(鸽子)。他们采用了OpenAI(也是ChatGPT的开发公司)制作的CLIP神经网络,通过阅读文本来了解、分析图像。之后,他们再用谷歌街景图像来训练这个系统。训练的数据集包含的谷歌街景图像大约有50万张。


AI会把图像分成一个个的非常微小的方块进行分析,并且非常擅长从中选出那些特殊的方块。而对AI而言,一张图片其实不仅仅是图像,还有相对应的文本信息。通过综合图像中的建筑物、街道布局、植被和地标等视觉信息,以及天气条件、季节和气候等其他的辅助信息,AI也能像顶级玩家那样对图片的拍摄地进行快速预测。


面对一张图片,AI既分析文本,也分析图像 | 参考资料[1]


尽管数据集规模相对较小,但最终AI系统表现还是非常不错,不仅准确率高,误差和人类猜测的相比也更小,可以定位到实际地点周围大约40千米以内。在和雷恩博尔特的比赛中,AI轻松地赢了好多轮。


AI模型对图像中不同区域的关注程度,可以看出相机上的污点 | 参考资料[1]


“我们并不是第一个与雷恩博尔特对抗的AI,我们只是第一个战胜雷恩博尔特的AI。”AI系统的开发者之一米哈尔·斯克雷塔 (Michal Skreta) 说道。


AI猜测的位置更加接近实际地点 | 参考资料[1]


他们认为这项技术具有多种潜在的应用前景,例如可以识别需要修复的道路或电线,迅速发现入侵植物。在之后的研究中,他们还将进一步改进模型,以提高定位的准确性,另外将扩大地理定位的数据集,涵盖更多的地理区域和环境,以提高模型的泛化能力(指模型在面对未曾见过的数据或新的情境时的表现能力)。



可能的风险


这个程序似乎已经可以对街景之外的照片进行地理定位。“我给了它一些十多年前公路旅行中的一些照片,它找出了其中的大部分地方。它猜到了黄石公园内的一个露营地,距离大约55千米。另一张照片是在旧金山的一条街道上拍摄的,它猜出的地点就距离几个街区。这引起了一些专家的担忧。”美国国家公共电台的科学编辑杰夫·布鲁姆菲尔 (Geoff Brumfiel) 说道。


面对不断强大又缺乏监管的AI,个人隐私安全保护起来似乎越来越难了。从隐私角度来看,我们的位置可能是一组非常敏感的信息。过去,人们可以删除照片的GPS位置标记,现在这可能也不起作用了。


一个预算很低的学生项目就有如此大的潜力,企业和更大的机构或许能够更加轻松地监视普通人,而图谋不轨的人也能更容易地跟踪、伤害他人。


既然赢不了AI,那就享受游戏过程吧,猜猜这张照片出自哪里?



参考资料:

[1] Haas, L., Alberti, S., & Skreta, M. (2023). PIGEON: Predicting Image Geolocations. ResearchGate. Retrieved from https://www.researchgate.net/publication/372313510_PIGEON_Predicting_Image_Geolocations

[2] Brumfiel, G. (2023). Artificial intelligence can find your location in photos, worrying privacy experts. NPR. Retrieved from https://www.npr.org/transcripts/1219984002

[3] Jones, R. (2023). If you were given a Google Street View image of anywhere on Earth, could you identify the location? the Guardian. Retrieved from https://www.theguardian.com/lifeandstyle/2023/dec/23/geoguessr-world-championships-2023-inside-story

[4] Rainbolt. (2023, May 11). world's best ai vs geoguessr pro. Youtube. Retrieved from https://www.youtube.com/watch?v=ts5lPDV--cU

[5] Wired. (2022, August 31). Every Trick a Pro GeoGuessr Player Uses to Win (ft. RAINBOLT) | WIRED. Youtube. Retrieved from https://www.youtube.com/watch?v=0p5Eb4OSZCs

[6] Lloyd, A. (2022). Rainbolt: GeoGuessr TikToker on going viral for location-tracking. Insider. Retrieved from https://www.insider.com/trevor-rainbolt-geoguessr-tiktoker-location-tracking-interview-2022-11


本文转载自公众号“把科学带回家”(ID:steamforkids)


凡本公众号转载、引用的文章 、图片、音频、视频文件等资料的版权归版权所有人所有,因此产生相关后果,由版权所有人、原始发布者和内容提供者承担,如有侵权请联系删除。



《环球科学》12月新刊正在热卖

各电商平台均有销售


点击【在看】,及时接收我们的内容更新 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
拍一张10年后才能看到的照片Coles丑陋的一幕被曝光!偷拍的照片被公布,澳洲人气炸了[日签] ​​​​​​你的恐惧在哪里,你的任务就在哪里芝加哥“新地标”引无数人打卡!水泥地上当“老鼠洞”一下子火了起来精彩图集!斯里兰卡华侨华人暨友好人士迎春美声音乐会举行,快来找你的照片!官方公布10号高速公路火灾纵火嫌疑人的照片!注意这些人!密西沙加、奥克维尔等地30余起入室盗窃惯犯的照片被公布!令人发抖的照片最能看出一个人品味的,不是知识,而是审美男生“那方面”行不行,真的可以通过外表看出来嘛?!9.2分!大谈性事!《繁花》不敢拍的,都在这禁片里!国家主席习近平书架上的照片“上新”,你看到南艺老校长的画作了吗?[照片] 用三层ccd成像的适马sigma dp2 拍的一些照片无耻!母亲伪造孩子的癌症诊断,在网上筹集资金,孩子接受治疗的照片曝光心碎...闲题站着的霍金,罕见的李嘉诚,被捏脸的成龙,20岁的屠呦呦,这是朋友圈最珍贵的照片「被绑架」中国留学生终于找到了!父母已付8万美元赎金!囚禁照片竟是自己拍的......IDF“纪录之光”展映单元片单公布,瓦尔达,戈达尔等名导人物纪录片在列永久种子选手权土耳其之行(3):以弗所古城女人性格好不好,从她的穿着可以看出来登月时的照片,为何没有星星这个地方,最能看出一个家的温度🥰我们的照片真是体育老师拍的!男人那方面行不行,真能从脸上看出来?你照片在哪儿拍的,AI一下子就能看出来!已经不是啥新鲜玩意的短剧,怎么一下子又成流量密码了?韩红曾自曝大学时是“校花”,看了她18岁的照片,我被惊艳了!小说:兰欣与乌茶 36一个孩子在饭桌上的4个细节,就能看出你的教育成不成功 (建议收藏)万水千山走遍丨再贴几张在 Las Vegas 拍的照片与大家分享《国家地理》杂志公布年度照片,29张照片从200万张候选照片中脱颖而出!纪念克强我不说你能看出我穿光腿神器了吗?不假白不发黄,逼真如肌肤,保暖还抗寒 !38张活久未见的照片:一张图告诉你人脸的演变,起源居然是条鱼....
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。