最近,一家名叫Fable的旧金山初创公司发布了一个叫做“Showrunner”的AI技术成果。Showrunner目前能够在一些既有的影视作品(IP)的基础上,生成以用户的想法为主的全新作品。 Fable成立于2018年,最早是作为Facebook(现Meta)旗下Oculus的一个部门诞生,早期主要在做VR电影的相关项目。 Fable曾凭借VR电影《Henry》拿到了它的第一座艾美奖,后来又凭借由其打造的虚拟人Lucy出演的VR电影《Wolves in the Walls》再度拿下艾美奖。而就在7月早前,虚拟人Lucy还获得了皮博迪奖。 不过,现在Fable则把相当一部分精力放在了探索AI内容上。“Lucy的问题在于她没有过去,因为她从未真正生活过。”Fable的CEO Edward Saatchi不久前在接受采访时说道,“她是一个虚拟人,但她无法通过说 ‘我也有宠物,后来它死了,所以我知道那种感觉’这样的话和真人产生关联。” 让AI拥有自己的生活,这几乎成为Fable探索AI的出发点。英伟达首席AI科学家Jim Fan还兴奋地断言,“多智能体模拟,将是新兴智能的下一个前沿。” 今天的GGView,就让我们一起来看看多智能体模拟到底有多么神奇。
来源:品玩GenAi
作者:李禾子
从1997年流行至今的动画剧集《南方公园》今年3月刚刚更新完第26季,不过说起下面这集,你可能不太会有印象。卡特曼有一天从最近的好莱坞抗议AI罢工事件中得到启发,突发奇想要做一个新的商业项目:一款名叫Queepi的在线深度伪造(Deepfake)服务,来给现成的影视作品里的角色换脸,解决好莱坞将没有新作供应的危机。他先找到了Bizney公司,想让Bizney成为Queepi的天使投资人,却被发言人告知,“除非你能找到另一个愿意投资你的人。” 接着卡特曼又和他的小老弟Butters找到了投资中介人Andreessen,一番讨论之后决定先找几个演员谈谈肖像权合作。第一个是哈里森·福特。但福特拒绝了卡特曼,原因是他已经和某个非常有名的科技巨头签订了类似的合作。第二个是梅丽尔·斯特里普。斯特里普先是表明自己坚定地站在好莱坞罢工者们一边,接着以AI会模糊现实和虚假的界限、抢走演员们的饭碗为由拒绝了卡特曼。她也神秘地说自己和某个科技巨头有约在先了。第三个是汤姆·克鲁斯。从汤姆·克鲁斯这里卡特曼才知道,这几个大牌演员共同的签约对象是——埃隆·马斯克。汤姆·克鲁斯没有明确拒绝卡特曼,反而乐意充当中间人介绍马斯克给卡特曼认识。马斯克这边正在策划一个把一批知名演员送上火星,美其名曰保护人类文化遗产的项目。有汤姆·克鲁斯在一边说好话,马斯克决定考虑考虑投资卡特曼这个“变革娱乐产业”项目的事情。故事的结局是,开始卡特曼还开心地跑到Bizney公司准备这家正在观望的公司入伙,不多久就得知,老奸巨猾的马斯克根本没有把他的项目放在心上,继续忙他的火星计划去了。这个名为《Queepi窘境》的滑稽故事看起来和《南方公园》的其他故事都是差不多的画面和风格,但炸裂的消息是,这个故事从头到尾的编剧、导演、剪接和配音,都是由AI完成的。一家名叫Fable的旧金山初创公司在最近发布了这个叫做“Showrunner”的AI技术成果。Showrunner目前能够在一些既有的影视作品(IP)的基础上,生成以用户的想法为主的全新作品。Fable成立于2018年,最早是作为Facebook(现Meta)旗下Oculus的一个部门诞生,早期主要在做VR电影的相关项目。Fable曾凭借VR电影《Henry》拿到了它的第一座艾美奖,后来又凭借由其打造的虚拟人Lucy出演的VR电影《Wolves in the Walls》再度拿下艾美奖。而就在7月早前,虚拟人Lucy还获得了皮博迪奖。不过,现在Fable则把相当一部分精力放在了探索AI内容上。“Lucy的问题在于她没有过去,因为她从未真正生活过。”Fable的CEO Edward Saatchi不久前在接受采访时说道,“她是一个虚拟人,但她无法通过说 ‘我也有宠物,后来它死了,所以我知道那种感觉’这样的话和真人产生关联。”让AI拥有自己的生活,这几乎成为Fable探索AI的出发点。Showrunner便是这家公司目前AI研究成果的一次集中展示。除了文章开头提到的故事,Fable其实还用Showrunner生成了另外几个与之剧情相关联的《南方公园》的故事。比如其中一个就是关于Bizney公司创造了一个种族歧视的机器人猪伴侣,结果给公司造成了公关噩梦。另一个故事讲的则是,投资中介人Andreessen发现马斯克绑架了好莱坞知名演员到火星和他一起生活,并从90年代就开始对他们出演的电影进行深度伪造。从Fable发布的论文来看,Showrunner用到了由其命名的Show-1模型,并且该模型主要用到了OpenAI的大语言模型GPT-4,图像自定义的扩散模型和多智能体模拟等来进行训练。如,GPT-4主要用来影响模拟中的智能体(角色)并生成《南方公园》剧集的场景。有趣的是,GPT-4的训练数据集原本就包括了《南方公园》大部分剧集,所以它已经对每个角色的个性和语言风格都提前有了了解,所以这次也无需做定制。扩散模型方面,Fable则从以往的剧集素材中收集了一个由大约1200个人物和600张背景图片组成的综合数据集,作为模型学习该剧风格的原材料。经过扩散模型的训练,可以为每个新作品生成新的单个角色和单独背景,来为后续拼接做准备。多智能体模拟则是让剧中的角色智能体真正能“拥有自己生活”的关键一步,想象一下《西部世界》里的场景,此时剧中的角色等于说已经可以进行相互训练了。而到了用户这里,操作界面就变得非常简单。用户只需要进入Fable搭载了Showrunner技术的产品“Simulation”,在《南方公园》大地图中选择一个期望的主角,以及其他的角色、场景等,并输入一段prompt,稍等片刻就可以生成一个崭新的故事。比如开头提到的故事,输入的prompt就是:卡特曼听说美国演员工会正在进行罢工,孩子们都在担心未来不会有新的作品推出。卡特曼宣布了他的商业创意:一个叫做Queepi的在线深度伪造服务。对故事的干预程度也完全可以根据用户自己的偏好而定。Fable称,用户可以通过以下三种方式来生成故事:一是让Simulation自动创建剧集,二是给出一两句话的提示,三是针对细节,可以逐个场景编辑对话场景并重新生成。此外,用户甚至还能把自己作为主角或其他角色放进去。Show-1的角色扩散模型允许用户通过图像到图像的Stable Diffusion,根据自己的长相创建一个角色,作为参与的智能体加入模拟。由于用户也可以克隆自己的声音,因此通过扩散模型创建用户自己的角色也不是难事。Fable的CEO Saatchi就创建角色主演了自己的《南方公园》剧集。从最后的效果来看,新生成的剧集几乎已经是“以假乱真”的程度。拿《Queepi窘境》这集来说,尽管它可能不是最有趣的故事,但它已经完整地包含了开头、中间的转合和结尾,并且当中的13个角色,每个人的台词都符合各自的背景、个性、语言风格和动机,甚至交代地点的空镜也非常贴合。把它放给一个不知情的观众看,可能也很难想象这是AI创作出的作品。这样的跨越意义非同寻常。从目前许多大模型的表现来看,一般擅长的都是完成短期任务。就像可能在几天前用户想靠大模型生成一段视频,方法还都是比如先用ChatGPT生成剧本,用Midjourney或Stable Diffusion生成人物形象,再用Runway之类的视频生成工具去生成画面,最后再把片段剪接到一起。还没有一个模型能够生成足够完整、有构思规划的长篇故事和影视剧集。更重要的是,AI智能体们可能从此将像《西部世界》里演绎的那样拥有自己的栖身之地,在这里它们有完整的生命,可以彼此对话,产生连接,发生故事……Fable似乎也并不满足于只借助他人的IP去生成《南方公园》这样的新故事。早先,Saatchi就宣布Fable将创建一个充满AI角色的世界——这些角色将由真人训练,在虚拟世界中生活。“我们推出Simulation的目标是通用人工智能(AGI),”Fable几天前通过@fablesimulation 的官方账号发文谈到,“AI是真正活着的,而不像很多聊天机器人一样只在人类有需求的时候才被唤醒, ‘AI人’能够在模拟世界中每天过着真实的生活,并随时间慢慢成长。”Fable还希望用户能够像“那就是真实的人在生活”那样看待现在这些AI生成的剧集。对此,英伟达首席AI科学家Jim Fan还兴奋地断言,“多智能体模拟,将是新兴智能的下一个前沿。”不过,Fable风险可能在于,它现在刚好站在了好莱坞抗议AI罢工的风波之中。7月中旬,继编剧停工两个多月之后,美国演员公会也发起了罢工,要求抵制潜在的AI侵袭。据称这可能导致60多年来美国电影业最严重的一次瘫痪。Fable做的事,看上去恰好一拳打在了编剧演员们的愤怒点上。拿《南方公园》来说,据报道,这部剧的每一集都是在6天之内制作完成——在开会脑暴之后,编剧写出剧本,然后由动画师、编辑、技术人员和音响工程师组成的整个团队完成制作,一周下来要工作100-120小时。但随着Simulation这样的产品出现,不知道又会有多少人丢掉饭碗。甚至有媒体称Simulation的推出是“所有好莱坞从业者恐惧的总和”。从社交网站的评价来看,网友对Simulation生成《南方公园》剧集这件事的评价还是比较两级的。支持者期待着能用这一工具改写烂尾的《权力的游戏》,惊叹于它的模仿能力,甚至预言它将能提高影视团队的生产力。反对者则认为,Simulation并不懂什么是影视制作,称它窃取了他人的成果,AI就是纯粹的VC骗局;潘多拉的魔盒一旦打开,就关不上了。也或许是出于舆论压力,Fable的公开发言都在反复强调《南方公园》剧集的生成“仅供研究使用”,“我们不会开放让用户创造自己的《南方公园》剧集的功能,因为这不是我们的IP!”据Fable称,其正在与创作者合作,会在今年晚些时候宣布几个基于原创IP的Simulations生成的电视节目,包括了一个太空探索模拟“奖金”,一个讽刺硅谷的模拟“退出硅谷”,以及一款可玩性较高的侦探模拟“查理·木星”。Saatchi似乎没有那么担心Fable的未来,几天前他在采访中就针对当前好莱坞的罢工风波表示:“我们觉得(推出Simulations的)时机是正确的。通过发布研究成果,我们希望好莱坞工会能够协商强有力的保护措施保证艺术家的权益,同时知识产权持有者也需要弄清楚如何与商业化的人工智能公司进行谈判。”“这次罢工是制定未来十几年规则最大的杠杆时刻。”温馨提示:虽然我们每天都有推送,但最近有读者表示因平台推送规则调整,有时候看不到我们的文章~欢迎大家进入公众号页面,右上角点击“设为星标”点亮⭐️,收藏我们的公众号,新鲜内容第一时间奉上!*文章观点仅供参考,不代表本机构立场。