音视频技术开发周刊 | 315
每周一期，纵览音视频技术领域的干货。
新闻投稿：[email protected]。
GPT-4参数规模扩大1000倍，如何实现？OpenAI科学家最新演讲，从第一性原理出发，探讨了2023年大模型发展现状。
PS+AI生图一步完成，效果惊人！Adobe Firefly 2重磅更新：模型全面升级，矢量图完美支持
Adobe的AIGC生图平台Firefly最近升级为Firefly 2，提升了图像质量、引入了矢量图生成功能，并增加了多项新功能，极大改善了用户体验，为创作和设计工作提供更出色的工具。
生成式AI全球投融资220亿美元，美国占比89%！OpenAI贡献超60%，中国AI芯片投融资世界第一，超美国两倍
美国在这次生成式人工智能的热浪中独占鳌头，获得了全球投融资的89%，但在AI芯片的投融资中，中国领先世界。
一家独大的英伟达，把微软和OpenAI都逼得亲自下场造芯片了。也许AI芯片大战才刚刚拉开帷幕。
GPT-4推理更像人了！中国科学院提出「思维传播」，类比思考完胜CoT，即插即用
大模型推理难题攻克了？中国科学院联手耶鲁大学的研究人员提出了全新框架「思维传播」，让大模型能够像人类一样类比思考。
文生3D模型大突破！MVDream重磅来袭，一句话生成超逼真三维模型
文生3D模型进步！分数蒸馏采样下的MVDream，真的有这么神奇吗？真的有。
CMU华人打破大模型黑盒，Llama 2撒谎被一眼看穿！脑电波惨遭曝光，LLM矩阵全破解
大语言模型黑盒，居然被CMU等机构的学者打破了？他们发现，LLM内部有可解释的表征，如果撒谎，还能被测谎仪检测出来！
打破大模型黑盒，彻底分解神经元！OpenAI对头Anthropic击破AI不可解释性障碍
距离破解大模型「黑箱」难题又近了一步！近日，来自Anthropic的研究团队通过采用稀疏自动编码器的弱字典学习算法，从512个神经元中提取出来了4000多个可解释特征。
清华阿里等发布PoSynDA: 多假设姿态合成域自适应的鲁棒3D人体姿态估计
由于目标域训练集中2D - 3D姿态对的稀缺性，目前的3D人体姿态估计器在适应新数据集方面面临挑战。为了克服这个问题，我们提出了多假设位姿合成域适应( PoSynDA )框架，该框架不需要大量的目标域注释。PoSynDA利用以扩散为中心的结构，模拟了目标域中的三维姿态分布，填补了数据多样性的空白。
近期，神经场（Neural Fields）领域的巨大进展，已经显著推动了神经场景表示和神经渲染的发展。为了提高3D场景的计算效率和渲染质量，一个常见的范式是将3D坐标系统映射到另一种测量系统，例如2D流形和哈希表，以建模神经场。本文将这种坐标或者测量系统的转换定义为“规范变换”（gauge transformation）。这种规范变换通常采用预定义的函数，例如EG3D中的垂直投影和Instant-NGP中的空间哈希函数。然而，这种预先定义的函数往往并非最优选择，所以一个很自然的问题浮现出来：是否能以端到端的方式直接学习规范变换，让它与神经场一同进行优化？本研究将此问题拓展为一个广义的范式，包括连续型和离散型规范变换，并设计了统一的学习框架以共同优化规范变换和神经场。
本文提供了利用一类近距离飞行时间 (ToF) 距离传感器捕获的瞬态直方图来恢复平面场景几何形状的方法。瞬态直方图是一维时间波形，对入射到 ToF 传感器上的光子的到达时间进行编码。通常，传感器使用专有算法处理瞬态直方图以产生距离估计，这通常用于多种机器人应用。
视觉同时定位与建图( Simultaneous Localization and Mapping，SLAM )由于能够单独使用视觉数据估计相机轨迹并创建环境地图，近年来受到了极大的关注，为自动驾驶应用做出了巨大贡献，特别是在有移动人群和车辆的现实场景中。在这项工作中，本文提出了一个融合移动对象轨迹跟踪和预测的视觉SLAM系统。
独家：国产“Vision Pro”来袭，头显的Turn-key时刻即将到来？
随着Vision Pro的发布，市场上最为兴奋的或许有两拨人：一波是VR/AR从业者以及发烧友，另外还有一波则是摩拳擦掌随时准备对产品进行开模打样的“华强北们”。
微信内测版适配Vision Pro；Meta推出企业级头显服务
据 IT 之家消息，10 月 8 日微信发布了 iOS 8.0.43 内测版更新，虽仅显示“bug fixed”看似微不足道的更新，但其内部却包含了不少界面的调整和细节优化。
升级混合现实体验！Meta Quest 3 MR功能的方方面面
随着Meta Connect大会的召开，下一代头显Quest 3也已经确定将于10月10日正式发布，定价499美元起。除了性能上的升级以外，混合现实是官方反复重点强调的功能，它可以令虚拟内容与物理世界无缝融合，同时让用户以丰富的色彩自然直观地观看和交互。
VoiceFlow:高效的文本到语音与纠偏匹配
Rectified Flow Matching 语音合成，上海交大开源。
https://arxiv.org/abs/2309.05027
该研究由新加坡国家科技局（A⋆STAR）、新加坡国立大学、香港理工大学和香港中文大学（深圳）的研究人员共同完成。该项工作已被NeurIPS 2023（main track）接收。
单通道语音唤醒常应用于TWS耳机、智能手表等边缘设备上，作为语音助手的“守门员”。各信噪比下的唤醒率、每日误唤醒、唤醒延迟、模型参/算量是衡量语音唤醒算法性能的若干关键指标。低信噪比下唤醒率低，一直是语音唤醒的应用痛点和技术难点。
在技术进步的加持下，AV行业发展得如何了？本文采访了两位深耕于广播电视行业的技术人，为我们介绍了专业音视频的进展：一位冉冉升起的新星：Pro AV以及FPGA在其中发挥的作用。
在视频流量爆发式增长的当下，面对多用户多场景的网络挑战，如何降低卡顿、提升用户体验是流媒体传输研究的关键。LiveVideoStackCon 2023上海站邀请到了清华大学博士黄天驰，为大家分享自适应流媒体智能传输优化研究进展。
计算机图形与仿真技术的发展为人类带来了众多的沉浸式技术。虚拟现实（VR）、增强现实（AR）、混合现实（MR）等技术通过不同程度数字信息与现实环境的融合，为用户带来了全新体验，而统括三者的扩展现实（XR）更强调虚拟世界与现实世界的弥合，缩小人们、信息和体验之间的距离壁垒。LiveVideoStackCon 2023 上海站邀请了来自北京邮电大学的黄亚坤，为大家分享学术界关于云化XR和沉浸式全息交互技术的探索与思考 。
深度神经网络是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。深度神经网络是一种判别模型，可以使用反向传播算法进行训练。随着深度神经网络使用的越来越多，相应的压缩和加速技术也孕育而生。LiveVideoStackCon 2023上海站邀请到了胡浩基教授为我们分享他们实验室的一些实践。
先说明下什么叫“全量在播”，指的是直播范围内，当前所有在线主播的信息，尤其是主播的房间id和uid，对于很多上游业务来说，是必要的数据，是业务逻辑的数据基础。直播之前虽然有一套这样的系统，但是从目前运行状态看并不能面向更高体量业务支撑，而且线上也因为这种过时的在播架构工作异常发生过几次线上事故。所以正如一本书所讲，如果不杀死任何系统，你会被僵尸包围。对于这种遗留系统需要做面向未来目标的设计。
最近，Hinton在采访中谈论了人工智能存在的各种安全隐患，担忧人类将会被其接管。
半导体产业链供应链博弈正在成为中美竞争博弈的主战场，美国加速对华脱钩、重振自身半导体产业的战略轮廓逐渐清晰，同时美国对华实施以半导体为核心的科技战将呈现长期性、谋划性和加剧性的发展趋势。为此，中国必须做好打“持久战”的战略准备。本文将主要分析当前美方强推对华半导体“断链脱钩”的主要态势，研判其对全球半导体产业、技术创新、景气周期、区域布局等多个维度产生的变化和影响，并从加强保供韧链、加快创新提级、加速市场共享、加紧造船出海等四方面对我国半导体产业提出应对建议。
西安联丰迅声信息科技有限责任公司（以下简称“联丰迅声”）宣布完成千万级Pre-A+轮融资，本轮领投方为西安市人才基金。本轮融资资金将主要用于新产品技术研发、国内外销售团队扩充，以及生产测试线的建立等业务方向。
从ToC到ToB，MR头显Lynx-R1提价450美元至1300美元
随着目标市场的再次转变，法国硬件初创公司Lynx宣布MR头显R1将从原来的850美元提高到1300美元。
2023年9月半导体行业媒体传播报告：创芯片行业年内全球最大规模IPO，Arm纳斯达克上市！
国内方面，中国企业在光通信和存储芯片等领域份额上升，显示行业正稳步发展，但也面临产能过剩和价格战压力，企业致力产业升级。
时隔四年再次相聚，机会难得，不容错过。
11月24日至25日，LiveVideoStackCon 2023深圳站，期待与您共享此次音视频技术盛会，门票限时9折优惠最后1天倒计时，抓紧报名啦！
时间：2023年11月24日-25日
●地点：深圳圣淘沙酒店（翡翠店）
●咨询：13520771810（微信同号）了解详情。
●官方链接：https://sz2023.livevideostack.com/topics
ADM活动推荐
10月19日，14:00-16:30，AMD特邀生态合作伙伴的音视频技术专家，共同举行专业音视频技术与方案的在线专场研讨会，探讨音视频技术的应用方向，展望新兴音视频技术所带来的全新视听享受。
参与本次研讨会，您将全方位地了解 AMD 为专业音视频及广播应用提供的广泛的方案和平台。无论是 FPGA、自适应 SoC，还是配备集成型 H.264/H.265 视频编解码器单元的 MPSoC …… AMD 均可提供理想的低时延 、高质量的音视频处理平台。与此同时，我们还邀请到了来自北格逻辑、赛因铸声场、伟乐科技、千视电子等合作伙伴，与大家分享在专业音视频领域的最新应用方案和IP。
预约观看链接：https://app.ma.scrmtech.com/meetings-api/sapIndex/SapSourceData?pf_uid=10980_1464&sid=82429&source=2&pf_type=3&channel_id=38863&channel_name=LVS&tag_id=06ed6279083a57fd
▲点击“阅读原文” ▲
微信扫码关注该文公众号作者