音视频技术开发周刊 | 248

2022-06-04 04:06

每周一期，纵览音视频技术领域的干货。
新闻投稿：[email protected]。

音视频开发之旅（11） OpenGL ES矩阵变换与坐标系统
OpenGL大量使用向量和矩阵，矩阵的最重要的用途之一就是建立向量投影（比如：正交和透视投影）、使物体旋转（rotation）、平移（translation）以及缩放（scaling）。下面我们来介绍下几个常用的矩阵类型。

对于含胶片颗粒的视频的质量评价
在这次演讲中提出了一个将自然视频质量评估和含胶片颗粒视频质量评估相结合的新框架，能够很好的感知与胶片颗粒相关的质量特征，达到对含胶片颗粒视频进行质量评估的目的。

基于声网 Web SDK 实现视频通话场景
实时视频通话能够拉近人与人之间的距离，为用户提供沉浸式的交流体验，帮助你的 app 提高用户黏性。本文通过教程的形式讲讲怎么基于声网 Web SDK 在应用中实现视频通话的场景。

https://rtcdeveloper.agora.io/t/topic/24195

流媒体内容质量控制与监控
本次线上讨论针对视频服务提供商进行质量监控和 QC 的位置和内容，新的视频格式所带来的复杂性以及整个流媒体生态系统的故障排除策略等问题进行了阐述。

视频理解 | MoViNets
对于视频理解任务而言，很多的情况都跟单帧的图片识别有所不同，其中最大的差异在于时序信息的利用。MoViNets系列模型通过NAS、Stream Buffer、Ensemble三个途径，得到了计算量、内存开销、精度上的有效平衡，让实时的视频理解成为现实。

W3C: 开发专业媒体制作应用 (5)
演讲 1 中，首先对创建强大创意工具所需的许多技术领域进行广泛总结。然后，我们将深入研究几个选定的主题，以更好地了解我们需要从网络中获得的那种能力，以使这一切成为可能。演讲 2 中，分享了咪咕网编辑技术在体育转播直播和后期制作中的应用。

Android AVDemo（6）：音频渲染，免费获得源码丨音视频工程示例
在音视频工程示例这个栏目，我们将通过拆解采集 → 编码 → 封装 → 解封装 → 解码 → 渲染流程并实现 Demo 来向大家介绍如何在 iOS/Android 平台上手音视频开发。这里是 Android 第六篇：Android 音频渲染 Demo。

音频评测之专业音质听音评价（一）
专业音质听音评价是音频评测中非常重要的环节，本文详细介绍了专业音质听音评价中所涉及的听觉生理和心理。

声学技术为3D打印带来新选择
目前使用的大多数3D打印方法都依赖于照片（光）或热活化反应来实现聚合物的精确操作。一种称为直接声音打印的新平台技术的开发，使用声波来产生新物体，可能提供第三种选择。

了解速率控制模式：什么是 CBR、VBR、CRF和Capped-CRF？
每次在使用H.264、HEVC、VP9或者AV1等面向分发的编解码器对视频文件进行编码时，你都要选择一种码率控制机制来控制码率、整体质量、瞬态质量和编码成本。常见的码率控制模式包括CBR、VBR、CRF和Capped-CRF。本篇文章将向大家介绍这些模式的工作原理，它们各自的优点和缺点，如何以及何时实现它们。

视频编解码芯片设计原理----16 神经网络与视频编码
本章首先介绍了端到端的图像编码网络的原理和框架，以及框架中量化和熵估计等模块的多种实现方法，最后介绍了几种端到端的P帧和B帧编码网络。

H.264 媒体流 AnnexB 和 AVCC 格式分析及 FFmpeg 解析mp4的H.264码流方法
H.264编码规范只是规定了如何编码，并没有规定以何种方式来排列编码后的数据。就如同AES算法只是规定如何加密一组数据，并没有强制规定如果分组。H.264规范没有规定如何组织数据，但是在附录B中提供了一种可选方案，即Annex B格式。

MPEG-DASH视频传输中的常见问题
作为dash.js项目的首席开发人员，我们经常面对这样的情况：我们必须评估DASH传输失败是由dash.js播放器实现中的实际bug引起，还是由错误的内容生成引起。在本文中，我们将分享一些在DASH传输中出现的常见错误，以及我们通常在面对这些错误时所总结的一些见解。

WebRTC 教程 (5)
这篇文章主要介绍了 WebRTC 聊天室的整体演示，以及 WebRTC 视频聊天的功能设计，代码逻辑以及整体演示。

OpenCalib: 自动驾驶多传感器的一个开源标定工具箱
OpenCalib涵盖手动标定工具、自动标定工具、工厂标定工具以及针对不同应用场景的在线标定工具。本文介绍该toolbox的各种特点和标定方法。估计这是第一个开源的自动驾驶标定代码库，其中包含相关的全套标定方法。

FFmpeg命令分析-t
本系列主要分析各种 FFmpeg 命令在代码里是如何实现的。以 FFmpeg4.2 源码为准。

https://juejin.cn/post/7085382394877837348

基于 PyTorch 的卷积神经网络经典 BackBone (骨干网络)复现
本文将介绍如今图像识别领域十分经典的一些CNN网络，基于代码实战复现经典的Backbone结构，并基于PyTorch分享一些网络搭建技巧。

一篇适合新手的深度学习的万字综述
这篇综述论文列举出了近年来深度学习的重要研究成果，从方法、架构，以及正则化、优化技术方面进行概述。机器之心认为，这篇综述对于刚入门的深度学习新手是一份不错的参考资料，在形成基本学术界图景、指导文献查找等方面都能提供帮助。

你真的了解深度学习生成对抗网络（GAN）吗？
生成对抗网络（GANs）是一类具有基于网络本身即可以生成数据能力的神经网络结构。由于GANs的强大能力，在深度学习领域里对它们的研究是一个非常热门的话题。在过去很短的几年里，它们已经从产生模糊数字成长到创造如真实人像般逼真的图像。

50个最佳机器学习公共数据集
外国自媒体mlmemoirs根据github、福布斯、CMU官网等信息，整理了一张50个最佳机器学习公共数据集的榜单，为大家分享一下~

浅谈神经网络中的优化算法总结
在调整模型更新权重和偏差参数的方式时，你是否考虑过哪种优化算法能使模型产生更好且更快的效果？应该用梯度下降，随机梯度下降，还是Adam方法？这篇文章介绍了不同优化算法之间的主要区别，以及如何选择最佳的优化方法。

3D 可视化卷积、池化！终于能看懂神经网络到底在干啥了...
神经网络在工作的时候，里面到底是什么样？为了能透视这个“AI黑箱”中的过程，加拿大蒙特利尔一家公司开发一个3D可视化工具Zetane Engine。只需要上传一个模型，Zetane Engine就可以巡视整个神经网络，并且还可以放大网络中的任何一层，显示特征图，看清流水线上的每一步。

图神经网络从入门到入门
本篇文章将从一个更直观的角度对当前经典流行的GNN网络，包括GCN、GraphSAGE、GAT、GAE以及graph pooling策略DiffPool等等做一个简单的小结。

入门：为什么梯度下降算法这么有效？
在机器学习中，我们已经习惯了使用梯度下降法解决问题，以至于没人去质疑它为什么有效。而这篇文章的目的就是介绍一个合适的数学框架，帮助你理解其背后的具体操作。在你真正理解梯度下降法后，就可以有目的地提高它在项目中的性能。

图解：卷积神经网络数学原理解析
这一次，我们将加深理解神经网络如何工作于CNNs。出于建议，这篇文章将包括相当复杂的数学方程，如果你不习惯线性代数和微分，请不要气馁。我的目标不是让你们记住这些公式，而是让你们对下面发生的事情有一个直观的认识。

深度强化学习中的对抗攻击和防御
该论文是关于深度强化学习对抗攻击的工作。在该论文中，作者从鲁棒优化的角度研究了深度强化学习策略对对抗攻击的鲁棒性。在鲁棒优化的框架下，通过最小化策略的预期回报来给出最优的对抗攻击，相应地，通过提高策略应对最坏情况的性能来实现良好的防御机制。

OpenCV摄像头测距实战教程
摄像头测距就是计算照片中的目标物体到相机的距离。可以使用相似三角形（triangle similarity）方法实现，或者使用更复杂但更准确的相机模型的内参来实现这个功能。本文介绍了使用OpenCV实现摄像头测距的实用案例，希望能对各位读者有所帮助。

图像信号处理芯片设计原理----09 直方图统计
本系列主要介绍图像信号处理器中各核心算法模块的设计以及相关的前沿研究，以典型的相机成像系统为基础，涉及的内容包括各类缺陷校正，去马赛克，去噪，3A算法，超分，HDR，风格迁移等主题。本文主要对直方图统计的基本概念以及现有方法进行简要介绍。

浅谈图像分割调优：一个服饰分割项目的完整记录
图像分割领域，有对各类物体的分割应用，服饰分割是在电商CV领域常常会用到的算法技术，本文完整记录了一个服饰分割项目的全流程，希望能对各位读者，使用图像分割时有所帮助。

使用计算机视觉转换水彩艺术中的图像
在本文中，我们将研究能够将图像更改为水彩艺术形式的应用程序，我们将仅使用计算机视觉操作，即不涉及任何机器学习技术，仅涉及精细的图像处理技术。

使用 Python 的人脸识别系统
本文讨论了如何使用 python 和单次图像训练技术实现人脸识别系统。你可以进一步使用像 python Tkinter 这样的 GUI 来设计基于 GUI 的考勤系统。我们看到了影响识别系统的各种挑战以及如何解决这些挑战。

彩色图像高斯反向投影
本文介绍一种跟直方图反向投影不一样的彩色图像反向投影方法，通过基于高斯的概率分布公式（PDF）估算，反向投影得到对象区域，该方法也可以看做最简单的图像分割方法。

3D车道线单目检测方法ONCE-3DLanes
该文提出一个真实世界的自动驾驶数据集，ONCE-3DLanes，具有3-D空间的车道线布局标注。通过点云和图像像素之间的显式关系，文章设计了该数据集标注流水线，从211K个道路场景的2D车道线标注，自动生成高质量的3D车道线位置。

从智能驾驶全技术供应链看智能驾驶“灵魂”
要理解智能驾驶的灵魂，必须对对智能驾驶价值技术链条进行分解，了解各个技术价值链的原理和逻辑。所以本文试图分解智能驾驶的价值技术链，浅析各个核心技术价值技术链背后的逻辑原理以及难点，最后看是否能找出智能汽车驾驶的灵魂到底是什么。

智能驾驶要用多少个激光雷达？分别放在哪里？什么作用？
激光雷达上车不是什么新奇的事情了，目前将近20款智能驾驶的乘用汽车宣布采用激光雷达。这些车为啥要用激光雷达？到底把激光雷达装在哪里？他们分别可以实现哪些功能？未来的应用会是什么样的趋势？

带你读懂自动驾驶汽车系统基本框架
无人驾驶系统的核心可以概述为三个部分：感知（Perception），规划（Planning）和控制（Control），本文将一一为您解析。

什么才是软件定义汽车？
移动出行时代，汽车逐渐由机械驱动的硬件向软件驱动的电子产品过渡，软件定义汽车趋势愈发明显。这一过程中汽车软件以和硬件深度耦合的方式得到发展，汽车行业逐渐迈向软件定义汽车（Software Defined Vehicles， SDV）的时代。

自动驾驶域控制器研究：AI芯片选型方案详解
域控制器作为一个智能硬件，为了完成复杂的AI计算和智能控制，硬件层面需要承担环境感知和深度学习等超大算力需求的AI处理芯片、负责控制决策和逻辑运算的CPU、以及负责功能安全和车辆控制的MCU；软件层面包括操作系统、中间件以及应用层AI算法等。

用动态聚焦液晶 (LC) 透镜消除视觉辐辏
在 VR 研发领域，热门话题之一是尽可能为缩减视觉辐辏 (VAC) 找到切实可行的解决方案。该领域的研究人员表示，VAC 会导致眼睛疲劳，难以专注于近距离图像，甚至可能会限制视觉沉浸感。

专利揭秘 | 谷歌眼镜的发展
谷歌在今年的Google I/O全球开发者大会上展现了一款AR智能概念眼镜，时隔十年，谷歌眼镜项目的技术能力到底如何？我们可以通过专利角度来窥视其研发动向以及技术实力，下述是谷歌眼镜的历年专利申请趋势情况，可以反映不断探索的“谷歌眼镜”。

XR互联网与元宇宙硬件入口的金钥匙——衍射光波导
基于表面浮雕光栅的衍射光波导，同时具有轻薄、视场角大、眼动范围大、量产成本低的优势，因此被普遍认为是AR眼镜或AR头显的主流显示技术路线，并被誉为“AR产业金钥匙”。

【AR专家测评】Karl Guttag解析Magic Leap 2
新一代AR头戴设备Magic Leap 2最近备受瞩目，近眼显示专家Karl Guttag（卡尔·古塔格）对Magic Leap 2做出了解析，并与其他AR头戴设备进行了比较。

活动推荐

【城市沙龙】LiveVideoStack Meet青岛：岛城音视频生态初探

2022年6月11日，LiveVideoStack Meet将落地青岛，初次来到岛城，希望能与大家共同探讨青岛音视频生态环境，给更多技术人创造轻松愉悦的交流机会。本次分享我们邀请到了多位音视频领域嘉宾，内容丰富，诚意满满！

活动时间：2022年6月11日 14:00-16:30

活动地点：山东省青岛市崂山区松岭路399号海信研发中心学术报告厅

防疫要求：凭入园申请及48小时内核酸证明参会（入园申请二维码在会前三天发送至邮箱）

报名方式：点击「阅读原文」立即报名。

LiveVideoStackCon 2022 上海站改期通知

致亲爱的LiveVideoStack小伙伴们：

经过大家团结抗疫的行动，我们终于迎来了上海解封的好消息！虽然疫情逐渐平稳，但仍然不能松懈。因此，为保证大家的健康安全以及参会体验，本届LiveVideoStackCon 2022 音视频技术大会上海站活动将延期至8月5-6日举办。

相信艰难的时刻已经过去，虽然没能在春暖花开的时节与你相遇。但好事多磨，明媚的夏日也不失为一个见面的好时机。当然，干货满满的技术演讲内容、认真准备的大会讲师、客观且严格的出品人与评审团，为本次大会加满质量&能量。

衷心感谢大家的耐心等待，我们夏天见啦~ 另祝大家端午安康！

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章