音视频技术开发周刊 | 246

2022-05-22 04:05

每周一期，纵览音视频技术领域的干货。
新闻投稿：[email protected]。

✦

一周简讯

✦

LiveKit 1.0版发布

我们使用LiveKit的目标是构建一个所有人都可以访问的端到端的开源 WebRTC 堆栈。经过 20 个月和近 1000 次提交后，LiveKit 1.0 版发布了。在这篇文章中，我们将深入探讨端到端流优化，这是 LiveKit 1.0 的一个特别令人兴奋的方面。基于 WebRTC 的会议软件通常难以应付只有少数参与者的会议。详情：https://blog.livekit.io/livekit-one-dot-zero/ 。

速度提升1.25倍，Python 3.11.0b1发布

近日，Python官方团队放出了Python 3.11四个测试版本中的首个预览版 Python 3.11.0b1，该版本在进入候选发布之前，都有可能对功能进行修改，或在极少数的情况下删除。Python 3.11.0b1有哪些新功能呢？首先，在速度上，对比Python 3.10，Python 3.11要快10——60%，平均而言，在标准的基准测试套件上锁取得的结果是速度提高了1.25倍。其次新功能方面有：PEP 657 – 在回溯中包括细粒度的错误位置、PEP 654 – 异常组和 except* 、PEP 673 – Self Type等，详情可戳：https://docs.python.org/3.11/whatsnew/3.11.html。

字节上线音乐编辑工具“海绵乐队”App

字节于近期在App Store中上线了一款名为“海绵乐队”的App，据官方介绍，此产品将更好的服务于汽水音乐和抖音上对音乐编辑有所需求的用户。据悉，这是一款手机端的便携式音频创作工具，在实现传统的录音、效果器同时，引入大量AI智能来协助创作，降低使用难度，提高创作趣味和效率。（新浪科技）

谷歌正基于Google Map应用支持世界级AR体验

在上周谷歌长达 2 小时的2022 年 I/O活动中，该公司发布了许多激动人心的公告，包括推出一款新的中端手机以及一副能够实时翻译多种语言的 AR 眼镜.。谷歌还为谷歌地图展示了世界级的 AR 体验，这将极大地改善您移动设备上的街景体验，改变您在戴上一副谷歌 AR 眼镜时查看世界的方式。通过使用 Google 的 AR 地理空间 API、云锚点和视觉定位系统 (VPI) 进行数字化转型，Google 设想了一种使用 AR 来帮助您在 87 个国家/地区导航任何城市、城镇或乡村的体验。该技术还可用于使用基于位置的 AR 效果提供独特且个性化的沉浸式体验。想象一个 AR 地标，它不仅可以改变您看待外界的方式，还可以创造出令人惊叹的 3D AR 效果，可以在建筑物和公共场所内查看。

✦

超级干货

✦

关于AVOD, 你需要知道的事
在本篇文章中，我们将了解：什么是VOD?AVOD商业模式、AVOD的工作原理、AVOD的不同类型：CSAI和SSAI。

公网传输技术之SRT协议解析（下）
本文从SRT协议的工作流程谈起，着重介绍和解析了SRT协议的数据包结构，并举例说明如何利用Wireshark抓包软件进行链路故障分析，从而解决实际工作中的问题。

VR与AR简史
VR的历史可以追溯到20世纪60年代。早在1961年，Phlico公司的Charles Comeau和James Bryan就开发了一款头显设备——Headsight。

大家谈的视频体验指标，都有哪些？如何测定？
我们一般通过视频的实时性、流畅性（卡顿率、渲染帧率）、主观画质、首帧出图、音画同步等性能指标来判断视频质量的好与坏。以下内容分别对这些指标做逐一说明，并讲一讲在实验室环境中，每个指标的详细测试方法。

iOS AVDemo（13）：视频渲染，用 Metal 渲染丨音视频工程示例
在音视频工程示例这个栏目，我们将通过拆解采集 → 编码 → 封装 → 解封装 → 解码 → 渲染流程并实现 Demo 来向大家介绍如何在 iOS/Android 平台上手音视频开发。这里是第十三篇：iOS 视频渲染 Demo。

Android AVDemo（4）：音频解封装，从 MP4 中解封装出 AAC丨音视频工程示例
在音视频工程示例这个栏目，我们将通过拆解采集 → 编码 → 封装 → 解封装 → 解码 → 渲染流程并实现 Demo 来向大家介绍如何在 iOS/Android 平台上手音视频开发。这里是 Android 第四篇：Android 音频解封装 Demo。

音视频开发之旅（九） OpenGL ES 绘制平面图形
这篇我们开始实战，通过GLSurfaceView加载着色器，来绘制三角形、正方形和直线这些平面图形。

W3C: 开发专业媒体制作应用 (3)
在本文中，两位主讲人都对基于 Web 浏览器的数字音频工作站进行了介绍，并讨论了这种 DAW（Digital Audio Workstation）在使用时的延迟。

WebRTC 教程 (4)
这篇文章主要介绍了 WebRTC 聊天室设计和搭建，主要包括信令服务器及客户端网页设计。

视频编解码芯片设计原理----14 图像质量评估
本文主要介绍全参考质量评估方法VSI和GDRW，并在GDRW的基础上进行算法优化，提出了基于显著性窗口的高注意度区域感知图像指标GSW，最后介绍了GSW模型的软件实现过程和质量预测性能测试结果。

图像信号处理芯片设计原理----07 绿平衡+去马赛克
本系列主要介绍图像信号处理器中各核心算法模块的设计以及相关的前沿研究，以典型的相机成像系统为基础，涉及的内容包括各类缺陷校正，去马赛克，去噪，3A算法，超分，HDR，风格迁移等主题。本文主要对ISP流水线中的绿平衡模块和去马赛克模块进行简要介绍。

FFmpeg命令分析-r
本文章主要讲解 FFMpeg 里面是如何实现帧率变换的，例如 24fps 是如何转成 8fps的，缩小了3倍的帧率。