直播预告：基于 Triton Inference Server 部署优化 Stable Diffusion Pipeline

2023-04-22 10:04

作为一款文本到图像生成模型，Stable Diffusion 能够在几秒钟内创作出令人惊叹的艺术作品。而 Stable Diffusion 的出现，也引爆了 AI 绘画的风口，AI 绘画平台 Midjourney 更是仅靠订阅服务费就年赚1亿美金。

当然，也因为 Stable Diffusion 是完全开源的，因此个人也能够部署 Stable Diffusion 实现文本到图像的生成，具有很大的可玩性。然而，如何对 Stable Diffusion 进行部署并进行优化呢？

今年3月份，NVIDIA 推出了可用于 LLM 和生成式 AI 的推理 GPU 平台，可以将 Stable Diffusion 的性能提高7倍。这些平台的软件层采用的是 NVIDIA AI Enterprise 软件套件，包括了用于高性能深度学习推理的软件开发套件 NVIDIA TensorRT，以及帮助实现模型部署标准化的开源推理服务软件 NVIDIA Triton Inference Server。

Triton Inference Server 可以在任何基于 GPU 或 CPU 的基础设施上部署、运行和扩展任意框架中经过训练的 AI 模型，进而精简 AI 推理。因此，我们可以使用 Triton Inference Server 更快速、高效地部署和优化 Stable Diffusion Pipeline ，提高推理性能。

4月25日，智东西公开课联合 NVIDIA 策划推出「 Stable Diffusion Pipeline 部署优化公开课」。本次公开课邀请到 NVIDIA 资深解决方案架构师卢翔龙参与，主讲基于 NVIDIA Triton Inference Server 的扩散模型部署及优化。

卢翔龙将就主题《Stable Diffusion 在 Triton Inference Server 上的优化部署实践》进行直播讲解。他首先将讲到如何使用 Triton 对 Stable Diffusion Pipeline 进行部署及优化，之后会对 K8s 上多 Triton 推理实例的自动部署和编排进行介绍。最后，他也会分享 NVIDIA AI Enterprise 端到端 AI 研发工作流及应用场景。