但是通过简单的剪切粘贴得到的合成图可能会存在很多问题。在之前的研究工作中，图像合成衍生出不同的子任务，分别解决不同的子问题。举例来说，图像混合 (image blending) 旨在解决前景和背景之间不自然的边界。图像和谐化 (image harmonization) 旨在调整前景的光照使其与背景和谐。视角调整 (view synthesis) 旨在调整前景的姿态，使其与背景匹配。物体放置 (object placement) 旨在为前景物体预测合适的位置、大小、透视角度。阴影生成 (shadow generation) 旨在为前景物体在背景上生成合理的阴影。

如下图所示，之前的研究工作串行或者并行地执行上述子任务，获得逼真自然的合成图。在串行框架下，我们可以根据实际需求有选择性地执行部分子任务。在并行框架下，现在流行的做法是利用扩散模型，输入一张带有前景边界框的背景图片和一张前景物体图片，直接生成最终的合成图，使得前景物体无缝融入背景图片，光照和阴影合理，姿态与背景适配。

为了提升并行框架的可控性，能够有选择性地执行部分子任务，我们提出可控图像合成模型 Controllable Image Composition (ControlCom)。如下图所示，我们用一个指示向量作为扩散模型的条件信息，控制合成图中前景物体的属性。指示向量是一个两维的二值向量，两个维度分别控制是否调整前景物体的光照属性和姿态属性，1 代表调整，0 代表保留。

具体来说，(0,0) 代表既不改变前景光照，也不改变前景姿态，只是把物体无缝融入背景图片，相当于图像混合 (image blending)。(1,0) 是只改变前景光照使其与背景和谐，保留前景姿态，相当于图像和谐化 (image harmonization)。(0,1) 是只改变前景姿态使其与背景匹配，保留前景光照，相当于视角调整 (view synthesis)。(1,1) 是同时改变前景的光照和姿态，相当于现在的不可控并行图像合成。我们通过指示向量把四种任务纳入同一个框架，实现四合一物体传送门的功能，向场景中可控传送物体。该工作代码和模型即将开源。

代码模型链接

左边一列，前景物体的姿态原本就和背景图片适配，用户可能希望保留前景物体的姿态。之前的方法 PbE[1], ObjectStitch[2] 会对前景物体的姿态做出不必要且不可控的改变。我们方法的 (1,0) 版本能够保留前景物体的姿态，将前景物体无缝融入背景图片且光照和谐。

能够实现四种功能的模型结构是什么样的呢？我们方法的模型结构如下图所示，模型输入带有前景边界框的背景图片和前景物体图片，将前景物体的特征和指示向量结合到扩散模型中。我们提取前景物体的全局特征和局部特征，先融合全局特征，再融合局部特征，在局部融合的过程中使用对齐的前景特征图进行特征调制，实现更好的细节保留。

我们在COCOEE数据集和自己构建的数据集上进行测试。因为之前方法都只能做到不可控的图像合成，所以我们用 (1,1) 版本和之前方法比较。对比结果如下图所示，PCTNet是图像和谐化方法，能够保留物体细节，但是不能调整前景的姿态，不能补全前景物体。其他方法能够生成相同种类的物体，但是在细节保留上效果较差，比如衣服的款式、杯子的纹理、鸟的羽毛颜色等等。

参考文献

[1] Yang, B.; Gu, S.; Zhang, B.; Zhang, T.; Chen, X.; Sun, X.; Chen, D.; and Wen, F. 2023. Paint by Example: Exemplarbased Image Editing with Diffusion Models. In CVPR.

[2] Song, Y.-Z.; Zhang, Z.; Lin, Z. L.; Cohen, S. D.; Price, B. L.; Zhang, J.; Kim, S. Y.; and Aliaga, D. G. 2023. ObjectStitch: Generative Object Compositing. In CVPR.

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[email protected] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧