刚刚！ChatGPT绘图：新增一个令人惊喜的功能！

2024-05-05 02:05

你好，我是郭震

ChatGPT绘图刚刚增加一个新功能，支持在生成图中进行再编辑，这篇文章我来详细总结下这个功能。

1 初步使用

按照正常提问，绘制小猫和草坪。过一会，它会生成这样一幅图片：

接下来，点击这张图片，会弹出这个窗口，右上角有三个按钮，第一个按钮是select，也就是选择图片中的某个区域，支持选择区域的二次修改。

这个二次修改，我试了下，很强！

实际使用，比如，我选择如下左下角区域：

然后提示我，如何对这块区域进行编辑，比如我想在这块区域添加一个苹果：

我这样回复它，添加一个苹果，接下来GPT就开始计算

过一会，神奇的事情发生了，就在我选中区域，自动添加一只苹果：

咱们继续修改，再选中一个区域，添加一个水杯：

接下来，绘图完成后，选中区域并未绘制出水杯，第二次修改就会出现问题：

我尝试不选中区域，直接告诉它，添加水杯，然后得到下面这幅图：看到小猫和苹果的方位与上图已经发生变化。证明选择区域是必要的，否则会出现绘图扰动。

2 实现技术

我比较感兴趣的两个问题：

1) 多次选择区域，新增图像，为啥没生成

2）不选择区域，新图会与原图有较大变动。

我们先来看看，二次修图的技术原理。

二次修复图像（如添加新的物品或特征到已有图像）涉及先进的图像生成和修复技术，其原理如下：

区域选择与标记：首先，工具会识别并标记图像中需要修改或添加元素的区域。这可以通过用户提供的提示或算法自动检测来实现。
掩码生成：通过生成掩码（mask），工具可以将要修改的部分与原始图像的其他部分分开，确保只对选定区域进行更改。
深度学习模型生成：使用预训练的生成模型，基于用户提供的描述和图像的上下文信息生成新的元素。模型会利用已经学到的视觉特征，在保持整体风格一致的前提下填充指定区域。
融合与平滑处理：将生成的内容与原始图像进行融合，确保边缘过渡平滑，呈现自然一致的效果。模型通常会使用高级算法平滑边缘和调整颜色，以达到无缝的修复效果。
多次迭代优化：通过多次生成迭代，模型可以不断调整生成的结果，以达到用户预期的效果。这涉及反复运行模型，调整参数，直至生成理想的图像。