ICML'26开源 | 出去旅游不会拍照?北大AesFormer:一键将日常照片变成美好回忆

点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达

来源：3D视觉工坊

3D视觉硬件包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：3D视觉硬件汇总！涵盖科研级和产品级！

论文信息

标题：AesFormer: Transform Everyday Photos into Beautiful Memories

作者：Tianxiang Du, Hulingxiao He, Yuxin Peng

机构：Peking University

原文链接：https://arxiv.org/abs/2605.22126

代码链接：https://github.com/PKU-ICST-MIPL/AesFormer_ICML2026

导读

在日常摄影中，那些具有审美价值的瞬间往往因为某些结构上的缺陷而无法被完美呈现出来。这些缺陷可能体现在构图、拍摄视角或模特姿态等方面，而现有的图像修图技术往往无法解决这些问题。我们提出的“审美照片重建”方法旨在通过重新调整照片的结构来提升其审美效果，同时确保主体特征和场景内涵得以保留。虽然最新的图像编辑技术使得这种处理成为可能，但这些技术往往缺乏对美学的理解，因此所生成的图片虽然在语义上合理，但在美学上却不尽如人意。为了解决这个问题，我们设计了AesFormer这一两阶段处理框架：在第一阶段中，审美动作模型会从七个维度分析输入图像，并生成相应的编辑方案；接着，我们利用GRPO-A算法来促进多种可能的编辑方案的生成。在第二阶段中，编辑器会根据这些方案对图像进行相应的结构调整。为了支持这一技术的应用，我们还建立了基于视频的语料库分析系统，并创建了包含9,071对对比鲜明的图片的测试集AesRecon。实验结果表明，AesFormer显著提升了照片的审美效果，其性能可与Nano Banana Pro相媲美。

效果展示

传统照片修图和肖像美化主要侧重于提升风格和外观，但无法修复拍摄时引入的结构缺陷;而ouarAPR则能进行以美学为导向的结构重构，以重现预期的瞬间。

在图4中，我们将AesFormer与Qwen-Image-Edit-2511、Step1X-Edit-v1.1和Nano Banana Pro进行了比较。大多数开源模型主要关注局部外观调整，难以执行APR所需的结构性编辑（例如解决遮挡、重新构图和优化姿态），常常无法解决拍摄时的结构问题。相比之下，AesFormer将美学规划与编辑解耦：AesThinker诊断结构问题并产生可执行的编辑计划，然后由AesEditor作为可执行的结构性编辑来执行。这种分离产生了更可靠的美学提升，其结果可与Nano Banana Pro竞争。

引言

摄影是记录日常场景、情感与记忆的常见方式。然而，真正动人的瞬间转瞬即逝：要捕捉好这些瞬间，往往需要在拍摄时瞬间做出关于构图、相机视角以及主体姿态的决断。专业摄影师通过系统训练和大量实践培养出这种能力，而大多数用户却难以稳定地做出这些决策。因此，他们拍摄的照片常常存在结构性缺陷——构图失衡（如主体位置不当或背景干扰）、视角选择不当导致空间感减弱或产生畸变，或者姿态僵硬削弱了预期情感。这些拍摄时的失误造成了用户想要留存的瞬间与相机最终记录下的画面之间的持续差距。

为了缩小这一差距，用户常常借助后期处理工具来提升照片的美感。现有解决方案大致分为两类。照片润饰方法和Photoshop、Lightroom等工具通常通过调整底层属性（如亮度、对比度和饱和度）来优化整体色调和风格。人像美化方法则专注于外观导向的编辑，包括皮肤平滑和面部精修。然而，这些工具并非为纠正拍摄时产生的结构性错误而设计。如图1所示，当构图、视角或姿态不理想时，风格/外观编辑只能带来有限的改善，很少能达到预期的美学效果。

这一局限性凸显了一个尚未充分探索的问题：通过结构调整（即调整构图、相机视角、主体位置与姿态以及其他结构属性）来改善照片的美学质量，同时保持主体身份和场景语义不变。我们将此任务定义为“美学照片重构”（APR），旨在弥合预期瞬间与相机实际拍摄照片之间的美学差距。

近期图像编辑模型的进展使得通过指令引导的编辑来实现APR变得愈发可行。然而，当前模型仍面临两个关键局限：（1）美学理解有限——它们往往缺乏对摄影美学的深入把握，难以诊断结构问题并决定如何修正；（2）美学编辑能力有限——即使有明确的指令，生成的编辑结果往往在语义上看似合理，但美学效果薄弱，无法带来清晰可靠的美学提升。

为解决这些挑战，我们提出AesFormer，一个将美学理解与图像编辑解耦的两阶段框架。在第一阶段，美学动作模型AesThinker分析输入照片的七个递进式摄影维度，并输出可执行的编辑动作。我们首先应用监督微调来标准化动作格式，然后引入GRPO-A（面向美学的小组相对策略优化）以鼓励多样化、高质量的动作规划，反映美学的多解本质。在第二阶段，以动作为条件的编辑器AesEditor执行这些动作，通过结构性编辑进行照片重构。

APR的另一个主要障碍是数据：同一场景和主体的高质量配对样本稀缺，这使得学习可靠的结构性修正变得困难。为解决此问题，我们提出一个基于视频的语料挖掘流程（VCMP），从摄影教学视频中提取“优化前/后”的示范，并应用严格的精炼与对齐。借助VCMP，我们半自动地构建了AesRecon，一个新数据集和基准，包含9,071对严格对齐的（劣质图像，优质图像）。

实验表明，AesFormer显著改进了APR，优于开源基线方法，并与Nano Banana Pro性能相当。

主要贡献

主要贡献总结如下：

• 提出了美学照片重构（APR）这一新任务，通过结构重建来提升照片美学质量，超越了传统润饰方法。

• 提出了AesFormer两阶段框架，将美学理解与图像编辑解耦，并引入GRPO-A以鼓励对多样化动作方案的广泛探索，取得了与谷歌Nano Banana Pro相当的结果。

• 为解决APR中的数据瓶颈，开发了基于视频的语料挖掘流程（VCMP），并构建了AesRecon——一个包含9,071对从摄影教学视频中挖掘的严格对齐（劣质，优质）图像的APR数据集和基准。

方法

美学照片重构（APR）数据非常受限。它需要严格对齐的（劣质，优质）图像对，这些图像对描绘相同的主体和场景，且美学提升主要归因于结构因素（例如改进的构图和更自然的姿态），而非色调/色彩调整。在现有图像集合中，这样的对齐对极为稀缺。

在线摄影教学视频提供了一个可扩展的监督来源。典型的教学视频记录了多次拍摄事件，摄影师和主体反复优化一次拍摄，从最初的不理想捕捉进展到最终的高质量照片。沿着视频时间线，每个事件通常形成一个时间上连贯的片段，同时包含优化前和优化后的示范。

然而，由于广告或植入内容、过渡伪影（如模糊和重影）以及普遍的屏幕叠加元素（如相机界面和字幕），从原始视频中可靠地挖掘配对并非易事。为应对这些挑战，我们提出了基于视频的语料挖掘流程（VCMP），该系统地将原始教学视频转换为严格对齐的（劣质，优质）对，如图2所示。利用VCMP，我们构建了AesRecon，一个新的APR数据集和基准，包含9,071个严格对齐的对。

我们提出AesFormer（图3），一个两阶段框架，将美学理解与图像编辑解耦。第一阶段学习AesThinker，以生成关于七个递进式摄影维度的有序、可执行的编辑动作，使用通过教学视频蒸馏得到的监督进行初始化，并通过GRPO-A进一步优化以实现多样化动作探索。第二阶段训练AesEditor，通过将这些动作作为结构性编辑来执行以动作调节的照片重构。

实验结果

如表1所示，与先前的研究发现一致，大多数现有的开源图像编辑模型在APR设置中表现不佳：与输入的劣质图像和配对的优质图像相比，胜率均较低，表明在结构美学方面的提升有限。相比之下，Nano Banana Pro表现显著更好，表明其具有更强的开箱即用泛化能力。我们的AesFormer持续优于开源基线，在三个美学评分器上获得了更高的胜率和更好的得分。值得注意的是，AesFormer在大多数指标上与Nano Banana Pro相当且常常超越，缩小了APR领域与大规模专有系统之间的差距。

这一观察引出了一个自然的假设：开源编辑器在APR上表现薄弱，主要是因为它们缺乏明确的编辑指令吗？换句话说，如果我们用一个能生成编辑动作的“思考器”来增强一个“编辑器”，那么仅通过将一个现成的思考器与一个现成的编辑器组合，能否解决APR？为了测试这一点，我们构建了两个即插即用的设置：使用Qwen3-VL-8B和GPT-4o作为思考器，用与AesThinker相同的提示生成动作，并将这些动作作为指令输入提供给不同的编辑器。如表1所示，这些现成的“思考器+编辑器”组合并未产生一致的改进，甚至可能降低某些编辑器的性能。

进一步分析指出了一种双向的不匹配。在思考器方面，没有APR特定的监督，通用规划器生成的动作计划往往含糊、与目标对齐薄弱，或者对结构修正的描述不明确，暴露出对摄影美学的有限理解。在编辑器方面，大多数图像编辑器对美学驱动的结构性编辑支持有限，并且不能可靠地将摄影术语转化为忠实、可执行的变换。综合起来，这些结果促使我们提出AesFormer：一个专门针对APR的思考器与一个联合对齐、以动作为条件的编辑器配对。

总结 & 未来工作

本文介绍了美学照片重构（APR），旨在通过重建纠正结构性问题来提升照片的美学质量。我们提出了AesFormer，一个将美学规划与图像编辑解耦的两阶段框架，并采用GRPO-A鼓励对多样化动作方案的更广泛探索。为了支持APR研究，我们开发了一个基于视频的语料挖掘流程（VCMP），并构建了AesRecon，一个新数据集和基准，包含9,071个严格对齐的（劣质，优质）图像对。实验表明，AesFormer显著提升了APR性能，取得了与谷歌Nano Banana Pro相当的结果。未来的工作将把APR扩展到多图像和视频设置，以进一步推进这一研究方向。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉方向论文辅导来啦！可辅导SCI期刊、CCF会议、本硕博毕设、核心期刊等。

扫码添加微信，备注：姓名+方向+单位，邀请入群。