IJCAI 2024 | 首个视频人脸修复技术！让人脸细节更清晰！

主要观点总结

本文报道了IJCAI 2024的一篇论文，介绍了一种新的视频人脸修复技术——Beyond Alignment: Blind Video Face Restoration via Parsing-Guided Temporal-Coherent Transformer。该技术由西电和西南科大联合提出，是首个针对视频人脸修复的技术，能够让人脸细节更清晰，并解决了传统方法中对齐操作的复杂性和误差问题。

关键观点总结

关键观点1: 视频人脸修复技术的研究现状和挑战

大多数现有方法主要针对静态图像，无法有效处理视频中的时序信息，需要繁琐的对齐操作，且在面对长视频时恢复结果不一致。

关键观点2: PGTFormer的介绍和优势

PGTFormer是第一个专门为视频人脸修复设计的方法，采用端到端的设计，摒弃了传统方法中的复杂对齐步骤，实现了更加高效和连贯的视频人脸恢复。

关键观点3: PGTFormer的网络结构和训练过程

PGTFormer分为两个阶段进行训练。第一阶段训练TS-VQGAN，提供高质量视频人脸先验信息。第二阶段利用这些先验信息，通过人脸解析模块和时空Transformer模块完成视频人脸恢复任务。

关键观点4: PGTFormer的实验结果和评估

PGTFormer在多个公开数据集上与其他最先进的方法进行了对比，在PSNR、SSIM、LPIPS等定量指标上表现优异，并且在主观视觉对比中也展现了卓越的恢复效果。

关键观点5: 未来展望

研究者计划进一步优化网络结构，并将其应用到更广泛的视频增强任务中。

文章预览

关注公众号，发现CV技术之美 本篇分享 IJCAI 2024 论文 Beyond Alignment: Blind Video Face Restoration via Parsing-Guided Temporal-Coherent Transformer ，西电、西南科大联合提出首个视频人脸修复技术！让人脸细节更清晰！ 论文地址：https://arxiv.org/abs/2404.13640 论文主页：https://kepengxu.github.io/projects/pgtformer/ 开源代码地址：https://github.com/kepengxu/PGTFormer 研究者主页：https://kepengxu.github.io 引言 视频人脸恢复结果。左侧是输入的低质量视频人脸，右侧是通过PGTFormer恢复后的高质量人脸。 在计算机视觉领域，视频人脸恢复一直是一个备受关注的研究方向。然而，大多数现有的方法主要针对静态图像，无法有效处理视频中的时序信息，往往需要繁琐的对齐操作，并且在面对长视频时，容易出现恢复结果不一致的问题。 针对这些挑战，研究者首创性地提出了PGTFormer（Parsing-Guided Tempora ………………………………