《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 其他 > 设计应用 > 基于多任务学习的无参考超分辨图像质量评估
基于多任务学习的无参考超分辨图像质量评估
信息技术与网络安全 8期
刘锡泽1，李志龙2，何欣泽3，范 红1
(1.东华大学 信息科学与技术学院，上海201620； 2.OPPO研究院，上海200030；3.上海大学 通信与信息工程学院，上海200444)
摘要： 图像超分辨率重建旨在从低分辨率图像中恢复其对应的高分辨率图像，是计算机视觉中的经典问题。为改进传统超分辨图像质量评价方法与人眼感知不一致的问题，提出一种基于多任务学习的超分辨图像质量评估网络。网络采用多任务学习的方式，分别学习图像的局部频率特征与质量分数，其中局部频率特征用来辅助网络进行图像质量分数的回归，提高分数预测的准确性和泛化能力。另外，在网络中加入协调注意力模块，进一步增强了模型的预测能力。实验结果表明，所提出的算法在QADS数据集上的SROCC、PLCC等指标优于目前先进的无参考超分辨图像质量评价方法。
中圖分類(lèi)號(hào)： TP391
文獻(xiàn)標(biāo)識(shí)碼： A
DOI： 10.19358/j.issn.2096-5133.2021.08.010
引用格式： 劉錫澤，李志龍，何欣澤，等. 基于多任務(wù)學(xué)習(xí)的無(wú)參考超分辨圖像質(zhì)量評(píng)估[J].信息技術(shù)與網(wǎng)絡(luò)安全，2021，40(8)：60-64.
No reference super resolution image quality assessment based on multi-task learning
Liu Xize1，Li Zhilong2，He Xinze3，Fan Hong1
(1.College of Information Science and Technology，Donghua University，Shanghai 201620，China； 2.OPPO Research Institute，Shanghai 200030，China； 3.College of Communication and Information Engineering，Shanghai University，Shanghai 200444，China)
Abstract： Image super-resolution reconstruction is to recover the corresponding high resolution images from low resolution images, which is a classic problem in computer vision. In order to improve the inconsistency between traditional super-resolution image quality evaluation methods and visual perception, a super-resolution image quality evaluation network based on multi-task learning is proposed. The network adopts a multi-task learning method to learn the local frequency features and quality scores of the image respectively. The local frequency features are used to assist the network in the regression of the image quality scores to improve the accuracy and generalization ability of score prediction. In addition, adding coordinate attention blocks to the network to further enhance the predictive ability of the model. The experimental results show that the SROCC and PLCC of the proposed algorithm on the QADS dataset are better than the current advanced no-reference super-resolution image quality evaluation methods.
Key words : super-resolution image quality assessment；multi-task learning；local frequency features；coordinate

0 引言

單幅圖像超分辨率重建(Single Image Super-Resolution Reconstruction，SISR)是圖像復(fù)原的一種，其通過(guò)信號(hào)處理或者圖像處理的方法，將低分辨率(Low-Resolution，LR)圖像轉(zhuǎn)化為高分辨率(High-Resolution，HR)圖像[1]。目前，SISR被廣泛應(yīng)用在醫(yī)學(xué)影像、遙感圖像、視頻監(jiān)控等領(lǐng)域當(dāng)中。近年來(lái)，許多SISR算法相繼被提出，因此需要一種可靠的方式來(lái)衡量各種算法重建圖像的質(zhì)量好壞。

最可靠的圖像質(zhì)量評(píng)估方式是主觀評(píng)分，但這種方式需要耗費(fèi)大量的人力和時(shí)間，所以往往使用客觀評(píng)價(jià)指標(biāo)來(lái)對(duì)超分辨(Super-Resolution，SR)圖像進(jìn)行質(zhì)量評(píng)估。最常用的圖像客觀評(píng)價(jià)指標(biāo)是峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和結(jié)構(gòu)相似度(Structural Similarity，SSIM)。但在SISR領(lǐng)域中，這兩個(gè)指標(biāo)與人眼感知的一致性較低[2]。因此研究者們提出了一系列基于人類(lèi)視覺(jué)系統(tǒng)(Human Visual System，HVS)的圖像質(zhì)量評(píng)估算法，如信息保真度(Information Fidelity Criterion，IFC)[3]、特征相似度(Feature Similarity，F(xiàn)SIM)[4]等算法，在圖像質(zhì)量評(píng)估數(shù)據(jù)庫(kù)中的性能超過(guò)了PSNR、SSIM等傳統(tǒng)算法。



本文詳細(xì)內(nèi)容請(qǐng)下載：http://m.ihrv.cn/resource/share/2000003726


作者信息：

劉錫澤1，李志龍2，何欣澤3，范  紅1

(1.東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海201620；

2.OPPO研究院，上海200030；3.上海大學(xué) 通信與信息工程學(xué)院，上海200444)


此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。

相關(guān)內(nèi)容