《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 其他 > 设计应用 > 基于帧循环网络的视频超分辨率技术
基于帧循环网络的视频超分辨率技术
2020年电子技术应用第9期
刘 佳，安鹤男，李 蔚，张昌林，涂志伟
深圳大学 电子与信息工程学院，广东 深圳518061
摘要： 对比于单张图像超分辨，视频图像超分辨率技术需要对输入的连续时间序列图像进行融合、对齐等处理。基于帧循环的视频超分辨率网络共分为三部分：(1)帧序列对齐网络提取图像特征，并将邻居帧对齐到中心帧；(2)帧融合网络将对齐完成的帧进行融合，使用邻居帧的信息补充中心帧信息；(3)超分辨网络将融合完成的图像放大，得到最终的高清图像。实验表明，与现有算法相比，基于帧循环网络的视频超分辨率技术产生图像更为锐利，质量更高。
關(guān)鍵詞： 视频 超分辨 深度学习
中圖分類號： TN919.8；TP183
文獻(xiàn)標(biāo)識碼： A
DOI：10.16157/j.issn.0258-7998.200051
中文引用格式： 劉佳，安鶴男，李蔚，等. 基于幀循環(huán)網(wǎng)絡(luò)的視頻超分辨率技術(shù)[J].電子技術(shù)應(yīng)用，2020，46(9)：43-46.
英文引用格式： Liu Jia，An Henan，Li Wei，et al. Video super-resolution based on frame recurrent network[J]. Application of Electronic Technique，2020，46(9)：43-46.
Video super-resolution based on frame recurrent network
Liu Jia，An Henan，Li Wei，Zhang Changlin，Tu Zhiwei
College of Electronics and Information Engineering，Shenzhen University，Shenzhen 518061，China
Abstract： Compared with single image super-resolution, video super-resolution needs to align and fuse time series images. This frame-recurrent-based video super-resolution network consists of three parts：(1)The frame sequence alignment network extracts the image features and aligns the neighbor frames to the center frame；(2)The frame fusion network fuses the aligned frames and supplements the center frame information with the neighbor frame information；(3)The super-resolution network enlarges the fused image to obtain the final high-definition image. Experiments show that, compared with existing algorithms, video super-resolution technology based on frame loop network produces sharper images and higher quality.
Key words : video；super-resolution；deep learning

0 引言

    在現(xiàn)存硬件技術(shù)的基礎(chǔ)上，通過現(xiàn)存圖像序列或視頻相鄰進(jìn)幀之間的時空信息互補，將低分辨率的圖像序列或者視頻重構(gòu)為高分辨率的圖像序列或視頻，一直是數(shù)字圖像處理領(lǐng)域內(nèi)的一個重要分支。最初的視頻超分辨被認(rèn)為是圖像超分辨領(lǐng)域的簡單擴(kuò)展，但是這些基于單張圖片的超分辨技術(shù)不能提取視頻相鄰幀之間的互補信息和存在視頻中的動作位移。由于評價函數(shù)的關(guān)系，這些技術(shù)處理完成的視頻會導(dǎo)致偽影，觀看感覺不連續(xù)?；趲h(huán)網(wǎng)絡(luò)的視頻超分辨方法正是針對上述問題提出，并在公開數(shù)據(jù)集上驗證了模型的有效性。

    圖像超分辨不僅可以生成高質(zhì)量的圖像，還可以用作目標(biāo)檢測[1]、人臉識別[2]等任務(wù)的預(yù)處理步驟。深度學(xué)習(xí)方法的引入為圖像超分辨領(lǐng)域帶來新的發(fā)展[3]。

    相比于單幅圖像超分辨，視頻超分辨可分為對齊、融合、重建3個步驟。對齊網(wǎng)絡(luò)的結(jié)果會直接影響融合網(wǎng)絡(luò)與重建網(wǎng)絡(luò)的效果。早期，基于深度學(xué)習(xí)的視頻超分辨方法[4]參考相鄰視頻幀之間的光流場扭曲鄰居幀從而達(dá)到對齊的目的。然而，Xue Tianfan等人[5]指出基于光流場的對齊方法并非視頻超分辨的最優(yōu)解，提出基于任務(wù)流的視頻超分辨率方法；JO Y H等人[6]提出了隱式運動補償?shù)姆椒ㄒ?guī)避流場的計算。




本文詳細(xì)內(nèi)容請下載:http://m.ihrv.cn/resource/share/2000002978




作者信息:

劉  佳，安鶴男，李  蔚，張昌林，涂志偉

(深圳大學(xué) 電子與信息工程學(xué)院，廣東 深圳518061)

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。

相關(guān)內(nèi)容