《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 其他 > 设计应用 > 基于Flink流处理框架的FFT并行及优化
基于Flink流处理框架的FFT并行及优化
信息技术与网络安全
钟旭阳1，2，徐 云1，2
(1.中国科学技术大学 计算机科学与技术学院，安徽 合肥230026； 2.安徽省高性能计算重点实验室，安徽 合肥230026)
摘要： FFT作为雷达信号处理的关键计算步骤之一，本质上是一个基于数据流的处理过程。以往的FFT计算大多集中在通用计算平台上进行并行计算实现，计算系统存在扩展性和鲁棒性问题。随着科学计算应用在Flink上的逐渐兴起，将FFT在Flink上进行并行和优化，不仅可以很好地利用框架自身良好的系统扩展性和鲁棒性，同时也能使其具备高吞吐的实时性能。基于Flink对FFT流处理算法流程进行了设计和优化，同时针对Flink对适用于FFT计算的缓存窗口机制进行了设计，实验结果表明，改进后FFT并行算法在多个大规模点数下计算速度均有所提高。
中圖分類號： TP311.1
文獻(xiàn)標(biāo)識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.08.009
引用格式： 鐘旭陽，徐云. 基于Flink流處理框架的FFT并行及優(yōu)化[J].信息技術(shù)與網(wǎng)絡(luò)安全，2021，40(8)：53-59.
FFT parallel algorithm and optimization based on Flink stream processing framework
Zhong Xuyang1，2，Xu Yun1，2
(1.School of Computer Science and Technology，University of Science and Technology of China，Hefei 230026，China； 2.Key Laboratory of High Performance Computing of Anhui Province，Hefei 230026，China)
Abstract： As one of the key calculation steps of radar signal processing, FFT is essentially a processing process based on data stream. In the past, most of the previous FFT calculations concentrated on the implementation of parallel calculations on a general-purpose computing platform, and the computing system has problems with scalability and robustness. With the increasing popularity of scientific computing applications on Flink, parallelizing and optimizing FFT on Flink can not only make good use of the framework′s own strong system scalability and robustness, but also enable it to have high-throughput real-time performance. Based on Flink, this paper designs and optimizes the FFT stream processing algorithm flow. At the same time, it designs a buffer window mechanism suitable for FFT calculation in Flink. The experimental results show that the improved FFT parallel algorithm has a better calculation speed at multiple large-scale points.
Key words : FFT parallel algorithm；radar signal processing；distributed stream processing；Apache Flink

0 引言

快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)是實(shí)現(xiàn)離散傅里葉變換及其逆變換的算法。FFT使用分而治之的主要思想，其主要目的是將一個復(fù)雜的大問題分解成多個簡單的小問題，然后分別解決這些小問題[1]。FFT在科學(xué)計(jì)算領(lǐng)域具有極其重要的地位[2]。利用FFT能夠在計(jì)算離散傅里葉變換時大大減少所需要的乘法次數(shù)，并且FFT點(diǎn)數(shù)規(guī)模越大，F(xiàn)FT算法所能夠節(jié)省的計(jì)算量就越顯著，因此FFT廣泛應(yīng)用于數(shù)據(jù)信號處理、地震預(yù)報(bào)、石油勘探等領(lǐng)域。

已有的FFT分布式計(jì)算方法大多基于MapReduce批處理系統(tǒng)[1，3-5]，其中FFT計(jì)算作為一個整體，在某一個轉(zhuǎn)換操作中直接計(jì)算來自上一個操作的整個輸出數(shù)據(jù)，忽視了FFT計(jì)算特性的同時，還需要等待較長時間才能延遲得到處理結(jié)果。目前并未有成熟的、基于流粒度的對FFT的流處理分布式算法并行優(yōu)化相關(guān)研究。且現(xiàn)如今Flink分布式流處理框架大都用于社交網(wǎng)絡(luò)等領(lǐng)域中簡單的數(shù)據(jù)項(xiàng)統(tǒng)計(jì)應(yīng)用，對于FFT此類耗時大、數(shù)據(jù)量大的科學(xué)計(jì)算問題并不適用，因此需要對Flink相關(guān)的機(jī)制進(jìn)行應(yīng)用和改造，使得其符合FFT計(jì)算的要求。



本文詳細(xì)內(nèi)容請下載：http://m.ihrv.cn/resource/share/2000003725





作者信息：

鐘旭陽1，2，徐  云1，2

(1.中國科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥230026；

2.安徽省高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室，安徽 合肥230026)


此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。

相關(guān)內(nèi)容