多分支卷积神经网络的FPGA设计与优化
2021年电子技术应用第7期
谢思璞，魏榕山
福州大学 物理与信息工程学院，福建 福州350108
摘要： 针对拓宽神经网络的结构会导致计算量增大，计算性能降低，需要针对并行的网络进行更有效的优化以及调度。通过分析FPGA平台上实现卷积神经网络的计算吞吐量和所需的带宽，在计算资源和访存带宽的限制下，采用了屋顶模型进行了设计空间的探索，提出了在不同支的卷积神经网络中使用不同的循环展开因子，从而实现同一卷积层中不同支神经网络的并行计算，保证计算资源和内存资源的合理分配。实验结果表明，所提出的设计与先前研究相比获得了1.31×的性能提升。
中圖分類號： TN409
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.211279
中文引用格式： 謝思璞，魏榕山. 多分支卷積神經(jīng)網(wǎng)絡的FPGA設計與優(yōu)化[J].電子技術應用，2021，47(7)：97-101.
英文引用格式： Xie Sipu，Wei Rongshan. FPGA design and optimization of multi-branch CNN[J]. Application of Electronic Technique，2021，47(7)：97-101.
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.211279
中文引用格式： 謝思璞，魏榕山. 多分支卷積神經(jīng)網(wǎng)絡的FPGA設計與優(yōu)化[J].電子技術應用，2021，47(7)：97-101.
英文引用格式： Xie Sipu，Wei Rongshan. FPGA design and optimization of multi-branch CNN[J]. Application of Electronic Technique，2021，47(7)：97-101.
FPGA design and optimization of multi-branch CNN
Xie Sipu，Wei Rongshan
School of Physics and Information Engineering，Fuzhou University，Fuzhou 350108，China
Abstract： Broadening the structure of the neural network will lead to the increase of the amount of computation and the decrease of the computational performance, it is necessary to optimize and schedule the parallel network more effectively. By analyzing the throughput and bandwidth of convolutional neural network on FPGA platform, the roof model is used to explore the design space under the limitation of computing resources and memory access bandwidth. It is proposed to use different cycle expansion factors in different branches of convolutional neural network, so as to realize the parallel computing of different branches of neural network in the same convolution layer and ensure the computing efficiency reasonable allocation of resources and memory resources. The experimental results show that the performance of the proposed design is improved by 1.31×compared with the previous research.
Key words : multi-branch convolutional neural network；FPGA；roofline model；parallel computing
0 引言
近年來，神經(jīng)網(wǎng)絡受到了廣泛熱議，成為了學術界和工業(yè)界的熱門議題，Google、Microsoft和Facebook等科技公司都建立了相關的研究小組，以探索CNN的新架構[1-3]。通過對CNN架構上的創(chuàng)新改善CNN性能，利用空間和通道信息，結構的深度和寬度以及多路徑信息處理等方法引起了廣泛的討論。
在眾多新型CNN架構中，基于寬度擴展的多支并行的CNN得到了國內(nèi)外學術屆的重視。KAWAGUCHI K等人提出網(wǎng)絡的寬度是影響網(wǎng)絡精度與準確度的一個重要指標[4]。通過在層中并行使用多個處理單元，可以得到比感知器更為復雜的映射。GoogLeNet中的Inception模塊是一種典型的多支網(wǎng)絡架構，并使用了不同尺寸的卷積核[5]。2017年，DEL COCO M等人[6]利用多分支結構引入了并行的多尺度分析，減小了神經(jīng)網(wǎng)絡的深度，克服了過擬合問題。拓寬網(wǎng)絡寬度的多支并行卷積神經(jīng)網(wǎng)絡在圖像分割以及識別等任務中，提高了網(wǎng)絡在不同尺度上的特征提取能力,受到了國內(nèi)外研究機構的重視[7-9]。
本文詳細內(nèi)容請下載：http://m.ihrv.cn/resource/share/2000003664。
作者信息：
謝思璞，魏榕山
(福州大學 物理與信息工程學院，福建 福州350108)
此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權禁止轉載。