Login for students

Login for employees

Publication detail

Design of a Low Power and Area Efficient Bfloat16 based Generalized Systolic Array for DNN Applications
Authors: Tiwari Ankita | Mishra Saras Mani | Guha Prithwijit | Pidanič Jan | Němec Zdeněk | Trivedi Gaurav
Year: 2022
Type of publication: článek ve sborníku
Name of source: 2022 32ND INTERNATIONAL CONFERENCE RADIOELEKTRONIKA (RADIOELEKTRONIKA)
Publisher name: IEEE
Place: NEW YORK
Page from-to: 44-48
Titles:
Language Name Abstract Keywords
cze Návrh zobecněného systolického pole na bázi Bfloat16 s nízkou spotřebou energie a efektivní plochou pro aplikace DNN V současné době roste poptávka po mobilních platformách s umělou inteligencí (AI). Od zdravotnických služeb až po obranu a od vzdálených až po městské oblasti existuje obrovská poptávka po zabezpečených a energeticky účinných zařízeních. Výkon těchto platforem lze zvýšit poskytnutím efektivního výpočetního jádra. Tyto výpočetní motory provádějí obrovské množství maticových operací. Nejoblíbenější volbou pro velké maticové výpočty je systolické pole. Obecně platí, že výkonnost systolického pole se pro velké vstupní matice zhoršuje v důsledku kompromisu mezi využitím prostředků a zpožděním výpočtu. K řešení tohoto problému potřebujeme systolické pole s řídicí jednotkou, která by změnila konfiguraci pole podle požadavku výpočtu. Výpočetní pole lze dále vylepšit zpracováním záporných vah a omezit operace MAC. V tomto článku jsme navrhli zobecněné systolické pole založené na bfloat16 , ve kterém se před výpočtem předpovídá znaménko částečného součtu (PS). Znaménko PS pomáhá při ořezávání sítě, což zvyšuje výkonnost systému. Navržený systém je implementován na desce Virtex-7 FPGA a ve srovnání se systolickým polem založeným na jedné přesnosti má výkon 2,21 podobný a 4,19x lepší z hlediska plochy a výkonu. Systolický; číselný systém s plovoucí desetinnou čárkou; Bfloat16; DNN
eng Design of a Low Power and Area Efficient Bfloat16 based Generalized Systolic Array for DNN Applications Nowadays demand for artificial intelligence (AI) enabled mobile platforms is increasing. From healthcare services to defense and from remote to urban area, there is a huge demand of secured and power efficient devices. The performance of these platforms can be enhanced by providing an efficient compute engine. These compute engines perform a huge amount of matrix operations. The most popular choice for large matrix computation is a systolic array. In general, the systolic array performance degrades for the large input matrices, due to the trade off between resource utilization and computation delay. To address this issue, we need a systolic array with a control unit to re-configure the array according to the requirement of the computation. Computation array can be further improved by handling the negative weights and reduce the MAC operations. In this paper, we proposed a generalized bfloat16 based systolic array in which the sign of the partial sum (PS) is predicted before computation. The PS sign aids in network pruning which enhances system performance. The proposed system is implemented on a Virtex-7 FPGA board and it performs 2.21 similar to and 4.19x better in terms of area and power compared to single-precision based systolic array. Systolic; Floating-point number system; Bfloat16; DNN

Department

Map

en.mapy.cz

Services

Popular Links

© 2023 University of Pardubice, Studentská 95, 532 10 Pardubice 2
Phone: +420 466 036 111, 466 036 112, 466 036 113
Webmaster, RSS
Data box ID: f5vj9hu
Accessibility Statement
CC BY-NC-ND 4.0