Elaborato Carrucciu

Energy metrics for CMOS implementations of Spiking Neural Networks

Relatore: Prof. Luca Selmi

Candidato: Pietro Carrucciu

Indice:

1. Introduzione e obiettivi
2. Neuromorphic Hardware e Spiking Neural Networks
3. I due neuroni artificiali considerati in questo elaborato
4. Risultati ottenuti
5. Conclusioni

0/19

1. Introduzione:

Deep Learning

1/19

1. Introduzione:

dati

molti

computazione

molta

Deep Learning

1/19

1. Introduzione:

bottleneck

Von Neumann

energia

molta

molta

computazione

Deep Learning

molti

dati

1/19

1. Introduzione:

Il cervello umano è già in grado di svolgere compiti caratteristici del Deep Learning consumando solo 20 Watt. Emulandolo, l'hardware neuromorfico vuole chiudere il distacco in efficienza energetica, sfruttando la plausibilità biologica delle Spiking Neural Networks. Il termine neuromorfico incapsula molte implementazioni e tecnologie diverse. A causa di questa grande diversità, non c'è chiarezza su quali approcci siano quelli vincenti.

2/19

1. Obiettivi:

Questo elaborato seleziona e utilizza una metrica di comparazione comune tra dispositivi neuromorfici analogici e digitali. Vengono analizzati due modelli basati su una tecnologia CMOS 28nm, rispettivamente: (1) un neurone artificiale analogico con ottima performance energetica; (2) un processore neuromorfico completamente digitale. Successivamente, questa metrica viene messa in contrasto con il modello sviluppato da Nikonov e Young, un benchmark riconosciuto nel campo di studi.

3/19

2. Neuromorphic Hardware:

ha 10¹¹ neuroni e 10¹⁴ sinapsiopera fino a 200 Hzprecisione di uno in 100consuma 20 Welevato parallelismolascamente asincronosegnali di tipo misto

̄Il cervello umano:¹

Un personal computer:

ha ~13×10⁹ transistoropera sull'ordine di 10⁹ Hzprecisione di uno in 2³² consuma tra i 55 e i 150 Wsequenzialesincronocompletamente digitale

[D. Patterson, J. Hennessy, 2022]

[Liqun Luo, 2019]

4/19

1: come interpretato ad oggi dalla disciplina delle Neuroscienze;

2. Neuromorphic Hardware:

I neuroni artificiali

input spikes

output spikes

threshold

membrane potential

Le implementazioni neuromorfiche prendono spunto dai neuroni ad impulsi elettrici. Le loro caratteristiche rilevanti sono le seguenti:

• potenziale di membrana;
• potenziale di soglia;
• potenziale d'attivazione;
• regole di apprendimento;

5/19

2. Neuromorphic Hardware:

Hodgkin-Huxley

Izhikevich

Leaky Integrate&Fire

[Eugene M. Izhikevich, 2003]

A. L. Hodgkin and A. F. Huxley, 1952]

Modello probabilistico. I canali ionici guidano l'action potential:

Modello più semplice: prevede integrazione e leaking.

Emulazione sofisticata di 20 diversi comportamenti neuronali.

Membrane Potential - V (mV)

threshold

t (ms)

t (ms)

resting state

t (ms)

Membrane Potential - V (mV)

IntrisicallyBursting

threshold

t (ms)

Membrane Potential - V (mV)

leak

integrazione

Chattering(CH)

6/19

2. Neuromorphic Hardware:

Leaky Integrate&Fire

Modello più semplice: prevede integrazione e leaking.

È l'approccio più comune:semplice ma efficace.

threshold

t (ms)

Membrane Potential - V (mV)

leak

integrazione

6/19

2. Spiking Neural Networks:

[Wolfgang Maass, 1997]

activation function

ANNs: Informazioni codificate nell'intensità. L'apprendimento avviene attraverso backpropagation.

7/19

2. Spiking Neural Networks:

[Wolfgang Maass, 1997]

activation function

ANNs: Informazioni codificate nell'intensità. L'apprendimento avviene attraverso backpropagation.

SNNs: Integrazione e soglia. Frequency e time encoding. Apprendimento più sofisticato: STDP-SFDP.

sinapsi

neurone

threshold

7/19

2. Spiking Neural Networks:

Caratteristiche:

Accuratezza peggiore

Apprendimento complesso

Event-driven

Implica efficienza energetica. Efficace in applicazioni time-related. Alto throughput di impulsi non è correlato ad efficacia.

Spike Timing-Dependent Plasticity. Reti robuste al rumore. Unsupervised learning più efficace.

Obiettivo del campo di studi: chiudere il distacco in termini di precisione. Esistono tecniche per ottenere risultati analoghi a reti neurali non-spiking.

8/19

3. Neurone analogico di Besrour et al.:

[M. Besrour et al., 2022]

Implementazione di un neurone Leaky Integrate and Fire con processo CMOS 28nm.

Efficienza energetica: Solamente 1.61 fJ per spike per un valore di corrente sinaptica uguale a 1500 pA, 0.25 V.

Alta variabilità: Regime di sottosoglia: la corrente di drain ha variabilità oltre due ordini di grandezza.

9/19

3. Microprocessore neuromorfico:

[M. Senapati et al., 2022]

THOR: Implementazione di un microprocessore neuromorfico completamente digitale, basato su processo CMOS 28nm FDSOI.

• 256 neuroni digitali LIF e 256² sinapsi;
• regola Spike-Driven Synaptic Plasticity;
• AER bus per applicazioni large-scale;
• parallelismo a livello di neuroni (32);

9/19

3. Microprocessore neuromorfico:

[M. Senapati et al., 2022]

Metrica energetica principale: 1.40 pJ per Synaptic Operation (SOP). La pubblicazione non prevede nessuna metrica legata al singolo impulso (spike).

Impatto energetico di diversi componenti per una Synaptic Operation. [M. Senapati et al., 2022]

10/19

4. Definizione di una metrica condivisa:

Una SOP è l'attivazione di una connessione sinaptica. Che operazioni implica? Per poter comparare una SOP ad una spike, definiamo le seguenti operazioni:

Synapse

Neuron

Neuron

Post-synaptic operation: include tutte le operazioni relative alla generazione di una spike in un neurone.

Pre-synaptic operation:include tutte le operazioni svolte da un neurone all'arrivo di una spike.

11/19

4. Definizione di una metrica condivisa:

Come comparare metriche diverse, tra neuroni con segnali completamente diversi? In questo elaborato si esegue :

• un'analisi circuitale del primo neurone -> 1.61 fJ per spike;

• un benchmark top-down dell'architettura digitale THOR, con ricostruzione a posteriori della metrica energy-per-spike;

• una comparazione con il modello di Nikonov e Young;

12/19

4. Definizione di una metrica condivisa:

Il benchmark si concentra su queste operazioni. La metrica viene ottenuta come:

Neuron Logic

(worst case)

(best case)

2 Neuron Memory writesupdate e reset membrana

2 Neuron Memory accessattività di soglia

13/19

4. Risultati ottenuti:

14/19

4. Risultati ottenuti:

La stima energetica per-spike presentata da Nikonov e Young, invece, si basa sulle caratteristiche quali rete implementata, tipo di neurone, risoluzione delle sinapsi...

Il risultato è di 969 fJ/spike, un valore che rientra nella campana 0.42 - 2.45 pJ. Attesta la solidità del modello Intel, e la correttezza dell'analisi svolta.

15/19

5. Conclusioni

Non c'è un chiaro "vincitore" di questo benchmark. Anzi, nonostante sfruttino la stessa tecnologia, non è facile trovare terreno di confronto. Sembra che il neurone artificiale analogico di Besrour et al. sia il più efficiente, ma... L'implementazione digitale di Senapati et al. offre molte più funzionalità (SDSP rule, unsupervised learning, scalability, parallelism...).

16/19

5. Conclusioni

Frequency

Area

Supply voltage

Besrour: 34 µm² Senapati: 206 µm² -> differenza di 7x Le SCM occupano metà dell'area.

Besrour: 0.25 V Senapati: 0.9 V -> differenza di 3.6x Regime di sottosoglia complica scaling.Scaling non migliora i risultati, 50x in E/spike. Vacuum testing.

Besrour: 300 KHz Senapati: 400 MHz -> differenza di 1000x Frequency scaling is unreasonable. (mutually exclusive)

17/19

5. Conclusioni

Proprio perchè questo campo è in via di sviluppo, serve uno sforzo comune per definire un set di benchmark standard, per valutare scalabilità, efficienza, accuratezza, resilienza... Soprattutto, i benchmark devono essere generali dal punto di vista tecnologico, ma valutare i task adatti alle SNNs, ad esempio sfruttando il temporal encoding. Bisogna procedere seguendo le regole del System-Technology Co-Optimization.

18/19

5. Conclusioni

[2019, Blouw et al.]

[2014, Menon et al.]

19/19