AI-deck 1.1 - Bitcraze

AI-deck è pensato per ricercatori e sviluppatori che vogliono creare ed esplorare le proprie applicazioni di intelligenza artificiale integrata.

Integra un processore GAP8 e una telecamera in scala di grigi per fornire l’hardware necessario alla percezione a bordo e all’elaborazione AI. La piattaforma è leggera e a basso consumo energetico, rendendola ideale per prototipazione ed esperimenti sul drone Crazyflie 2.x da parte di utenti con esperienza nello sviluppo di sistemi integrati.

L’ESP32 a bordo fornisce connettività WiFi e può essere programmato per compiti di comunicazione o integrazione personalizzati. Funzionalità come i carichi di lavoro AI e la connettività sono pensate per essere sviluppate dall’utente, rendendo la piattaforma altamente adattabile a ricerche e prototipi su misura.

Requisiti per l’installazione

Per configurare e utilizzare questa scheda è necessario un programmatore/debugger JTAG compatibile, indispensabile per il flashing, il debugging e il ripristino del bootloader.
Si raccomanda di leggere attentamente le istruzioni di configurazione e di assicurarsi di disporre degli accessori necessari e di avere familiarità con lo sviluppo di sistemi integrati prima dell’acquisto.

Consigliamo l’utilizzo dell’Olimex ARM-USB-TINY-H.

La versione AI-deck 1.1 presenta solo aggiornamenti minori rispetto alla AI-deck 1.0.
Il modulo fotocamera Himax è ora nella versione in scala di grigi, mentre il GAP8 è stato aggiornato alla revisione C invece della B.

Se si desidera la versione con fotocamera Bayer RGB, questa può essere acquistata separatamente.

Caratteristiche

• GAP8: processore RISC-V IoT ultra-low power a 8+1 core
• Himax HM01B0: fotocamera in scala di grigi ultra-low power, risoluzione 320×320
• Memoria: 512 Mbit HyperFlash e 64 Mbit HyperRAM
• ESP32 per connettività WiFi e altre funzioni (NINA-W102)
• JTAG: 2 x Cortex-M a 10 pin per GAP8 e ESP32
• Pulsante collegato a ESP32 per bootloader UART o altre azioni
• LED verde collegato a GAP8 (A2)
• LED verde collegato a ESP32 (GPIO_24)
• Funzionamento standalone possibile, alimentazione tramite VCOM
• Può essere montato sopra o sotto il Crazyflie 2.X

Come funziona

Grazie al processore IoT GAP8 di GreenWaves Technologies e a una fotocamera, l’AI-deck fornisce l’hardware essenziale per catturare, analizzare e classificare l’ambiente circostante. Presentato originariamente dall’ETH Zurich come design PCB PULP-Shield da IIS-ETHZ, questo modulo leggero e a basso consumo è ideale per la ricerca e lo sviluppo di applicazioni AI embedded sul micro-dronetto Crazyflie 2.x.

L’AI-deck 1.1 amplia le capacità di calcolo a bordo, permettendo sperimentazioni con carichi di lavoro di intelligenza artificiale personalizzati, inclusa la possibile implementazione di navigazione autonoma. L’ESP32 fornisce connettività WiFi e può essere programmato per gestire comunicazioni personalizzate.

Per il flashing iniziale, il debug e il ripristino del bootloader è richiesto un programmatore/debugger JTAG compatibile. Per istruzioni dettagliate, fare riferimento alla sezione bootloader GAP8 nella guida “getting-started” e alla documentazione sul flashing. Si raccomanda familiarità con lo sviluppo di sistemi embedded per un uso efficace della piattaforma.

La versione AI-deck 1.1 presenta solo aggiornamenti minori rispetto alla AI-deck 1.0. Il modulo fotocamera Himax è ora in versione scala di grigi e il GAP8 è ora revision C invece della B. La versione Bayer RGB della fotocamera può essere acquistata separatamente.

Utilizzo

AI-deck aggiunge connettività WiFi al Crazyflie, che può essere utilizzata per comunicare con il Crazyflie stesso e con l’AI-deck. Per quanto riguarda la fotocamera e il GAP8, non viene fornita alcuna funzionalità preimpostata: queste risorse sono lasciate completamente a disposizione dell’utente, che può sfruttarle come desidera.

L’AI-deck può essere montato sia sopra sia sotto il Crazyflie 2.x.

L’antenna ESP32 dell’AI-deck è piuttosto fragile e può danneggiarsi in caso di crash. Per una maggiore resistenza, si consiglia di montare l’AI-deck nella parte inferiore o di fissare un piccolo pezzo di colla a caldo, come mostrato nell’immagine sottostante.

Per iniziare a utilizzare il deck, segui la Guida introduttiva. Una volta completata la configurazione, potrai provare gli esempi predefiniti oppure iniziare a sviluppare le tue applicazioni basate su AI.

Sviluppo

Lo scopo principale dell’AI-deck è quello di permettere di sviluppare le proprie applicazioni basate su AI. Per iniziare, è necessario seguire il tutorial Getting started with the AI deck; successivamente potrai esplorare gli esempi forniti oppure iniziare subito a sviluppare la tua applicazione.

Sebbene sia possibile eseguire il flashing del GAP8 “over-the-air”, è obbligatorio prima installare il bootloader sul GAP8 utilizzando un adattatore JTAG. Consulta la sezione GAP8 bootloader nella guida introduttiva e nella documentazione sul flashing.

Utilizzando il protocollo Crazyflie Packet eXchange (CPX), potrai comunicare tra il computer host, l’ESP32, il GAP8 e lo STM32 del Crazyflie. Questo permette di inviare facilmente dati dal GAP8 al computer host tramite WiFi o allo STM32 sul Crazyflie, e viceversa. Il protocollo CPX è anche utilizzato per la stampa su console dall’ESP32 e dal GAP8, che verrà inviata al Crazyflie e visualizzata nel client Crazyflie.

Workshop

Dai un’occhiata al workshop sulla piattaforma PULP dedicato all’AI deck! Tieni presente che alcune istruzioni sono state aggiornate: per le procedure più recenti fai sempre riferimento alla guida introduttiva.

La confezione contiente: 1 x AI-deck 1.1 - Bitcraze
Nello specifico, il kit include:

• 1 x AI-deck 1.1
• 2 x Pin header lunghi (15 mm – plastica 4 mm – pin 6 mm)