AI-deck 1.1 - Bitcraze

AI-deck ist für Forscher und Entwickler gedacht, die ihre eigenen eingebetteten Anwendungen für künstliche Intelligenz erstellen und erforschen möchten.

Es integriert einen GAP8-Prozessor und eine Graustufenkamera, um die notwendige Hardware für die Wahrnehmung und KI-Verarbeitung an Bord bereitzustellen. Die Plattform ist leicht und stromsparend und eignet sich daher ideal für die Entwicklung von Prototypen und Experimenten auf der Crazyflie 2.x-Drohne durch Anwender mit Erfahrung in der Entwicklung eingebetteter Systeme.

Der integrierte ESP32 bietet WiFi-Konnektivität und kann für kundenspezifische Kommunikations- oder Integrationsaufgaben programmiert werden. Funktionen wie KI-Workloads und Konnektivität sind so konzipiert, dass sie vom Benutzer entwickelt werden können, was die Plattform sehr anpassungsfähig für kundenspezifische Forschung und Prototyping macht.

Installationsanforderungen

Zur Konfiguration und Verwendung dieses Boards ist ein JTAG-kompatibler Programmer/Debugger zum Flashen, Debuggen und Wiederherstellen des Bootloaders erforderlich.
Wir empfehlen Ihnen, die Konfigurationsanweisungen sorgfältig zu lesen und sicherzustellen, dass Sie über das erforderliche Zubehör verfügen und mit der Entwicklung von Embedded-Systemen vertraut sind, bevor Sie das Board kaufen.

Wir empfehlen die Verwendung des Olimex ARM-USB-TINY-H.

Die AI-deck 1.1 Version hat nur kleinere Updates im Vergleich zu AI-deck 1.0.
Das Himax-Kameramodul ist jetzt in der Graustufen-Version, und das GAP8 wurde auf Revision C statt B aktualisiert.

Falls die Bayer-RGB-Kamera-Version gewünscht wird, kann diese separat erworben werden.

Merkmale

• GAP8: 8+1-Core RISC-V IoT-Prozessor mit extrem niedrigem Stromverbrauch
• Himax HM01B0: Graustufenkamera mit extrem niedrigem Stromverbrauch und einer Auflösung von 320×320
• Speicher: 512 Mbit HyperFlash und 64 Mbit HyperRAM
• ESP32 für WiFi-Konnektivität und andere Funktionen (NINA-W102)
• JTAG: 2 x 10-Pin Cortex-M für GAP8 und ESP32
• Taster verbunden mit ESP32 für UART Bootloader oder andere Aktionen
• Grüne LED verbunden mit GAP8 (A2)
• Grüne LED verbunden mit ESP32 (GPIO_24)
• Standalone-Betrieb möglich, Spannungsversorgung über VCOM
• Kann über oder unter dem Crazyflie 2.X montiert werden

Wie es funktioniert

Mit dem GAP8 IoT-Prozessor von GreenWaves Technologies und einer Kamera bietet dasAI-Deck die notwendige Hardware, um die Umgebung zu erfassen, zu analysieren und zu klassifizieren. Ursprünglich von der ETH Zürich als PULP-Shield PCB Design von IIS-ETHZ vorgestellt, ist dieses leichte, stromsparende Modul ideal für die Forschung und Entwicklung von eingebetteten KI-Anwendungen auf dem Crazyflie 2.x micro-dronet.

Das AI-Deck 1.1 erweitert die On-Board-Rechenkapazitäten und ermöglicht das Experimentieren mit kundenspezifischen künstlichen Intelligenz-Workloads, einschließlich der möglichen Implementierung einer autonomen Navigation. Der ESP32 bietet WiFi-Konnektivität und kann so programmiert werden, dass er benutzerdefinierte Kommunikationen verarbeiten kann.

Ein JTAG-kompatibler Programmer/Debugger ist für das anfängliche Flashen, Debuggen und die Wiederherstellung des Bootloaders erforderlich. Detaillierte Anweisungen finden Sie im Abschnitt über den GAP8-Bootloader in der Anleitung für den Einstieg und in der Dokumentation zum Flashen. Um die Plattform effektiv nutzen zu können, sollten Sie mit der Entwicklung von Embedded-Systemen vertraut sein.

AI-deck Version 1.1 hat nur geringfügige Aktualisierungen im Vergleich zu AI-deck 1.0. Das Himax-Kameramodul ist jetzt in der Graustufenversion und das GAP8 ist jetzt Revision C statt B. Die Bayer-RGB-Version der Kamera kann separat erworben werden.

Verwenden Sie

Das AI-Deck fügt dem Crazyflie eine WiFi-Konnektivität hinzu, die zur Kommunikation mit dem Crazyflie selbst und dem AI-Deck genutzt werden kann. Für die Kamera und das GAP8 gibt es keine voreingestellten Funktionen: Diese Ressourcen sind dem Benutzer überlassen, der sie nach Belieben nutzen kann.

Das AI-Deck kann entweder über oder unter dem Crazyflie 2.x montiert werden.

Die ESP32-Antenne des AI-Decks ist recht empfindlich und kann bei einem Absturz beschädigt werden. Für zusätzliche Stabilität empfehlen wir, das AI-Deck an der Unterseite zu montieren oder ein kleines Stück Heißkleber anzubringen, wie im Bild unten gezeigt.

Um das Deck in Betrieb zu nehmen, folgen Sie der Anleitung "Erste Schritte". Sobald die Konfiguration abgeschlossen ist, können Sie die vordefinierten Beispiele ausprobieren oder mit der Entwicklung Ihrer eigenen KI-basierten Anwendungen beginnen.

Entwicklung

Der Hauptzweck des AI-Decks besteht darin, Ihnen die Entwicklung Ihrer eigenen KI-basierten Anwendungen zu ermöglichen. Um loszulegen, müssen Sie das Tutorial Erste Schritte mit dem KI-Deck befolgen; danach können Sie die bereitgestellten Beispiele ausprobieren oder gleich mit der Entwicklung Ihrer eigenen Anwendung beginnen.

Obwohl es möglich ist, das GAP8 'over-the-air' zu flashen, ist es zwingend erforderlich, zuerst den Bootloader auf dem GAP8 mit einem JTAG-Adapter zu installieren. Bitte lesen Sie den Abschnitt über den GAP8-Bootloader im Getting Started Guide und in der Dokumentation zum Flashen.

Mit dem Crazyflie Packet eXchange (CPX) Protokoll können Sie zwischen dem Host-Computer, dem ESP32, dem GAP8 und dem Crazyflie STM32 kommunizieren. So können Sie ganz einfach Daten vom GAP8 über WiFi an den Host-Computer oder an den STM32 auf dem Crazyflie senden und vice versa. Das CPX-Protokoll wird auch für den Konsolendruck vom ESP32 und GAP8 verwendet, der an das Crazyflie gesendet und im Crazyflie-Client angezeigt wird.

Werkstatt

Werfen Sie einen Blick auf den Workshop auf der PULP-Plattform, der dem KI-Deck gewidmet ist! Bitte beachten Sie, dass einige Anleitungen aktualisiert wurden: Schauen Sie immer in den Getting Started Guide für die neuesten Verfahren.

Das Paket enthält: 1 x AI-deck 1.1 - Bitcraze
Im Einzelnen enthält das Paket:

• 1 x AI-Deck 1.1
• 2 x Lange Stiftleisten (15 mm - Kunststoff 4 mm - Stift 6 mm)