AI-deck 1.1 - Bitcraze

AI-deck est conçu pour les chercheurs et les développeurs qui souhaitent créer et explorer leurs propres applications d'intelligence artificielle embarquées.

Il intègre un processeur GAP8 et une caméra à échelle de gris pour fournir le matériel nécessaire à la perception embarquée et au traitement de l'intelligence artificielle. La plateforme est légère et de faible puissance, ce qui la rend idéale pour le prototypage et les expériences sur le drone Crazyflie 2.x par des utilisateurs ayant de l'expérience dans le développement de systèmes embarqués.

L'ESP32 embarqué fournit une connectivité WiFi et peut être programmé pour des tâches de communication ou d'intégration personnalisées. Les fonctionnalités telles que les charges de travail d'IA et la connectivité sont conçues pour être développées par l'utilisateur, ce qui rend la plateforme très adaptable à la recherche personnalisée et au prototypage.

Conditions d'installation

Pour configurer et utiliser cette carte, un programmateur/débogueur compatible JTAG est nécessaire pour le flashage, le débogage et la récupération du chargeur de démarrage.
Nous vous recommandons de lire attentivement les instructions de configuration et de vous assurer que vous disposez des accessoires nécessaires et que vous êtes familiarisé avec le développement de systèmes embarqués avant de procéder à l'achat.

Nous recommandons l'utilisation du programmateur Olimex ARM-USB-TINY-H.

La version AI-deck 1.1 ne comporte que des mises à jour mineures par rapport à AI-deck 1.0.
Le module de caméra Himax est maintenant dans la version niveaux de gris, et le GAP8 a été mis à jour à la révision C au lieu de B.

Si la version de la caméra Bayer RGB est souhaitée, elle peut être achetée séparément.

Caractéristiques

• GAP8 : processeur RISC-V IoT 8+1 cœurs à très faible consommation d'énergie
• Himax HM01B0 : caméra à échelle de gris à très faible consommation, résolution 320×320
• Mémoire : HyperFlash 512 Mbit et HyperRAM 64 Mbit
• ESP32 pour la connectivité WiFi et d'autres fonctions (NINA-W102)
• JTAG : 2 x Cortex-M 10 broches pour GAP8 et ESP32
• Bouton connecté à l'ESP32 pour le bootloader UART ou d'autres actions
• DEL verte connectée au GAP8 (A2)
• LED verte connectée à l'ESP32 (GPIO_24)
• Fonctionnement autonome possible, alimentation via VCOM
• Peut être monté au-dessus ou en dessous de la Crazyflie 2.X

Fonctionnement

Utilisant le processeur GAP8 IoT de GreenWaves Technologies et une caméra, l'AI-deck fournit le matériel essentiel pour capturer, analyser et classer le milieu environnant. Présenté à l'origine par l'ETH Zurich comme une conception de PCB PULP-Shield par IIS-ETHZ, ce module léger et à faible consommation est idéal pour la recherche et le développement d'applications d'IA intégrées sur le micro-dronet Crazyflie 2.x.

L'AI-deck 1.1 étend les capacités de calcul embarquées, permettant d'expérimenter des charges de travail d'intelligence artificielle personnalisées, y compris la mise en œuvre éventuelle d'une navigation autonome. L'ESP32 offre une connectivité WiFi et peut être programmé pour gérer des communications personnalisées.

Un programmateur/débogueur compatible JTAG est nécessaire pour le flashage initial, le débogage et la récupération du chargeur de démarrage. Pour des instructions détaillées, veuillez vous référer à la section sur le chargeur de démarrage GAP8 dans le guide de démarrage et la documentation sur le flashage. Il est recommandé d'être familier avec le développement de systèmes embarqués pour une utilisation efficace de la plateforme.

La version 1.1 de l'AI-deck ne comporte que des mises à jour mineures par rapport à l'AI-deck 1.0. Le module caméra Himax est maintenant en version niveaux de gris et le GAP8 est maintenant en révision C au lieu de B. La version Bayer RGB de la caméra peut être achetée séparément.

Utilisation

AI-deck ajoute une connectivité WiFi à la Crazyflie, qui peut être utilisée pour communiquer avec la Crazyflie elle-même et l'AI-deck. En ce qui concerne la caméra et le GAP8, aucune fonctionnalité prédéfinie n'est fournie : ces ressources sont laissées à l'entière discrétion de l'utilisateur, qui peut les exploiter à sa guise.

L'AI-deck peut être monté au-dessus ou au-dessous de la Crazyflie 2.x.

L'antenne ESP32 de l'AI-deck est assez fragile et peut être endommagée en cas de crash. Pour plus de solidité, nous recommandons de monter l'AI-deck en bas ou de le fixer avec un petit morceau de colle chaude, comme le montre l'image ci-dessous.

Pour commencer à utiliser la plate-forme, suivez le guide de démarrage. Une fois la configuration terminée, vous pouvez essayer les exemples prédéfinis ou commencer à développer vos propres applications basées sur l'IA.

Développement

L'objectif principal de l'AI-deck est de vous permettre de développer vos propres applications basées sur l'IA. Pour commencer, vous devez suivre le tutoriel "Getting started with the AI deck" ; ensuite, vous pouvez explorer les exemples fournis ou commencer à développer votre propre application immédiatement.

Bien qu'il soit possible de flasher le GAP8 "over-the-air", il est obligatoire d'installer d'abord le bootloader sur le GAP8 à l'aide d'un adaptateur JTAG. Veuillez vous référer à la section sur le bootloader du GAP8 dans le guide de démarrage et la documentation sur le flashage.

En utilisant le protocole Crazyflie Packet eXchange (CPX), vous pouvez communiquer entre l'ordinateur hôte, l'ESP32, la GAP8 et le Crazyflie STM32. Cela vous permet d'envoyer facilement des données de la GAP8 à l'ordinateur hôte via WiFi ou au STM32 sur la Crazyflie, et vice versa. Le protocole CPX est également utilisé pour l'impression de la console à partir de l'ESP32 et de la GAP8, qui sera envoyée à la Crazyflie et affichée dans le client Crazyflie.

L'atelier

Jetez un coup d'oeil à l'atelier sur la plateforme PULP dédié à l'AI deck ! Veuillez noter que certaines instructions ont été mises à jour : reportez-vous toujours au guide de démarrage pour connaître les dernières procédures.

Le kit contient : 1 x AI-deck 1.1 - Bitcraze
Plus précisément, le kit comprend

• 1 x AI-deck 1.1
• 2 x Long pin headers (15 mm - plastic 4 mm - pin 6 mm)