Autonom fahrendes Raspberry Pi KI Roboter-Auto – IMU Sensor 9-DOF absolute Orientation

Ich habe auf meinem Donkey Car einen IMU Sensor 9 DOF absolute Orientation verbaut. Die Idee die ich damit verfolge ist, das Neuronale Netz mit den gemessenen Beschleunigungswerten zu trainieren anstatt mit den Werten des PS4 Kontrollers. So sollte es dem Neuronalen Netz möglich sein z. B. einen Berg hoch zu fahren oder auf einen sich leerenden Akku entsprechend durch die Befehle der Motorsteuerung an den Motor zu reagieren. Ob das auch so ist und überhaupt funktioniert werden die noch ausstehenden Tests zeigen. Generell sollte es aber nicht schaden mehr Daten über das Fahrzeug, sein Fahrverhalten und weiteren Eigenschaften zu sammeln als auf diese zu verzichten.

Dexter Industries BNO055 Sensor

Welchen Sensor ich verbaut habe und wie ich diesen generell unter Raspbian in betrieb genommen habe erkläre ich im folgenden Post hier auf meinem Blog: Dexter Industries IMU Sensor 9-DOF Absolute Orientation BNO055

Inhaltsverzeichnis

BNO055 Donkey Car Part

Damit das Donkey Car Framework den BNO055 Sensor verwenden kann muss ein extra Part dafür geschrieben werden. Dieses Part habe ich in Python geschrieben und online gestellt. Das Part ermöglicht es alle Daten die der Sensor ausgibt in die JSON Datei pro aufgezeichnetem Bild zu schreiben.

Das Part steht auf GitHub in seiner noch frühen Version online zur Verfügung:

URL: donkeypart_bno055

Einbinden des Donkey Car Parts BNO055

Das Einbinden des Parts ist eigentlich recht einfach.

In der manage.py Datei muss die folgende Zeile hinzugefügt werden. Diese lädt das neue Part bno055 wenn das Framework gestartet wird.

from donkeycar.parts.imubno055 import bno055

Nach dem das Part eingebunden ist muss noch festgelegt werden welche Sensorwerte gespeichert werden sollen. Dazu habe ich die folgenden Zeilen nach der “V.add(cam, out….)” Zeile und vor der “if use_joystick or…” eingefügt.

V.add(cam, outputs=['cam/image_array'], threaded=True)

# Ingmar Stapel 20190311
imu = bno055()
V.add(imu, outputs=['imu/acl_x', 'imu/acl_y', 'imu/acl_z', 'imu/acg_x', 'imu/acg_y', 
'imu/acg_z', 'imu/gyr_x', 'imu/gyr_y', 'imu/gyr_z', 'imu/temp', 'imu/cali_sys', 
'imu/cali_gyro', 'imu/cali_accel', 'imu/cali_mag'], threaded=True)  

if use_joystick or cfg.USE_JOYSTICK_AS_DEFAULT:

Jetzt ist bekannt welche Werte gespeichert werden sollen. Damit diese auch in der JSON Datei landen und von den weiteren Programmen die die Dateien verarbeiten auch verstanden werden muss die Meta-Beschreibung der JSON Datei angepasst bzw. ergänzt werden. Dazu habe ich die folgende Änderung vorgenommen. Die bestehende Definition von inputs und types habe ich einfach auskommentiert und meine neue Definition ergänzt.

# add tub to save data
#inputs = ['cam/image_array', 'user/angle', 'user/throttle', 'user/mode', 'timestamp']
#types = ['image_array', 'float', 'float',  'str', 'str']

#Ingmar Stapel 20190311 add tub to save data
inputs = ['cam/image_array', 'user/angle', 'user/throttle', 'user/mode', 'timestamp',
          'imu/acl_x', 'imu/acl_y', 'imu/acl_z', 'imu/acg_x', 'imu/acg_y', 'imu/acg_z', 
          'imu/gyr_x', 'imu/gyr_y', 'imu/gyr_z', 'imu/temp', 'imu/cali_sys', 'imu/cali_gyro', 
          'imu/cali_accel', 'imu/cali_mag']
types = ['image_array', 'float', 'float',  'str', 'str', 'float', 'float', 'float', 'float', 
         'float', 'float', 'float', 'float', 'float', 'float', 'int', 'int', 'int', 'int']

Ab jetzt steht das neue Part zur Verfügung und die von dem BNO055 Sensor gemessenen Werte werden in der JSON Datei für jedes Bild gespeichert.

Zusammenfassung

Mit dieser Ergänzung ist es jetzt möglich die IMU Werte bzw. die Beschleunigungswerte zu erfassen und zu speichern. In einem ersten Test sahen die Werte ganz gut aus. Unsicher bin ich mir noch ob der BNO055 Sensor kalibriert werden muss oder ob die automatische Kalibrierung die grundsätzlich aktiv ist ausreichend ist. Dann muss noch weiter abgeklärt werden ob das Neuronale Netz jetzt das Donkey Car besser anhand der IMU Werte steuern kann wenn auf die Lenk- und Beschleunigungswerte des PS4 Kontrollers verzichtet wird.