PoC-Gerät für Videoaufzeichnung mit großem Aufnahmebereich

Zusammenfügen von zwei Kameraaufnahmen in Echtzeit

Lösung System zur Videoverarbeitung in Echtzeit
Branche Automotive, Verbraucherelektronik
KOOPERATIONSMODELL

T&M

Methode Agile
Team
  • Firmware-Entwickler
  • Hardware Engineer
1
2
3
4
5
6

Kunde

Case-Highlights

Softeq entwickelte eine Proof-of-Concept-Lösung für das Video-Stitching in Echtzeit

  • NXP-basierte Lösung
  • Videoverarbeitung in Echtzeit mit synchroner Belichtung, Weißabgleichskorrektur, Stitching und Squeezing-Algorithmen
  • Abdeckung eines Sichtfelds von 200+ Grad
  • Wi-Fi- und LTE-Konnektivität

Problem

Der Kunde wandte sich an Softeq, um eine PoC-Lösung zu entwickeln, die Video-Stitching in Echtzeit ermöglicht. Er wollte eine intelligente Fahrerassistenzlösung erstellen – ein Dashcam-ähnliches Gerät, das an der Windschutzscheibe installiert wird. Die Lösung sollte Unfälle erkennen, den Zustand des Fahrers überprüfen und bei Bedarf Notdienste rufen.

Außerdem sollte die Lösung HD-Videos für Kfz-Versicherungsansprüche aufzeichnen und auf der SD-Karte des Geräts speichern. Bei einem Unfall sollte das System die Videodateien automatisch an die Cloud senden.

Lösung

Video-Stitching in Echtzeit

Softeq entwickelte eine PoC-Lösung, die zwei Videosequenzen zu einem Panoramavideo zusammenfügt. Aufgrund der offensichtlichen Unterschiede in der Objektposition, bedingt durch unterschiedliche Kamerawinkel, war das einfache Zusammenfügen der Videos ohne zusätzliche Verarbeitung nicht ausreichend, um ein nahtloses Video zu erstellen. Aus diesem Grund entwickelten wir ein Linux-Board-Support-Paket, das die notwendigen Videokorrekturen in Echtzeit ermöglicht. Die Lösung basiert auf dem NXP-Prozessor und unterstützt Wi-Fi- und LTE-Konnektivität zum Senden von Daten an die AWS-Cloud.

Wie funktioniert diese Lösung?

1. Wendet synchrone Belichtungs- und Weißabgleichskorrekturen auf Videomaterial von beiden Kameras an

2. Projiziert die Videos auf eine 3D-Kugel

3. Fügt die Aufnahmen mit einem Algorithmus für glattes Stitching zusammen

4. Überträgt das zusammengefügte Video auf eine zweidimensionale Ebene

5. Entfernt den Fisheye-Effekt mithilfe der Algorithmen zum Dehnen und Komprimieren

Ergebnis

Videoaufzeichnung mit großem Aufnahmebereich und Echtzeitverarbeitung

Softeq entwickelte eine PoC-Lösung, die Panoramavideos aus Aufnahmen von zwei Kameras in Echtzeit erstellt. Die Lösung deckt ein Sichtfeld von mehr als 200 Grad ab. 

Derzeit arbeiten wir an einer MVP-Version der Fahrerassistenzlösung, die auch Alexa unterstützen wird. Als Nächstes werden wir eine Geofencing-Funktion entwickeln, die den Fahrer benachrichtigt, wenn er in einen unsicheren Bereich einfährt.

Unsere Lösung könnte für weitere Analysen benötigte Daten liefern, falls der Kunde sich für die Entwicklung eines ADAS-Systems entscheidet, das Fahrern hilft, Zusammenstöße im Straßenverkehr zu vermeiden.