<img height="1" width="1" style="display:none" src="https://www.facebook.com/tr?id=504731893395981&amp;ev=PageView&amp;noscript=1">

Web-App zum Bild-/Video-Labeling für die Automobilindustrie

Machine-Learning-fähig, unterstützt Remote-Zugriff mit Hilfe von Cloud-Storage

  • PHP
  • Angular
  • Azure Cloud
  • Computer Vision
  • Machine Learning
LÖSUNG Web-App für äußerst genaues Objekt-Labeling
BRANCHE Automotive
KOOPERATIONSMODELL Festpreis
METHODE Waterfall 
Team
  • Business Analyst
  • Machine-Learning-Team
  • Team für Web Development
  • QA-Team
1
2
3
4
5
6

Kunde

Problem

Die Softwarelösungen des Kunden für die Automobilindustrie dienen der Erstellung von Deep-Learning-Bilddatensätzen und des Trainings von intelligenten visuellen Sensorsystemen für die Erkennung von Fußgängern/Fahrzeugen, Verkehrszeichen/Lichtquellen, Personen usw. Jeder Datensatz besteht aus Bildern (Videobildern) verschiedener Straßenobjekte, die in Kategorien zusammengefasst und mit dem Namen des Objekts sowie einigen zusätzlichen Parametern gekennzeichnet sind.

Zum Erstellen eines Datensatzes nutzt der Kunde ein Ecosystem aus sechs Softwareprodukten. Basierend auf künstlicher Intelligenz und Machine Learning wenden sie Algorithmen an, um die Videos zu verarbeiten und die richtigen Objekte zu kennzeichnen. Wenn die automatisierten Methoden kein relevantes Erkennungsniveau bieten können, beschriften die Labelingteams des Kunden die Objekte manuell.

Bei der manuellen Beschriftung verarbeiten Outsourcing-Labelers auf der ganzen Welt riesige Mengen an Mediendaten (Bilder/Videos) aus der Ferne. Die Daten werden auf lokalen Servern des Kunden in Deutschland gespeichert. Das verlangsamt die Kommunikation zwischen Client und Server, was regelmäßig zu Verzögerungen führt und das ganze System weniger effizient macht.

Das Ziel des Dienstleisters während der ersten Phase ist es, die Lösung von den Servern am Standort des Kunden in Berlin in die Cloud zu migrieren und die Systemarchitektur neu zu gestalten. So können die Labelingteams auf das System über den Cloud-Server zugreifen und die Mediendaten produktiver verarbeiten.

Softeq wurde wegen seiner Fullstack-Entwicklungsexpertise und ungewöhnlichen Kombination aus Fähigkeiten (Erfahrung mit Machine Learning/Computer Vision, Digital Imaging und Entwicklung von Webanwendungen) als wichtigster Dienstleister gewählt.

Lösung

Bei der Lösung handelt es sich um eine unabhängige Webanwendung, die aus zwei Modulen besteht - Admin Panel und Workspace. Abhängig von der Rolle des Benutzers im Projekt kann er spezifische Handlungen ausführen. Es gibt fünf Benutzerrollen — Superadmin, Coordinator, Observer, Labeling Manager und Labeler. Sie teilen sich die wichtigsten funktionalen Verantwortungen.

Ein Labeler kann:

  • Objekte mit Masken in geometrischen Formen (Dreieck, Kreis, Rechteck, Trapez usw.) beschriften
  • Objekte markieren
  • Objekte in relevante Kategorien zusammenfassen

Superadmin ist zu Folgendem berechtigt:

  • Organisationen, Benutzer und Labelinggruppen verwalten
  • Videos hochladen
  • Projektrollen usw. zuweisen

Der Coordinator ist für das Projekt- und Aufgabenmanagement verantwortlich.

Observer und Labeling Manager steuern die Leistung von Labelern und die Projektqualität.

Ein Labeler erhält spezifische Anleitungen im .xml-Format. Darin sind Informationen zu den Objekten enthalten, die gekennzeichnet werden müssen (Fahrzeuge, Fußgänger, Straßenmarkierungen, Verkehrszeichen usw.). Die Dateien werden in einem Remote-Medienspeicher aufbewahrt. Der Labeler beschriftet diejenigen Objekte manuell, die noch nicht mit Hilfe der Machine-Learning-Algorithmen identifiziert wurden.

Im Moment unterstützt die App nur Videos mit geringer Farbtiefe. Das bedeutet, dass die importierten Videodateien vor dem Labeling erst verarbeitet werden müssen. Um die Videobilder auf das manuelle Labeling vorzubereiten, nutzt die Lösung neurale, auf Netzwerken basierende Bildvorverarbeitungs-Algorithmen mit Faltungsalgorithmen.

Herausforderung

Das System und seine Medienspeicher befanden sich ursprünglich auf lokalen Servern in Berlin, der Großteil der Labeler arbeitete hingegen an entfernten Standorten. Dies führte zu regelmäßigen Verbindungsproblemen und Verzögerungen in der Serverreaktion. Um die Systembeständigkeit und die Reaktionszeit des Servers zu verbessern, migriert das Softeq-Team die Anwendung und ihre Medienspeicher in die Azure Cloud.

Um die Lösung skalierbarer zu machen und die Ressourcen verbrauchenden Vorgänge auf unterschiedliche Systemkomponente zu verteilen, gestaltet das Team die Architektur der Lösung neu. Systemfunktionen wie Caching, Queue Messaging und Containerisierung werden zu externen Services delegiert — unter anderem Reddis, RabbitMQ und Docker.

Ergebnisse

Während der ersten Phase werden das System und die Medienspeicher erfolgreich in die Azure Cloud migriert und die Architektur der Lösung neu erstellt.

Das QA-Team führt Belastungstests des Systems durch, um sicherzustellen, dass die Lösung weiterhin stabil und nachhaltig ist, während mehrere Labelingteams auf sie zugreifen.

Der Kunde ist mit den Ergebnissen der ersten Phase zufrieden und beauftragt Softeq, zusätzliche Funktionen zu entwickeln. Das Team fügt unter anderem die Unterstützung von HDR-Video und TIFF-/PNG-Formaten für resultierende Bilder hinzu sowie Echtzeit-Video-Annotation.