CV-basierte App zum schnellen Farbwechsel: Cleveroad Fallstudie

Cleveroad

Fallstudien

Media

Wir haben eine einfache Lösung entwickelt, die mithilfe von Computer Vision die Farben ausgewählter Objekte verändert.

Branche

Computer Vision

Team

1 Mitglied

Gestartet

2020

Land

Ukraine

Über das Projekt

ColorDetection ist eine Open-Source-iOS-App von Cleveroad, die Computer Vision nutzt, um Objekte in der realen Welt zu erkennen und sie in Echtzeit direkt über die Smartphone-Kamera umzufärben.

Projektidee

Entwicklung einer Open-Source-iOS-App auf Basis von Swift und OpenCV, die mithilfe von Computer Vision Objekte im Kamerabild verfolgt und deren Farbe durch eine vom Nutzer gewählte ersetzt.

Projekt-Herausforderungen

Die größte Herausforderung bestand darin, mittels Computer Vision die Flächen eines ausgewählten Objekts zu erkennen und es in einem Live-Kamerabild in Echtzeit zu verfolgen, anschließend präzise umzufärben und dabei die natürliche Schattierung und Sättigung des Objekts zu erhalten – das Ganze mit OpenCV innerhalb einer nativen iOS-App, die mit Swift und Objective-C++ entwickelt wurde

Ergebnisse

Unser Team hat ColorDetection im App Store veröffentlicht und den vollständigen Code auf GitHub als Open Source freigegeben, wo andere Entwickler ihn als Referenz für OpenCV-basierte Farberkennung unter iOS wiederverwenden können. Der finale Build wird mit neun Farb-Voreinstellungen und einstellbarer Sättigung ausgeliefert.

Wie funktioniert Computer Vision?

Computer Vision nutzt Bilder und Videos, um eine reale Szene zu erfassen.

Computer Vision kann

Objekte auf Bildern oder Videos identifizieren.
Sich bewegende Dinge verfolgen.
Die reale Größe messen oder die Entfernung zur Kamera schätzen.
Objekte erkennen, auch wenn sich deren Größe oder Ausrichtung ändert.
Dinge auf Video oder Foto klassifizieren.

Techniken

Bildklassifizierung. Erfassen vieler Beispiele der Bildklasse für das Machine Learning im Bereich Computer Vision.
Objekterkennung. Definieren der Objekte im Bild und deren Beschriftung.
Objektverfolgung. Verfolgen eines oder mehrerer bewegter Objekte in der Szene.
Semantische Segmentierung. Unterteilung des gesamten Bildes in Pixelgruppen, die beschriftet und klassifiziert werden können.

Hauptfunktionen des Projekts

Ein leistungsstarkes Backend der App wurde zu zwei Hauptfunktionen weiterentwickelt.

Objektfarbe ändern

Die Hauptfunktion von ColorDetection ist die Änderung der Farbe des ausgewählten Objekts in Echtzeit. Der Nutzer kann aus neun Farben wählen. Dazu tippt man auf das Element und wählt die Farbe aus der Liste.

OpenCV

Bearbeitung

Nach der Auswahl der neuen Farbe kann der Nutzer die Sättigung der gewählten Farbe anpassen. Zudem lassen sich Höhe, Volumen und Raum des Objekts festlegen.