En Computer Vision-Basert App for Rask Fargeendring: Cleveroad sin Casestudie

Cleveroad

Portefølje

Media

Vi har laget en enkel løsning som endrer fargene på de valgte objektene ved hjelp av computer vision.

Bransje

Computer vision

Team

1 medlem

Lansert

2020

Land

Ukraina

Om Prosjektet

ColorDetection er en iOS-app med åpen kildekode fra Cleveroad som bruker computer vision for å identifisere objekter i den virkelige verden og fargelegge dem på nytt i sanntid, direkte fra mobilkameraet.

Prosjektidé

Lage en open source iOS-app, basert på Swift og OpenCV, som bruker computer vision til å spore objekter i kamerabildet og bytte ut fargen deres med en farge brukeren velger.

Prosjektutfordringer

Hovedutfordringen var å få computer vision til å oppdage flatene på et valgt objekt og spore det i en sanntids kamerafeed, for så å fargelegge det nøyaktig samtidig som objektets naturlige skyggelegging og metning ble bevart — alt ved bruk av OpenCV i en native iOS-app bygd med Swift og Objective-C++

Resultater

Teamet vårt lanserte ColorDetection på App Store og åpnet hele koden på GitHub, der andre utviklere kan gjenbruke den som referanse for OpenCV-basert fargeoppdagelse på iOS. Den endelige versjonen kommer med ni fargeforhåndsinnstillinger og justerbar metning.

Hvordan fungerer computer vision?

Computer vision bruker bilder og videoer for å forstå en virkelig scene.

Computer vision kan

Identifisere objekter på bilder eller videoer.
Spore ting som er i bevegelse.
Måle størrelse i virkeligheten eller estimere avstanden fra kameraet.
Oppdage objekter selv om de endrer størrelse eller orientering.
Klassifisere ting på video eller foto.

Teknikker

Bildeklassifisering. Mottak av mange eksempler på bildeklassen til maskinlæring for computer vision.
Objektgjenkjenning. Definering av objektene i bildet og merking av dem.
Objektsporing. Følging av ett eller flere bevegelige objekter i scenen.
Semantisk segmentering. Inndeling av hele bildet i grupper av piksler som kan merkes og klassifiseres.

Hovedfunksjoner i prosjektet

En kraftig backend i appen har blitt til to hovedfunksjoner.

Endring av objektfarge

Hovedfunksjonen i ColorDetection er å endre fargen på det valgte objektet i sanntid. Brukeren kan velge blant ni farger. Det er bare å trykke på elementet og velge fargen fra listen.

OpenCV

Redigering

Etter at den nye fargen er valgt, kan brukeren endre metningen på den valgte fargen. Det er også mulig å stille inn høyden, volumet og plassen til objektet.