YOLO-t futtatni bárki tud. Gépi látást építeni már nem mindenki tud.
Bőven akad ügynökség, amely letölt egy előtanított modellt, ráhúz egy felületet a MediaPipe-ra, és a gépi látás szakértőjének nevezi magát. Mi azt építjük meg, aminek a demó után is működnie kell.
Ez nem mérnöki munka. Ez egy kiszámlázott tutorial.
A valódi gépi látás nehéz. Rossz fényviszonyok. Kitakarás. Mozgó kamerák. Megbízhatatlan mérések. Hardverkorlátok.
A demóban lenyűgözőnek tűnő modellek abban a pillanatban szétesnek, ahogy kikerülnek a való világba. Mi éppen ezekre a problémákra tervezünk, és azzal kezdjük, hogyan mérjük majd a rendszert.
A demóban működik. Aztán megmozdul a kamera.
A demóAzokon a felvételeken működik, amelyeket már látott.
A rendszerElkülönített, valós környezetben rögzített felvételeken mérve.
A demóElőtanított modell alapértelmezett küszöbértékekkel.
A rendszerA feladathoz választott, finomhangolt vagy épített modell, a mért hiba alapján beállított küszöbértékekkel.
A demóKépernyőre rajzolt keretek és csontvázak.
A rendszerKalibrált mérések, megadott hibahatárral.
A demóEgy fejlesztő GPU-ján fut.
A rendszerBelefér a céleszköz késleltetési, memória- és energiakeretébe.
A demóÉszrevétlenül hibázik.
A rendszerA hibái kiderülnek: van tartalékmegoldás és monitorozás.
A demóEgyszer felcímkézik, aztán magára hagyják.
A rendszerAnnotálási és újratanítási ciklus, amely folyamatosan javítja.
Kutatói mélység. Éles üzemi fegyelem.
Valós körülményekre fejlesztett gépi látási rendszerek: egyedi modellek, pózbecslés, követés, 3D-rekonstrukció, kamerageometria és edge-inferencia. Élesítés előtt mindent kiértékelünk.
Egyedi modellek
Detektáló, szegmentáló és kulcspontbecslő modelleket tanítunk vagy finomhangolunk a feladatára, ha egy előtanított modell nem üti meg a mércét.
Pózbecslés és biomechanika
A test és az ízületek követéséből szögeket, időzítést és mozgásmutatókat számolunk, megadott hibahatárral.
3D-rekonstrukció
Mélység és 3D-szerkezet egy vagy több kamera képéből, a kalibrált, többnézetes kamerarendszerektől az egykamerás becslésekig.
Detektálás és követés
Objektumokat és embereket követünk képkockáról képkockára, kitakarás, zsúfoltság és azonosítócserék ellenére is.
Kamerageometria
Kalibráció, szinkronizáció és az a projektív matematika, amely a pixeleket valós térbeli pozíciókká alakítja.
Edge- és mobilinferencia
A modelleket úgy tömörítjük és hangoljuk, hogy telefonon, beágyazott eszközökön és edge GPU-kon is beleférjenek a képkockánkénti időkeretbe.
Szakemberek, akik tudják, miért hibáznak a modellek. Nem csak azt, hogyan kell meghívni őket.
A gépi látáshoz értő szakember ritka, és a tudását önéletrajz alapján nehéz megítélni. Ha egy probléma mély szakértelmet kíván, felkutatjuk, alaposan megszűrjük és vezetjük azokat a kutatókat és mérnököket, akik értik a mögötte álló matematikát, a modellarchitektúrákat és az éles üzem korlátait.
A mérés meghatározása
Mit kell látnia a rendszernek, milyen pontossággal, milyen hardveren, és melyik értékelő adatkészlet igazolja majd.
Az adatok és a modell elkészítése
Adatgyűjtés, annotálási pipeline-ok és valós körülmények között rögzített, elkülönített tesztfelvételek, majd az a modell, amelyet a feladat megkíván: kész, finomhangolt vagy egyedi.
Élesítés és folyamatos ellenőrzés
Telepítés az eszközre vagy a felhőbe, adott késleltetési kereten belül, tartalékmegoldással, monitorozással és újratanítással, ha idővel megváltoznak a körülmények (drift).
Nem abban versenyzünk, ki rak össze legolcsóbban egy működő demót. Mi azt a rendszert építjük, amelynek a demó után is működnie kell.
Nézze meg saját szemével.
- Gépi látás / sporttechnológia
Movalytix
Mozgáselemző szoftver sportolóknak és edzőknek, amely gépi látással és biomechanikai modellezéssel elemzi a mozgást videóból.
- Az alapító tapasztalata
Eliseo Robles
Eliseo a NurivaTech AI CTO-ja. Ott nyilvánosan is bemutatott munkái közé tartoznak az okostelefonos gépi látási és biomechanikai rendszerek, valamint a modellértékelés.
CTO-ként: NurivaTech / sportFXEgyes részletek titoktartás (NDA) alá esnek
Jó kérdések. Világos válaszok.
Egyedi modelleket építenek, vagy előtanítottakat használnak?
Mindkettőt. Az előtanított modell akkor jó kiindulópont, ha a saját felvételeihez hasonló anyagon legfeljebb akkora a hibája, amekkorát még el tud fogadni. Ha nagyobb, finomhangoljuk, vagy a feladatra szabott modellt építünk. Hogy melyik a jó út, azt egy elkülönített értékelő adatkészlet dönti el.
Meg tudnak javítani egy gépi látási prototípust, amely a terepen nem válik be?
Először valós környezetben rögzített felvételeken megmérjük, hogy kiderüljön, hol és miért hibázik. Ezután eldöntjük, hogy új adatra, másik modellre, a pipeline módosítására vagy újraépítésre van-e szükség.
Futhat a gépi látás telefonon vagy edge-eszközön?
Gyakran igen. Kezdettől fogva a céleszköz memóriájához, hőtermeléséhez, energiafogyasztásához és képkockánkénti időkeretéhez igazítjuk a tervezést, és magán az eszközön tesztelünk, nem egy fejlesztői GPU-n.
Hogyan mérik, hogy egy gépi látási rendszer működik-e?
Egy elkülönített értékelő adatkészleten, amely a valós környezetet tükrözi. A hibát abban a mértékegységben adjuk meg, amelytől a döntés függ, például fokban, centiméterben vagy a kimaradt detektálások számában, nem pedig egyetlen kiemelt pontossági számmal.
Mire van szükségük tőlünk az induláshoz?
Valós környezetben készült felvételekre vagy képekre, a döntésre, amelyet a rendszernek meg kell alapoznia, arra, hogy mekkora hibát tud elfogadni, és a hardverre, amelyen futnia kell. Ebből kiindulva egy jól körülhatárolt első szakaszt tervezünk egy termékfejlesztési projekt keretében.
Nem gépi látási demókat árulunk. Gépi látási rendszereket építünk.
Hozza el nekünk a nehéz problémát: a kamerát, a körülményeket, a meglévő adatait és a döntést, amelyet a rendszernek meg kell alapoznia. A termékfejlesztési projektek kezdő ára $15,000, a kereteket előre egyeztetjük.