SMISS. Scalable Multifunctional Indoor Scanning System. Tomáš Kovačovský supervisor: Mgr. Ján Žižka

Transcription

1 SMISS Scalable Multifunctional Indoor Scanning System Tomáš Kovačovský supervisor: Mgr. Ján Žižka

2 Úvod SMISS je bezkontaktný optický 3D Scanner na automatickú rekonštrukciu reálnej scény Pracuje na báze digitálneho projektora a kamery Zisťuje korešpondenciu bodov medzi obrazmi kamery a projektora Používa viac pohľadovú geometriu na zistenie 3D pozície bodov zo zistenej korešpondencie [Hartley, Zisserman]

3 Motivácia Zhotovenie obrazov s hĺbkovou informáciou Možnosť vytvorenia detailného 3D modelu stlačením jedného tlačidla Meranie vzdialeností medzi dvoma ľubovoľnými bodmi objektu Zisťovanie profilov súčiastok v priemysle Segmentácia objektov v obraze

4 O čom si povieme? Základné rozdelenie možností rekonštrukcie 3D modelu Projekt SMISS Princíp Navrhnuté metódy Implementácia Výsledky a experimenty Budúca práca

5 Základné rozdelenie Základné rozdelenie prístupov [C. Rocchini, P. Cignoni, C. Montani, P. Pingi, R. Scopigno]

6 Základné rozdelenie Detailnejšie rozdelenie optických bezkontaktných prístupov

7 Princíp Uvažujme pasívnu stereoskopiu, ktorá používa 2 kamery v pevnej vzdialenosti d od seba, pričom obe kamery sú nasmerované smerom na scénu. Namiesto hľadania korešpondencie kľúčových bodov na textúre obrazu budeme hľadať špecifické body, alebo pruhy obrazu digitálneho projektora, ktoré budeme do scény projektovať. Projektor umiestnime namiesto jednej z kamier a budeme ho používať ako inverzný model kamery.

8 Princíp

9 Princíp vzorové obrazy

10 Princíp - priebeh Kalibrácia skreslenia šošovky kamery a projektora Fáza predspracovania, obraz priameho a nepriameho osvetlenia, detekcia tieňov... Rozpoznávanie Grayových zrkadlových obrazov, bodová (prípadne čiarová) korešpondencia Kalibrácia párov kamery a projektora Projektovaná sekvencia vzorových obrazov, ktorá je snímaná kamerou Vypočítanie súradníc Inicializácia skenovacieho programu Zahájenie procesu skenovania, spustená sekvencia navolených vzorov Výsledné mračno 3D bodov, príprava a zápis výstupu Zvolenie nastavení skenovania (voľba rozpoznávacieho algoritmu...) Namierenie systému na objekt, zaostrenie, nastavenie expozície kamery

11 Navrhnuté metódy Detekcia tieňov a reflexných povrchov Fast separation of direct and global components of a scene using high frequency illumination [Nayar, Shree K., a iní.] Rozpoznávanie vzorov pomocou porovnávania voči priamemu a nepriamemu osvetleniu Iteratívny, rýchlo konvergujúci algoritmus na hľadanie prieniku priamky so zakrivenou rovinou Iné...

12 Implementácia Hardvérová stránka projektu pozostáva zo statívu, vlastnej montáže, projektora, digitálnej kamery Aplikačná časť projektu bola zhotovená v prostredí Microsoft Visual Studio 2008 Funkčnosť a jadro systému bola programovaná v jazyku C++ a využíva knižnice OpenCv pre algoritmy spracovania obrazu a počítačového videnia. [9865 lines of code] Užívateľské rozhranie bolo implementované v jazyku C++/CLI, pričom bolo dbané na intuitívne a jednoduché ovládanie a minimalizáciu potrebných úkonov pred skenovaním. [9707 lines of code]

13 Implementácia

14 Výsledky a experimenty Úspešnosť jednotlivých metód Porovnanie voči metóde negovaných obrazcov Všetky uvedené metódy vyžadujú menší počet snímok ako metóda negovaných vzorov

15 Výsledky a experimenty Zisťovaná presnosť merania: Bola nameraná rovinná keramická platňa vo vzdialenosti 80 centimetrov od systému. Cez výsledné mračno bodov bola preložená rovina a bola prepočítaná priemerná vzdialenosť bodov od roviny. Rozdiely v priemernej odchýlke medzi jednotlivými metódami sú minimálne. Najlepší výsledok je 0,408 milimetra.

16 Výsledky a experimenty

17 Výsledky a experimenty

18 Budúca práca Pridať vzorové obrazy založené na fázovom posune Podpixelová presnosť Spracovanie výsledného mračna, triangulácia, textúrovanie, zjemňovanie, geometrická filtrácia Zvýšenie dynamického rozsahu + snímanie čiernych povrchov Zlepšenie kvality snímania na poly reflexných objektov Automatické zošívanie jednotlivých výstupov pomocou geometrických závislostí a externého hardvéru Iné...

19 Ďakujem Vám za pozornosť Priestor na otázky...

20 Bibliografia [C. Rocchini, P. Cignoni, C. Montani, P. Pingi, R. Scopigno] C. Rocchini, P. Cignoni, C. Montani, P. Pingi, R. Scopigno. A low cost 3D scanner based on structured light. Computer Graphics Forum 20, 3 (2001). ISSN [Hartley, Zisserman] Richard Hartley and Andrew Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press (2004). ISBN: [Nayar, Shree K., a iní.] Fast separation of direct and global components of a scene using high frequency illumination. ACM Transactions on Graphics. Júl 2006, Zv. 25, 3, s