VAIZDO APDOROJIMO METODŲ TYRIMAS IR TAIKYMAS PAPILDYTOS REALYBĖS SISTEMOSE

Transcription

1 VAIZDO APDOROJIMO METODŲ TYRIMAS IR TAIKYMAS PAPILDYTOS REALYBĖS SISTEMOSE Edgaras Artemčiukas, Leonidas Sakalauskas Vilniaus Universitetas Įvadas Papildytos realybės sritis išsivystė iš virtualios realybės. Pagrindinis skirtumas virtuali realybė užtikrina visiškai dirbtinius scenarijus, kur vartotojai negali matyti ir sąveikauti su realia aplinka, o papildytos realybės technologija suteikia galimybę matyti tikrąjį pasaulį, talpinant į jį virtualius objektus ar pridedant kitą virtualią informaciją. Tokiu būdu realybė nepakeičiama, o integruojama ir papildoma. Potencialios papildytos realybės taikymo sritys yra medicina, švietimas, gamyba, pramogos, architektūra, statyba ir pan. Tinkamas vaizdo apdorojimo metodo pasirinkimas yra svarbus papildytos realybės aplikacijose ir priklauso nuo sekamo objekto. Papildytos realybės sistemose galima išskirti šias vykdomas užduotis: a) objekto aptikimas ir sekimas; b) virtualaus turinio atvaizdavimas priklausomai nuo sekamo objekto pozicijos ir orientacijos; c) sąveikos užtikrinimas su virtualiu turiniu. Principinis papildytos realybės sistemos įgyvendinimas pateiktas 1 pav. Pasirengimo etapas Realybės registravimas Papildytos realybės sprendimas (realizacija) Objektų aptikimas ir sekimas Turinio rodymas Duomenų bazė Sąveika su turiniu 3D modeliai, paveikslai, tekstas, vaizdo medžiaga 1 pav. Papildytos realybės sistemos įgyvendinimas Naudojant papildytos realybės aplikaciją žymeklis dažnai uždengiamas vartotojo rankos. Dėl šios priežasties neatpažinus dalinai uždengto žymeklio virtualus turinys dingsta, 2 pav. 2 pav. Papildytos realybės pavyzdys naudojant NyARToolkit biblioteką: a) virtualus turinys ant kvadratinio žymeklio; b) pradingęs virtualus turinys dėl kliūties ant kvadratinio žymeklio Akivaizdi problema nėra išspręsta net gerai žinomose papildytos realybės priemonėse [1]. Dėl šios priežasties darbo tikslas atlikti išsamų vaizdo apdorojimo metodų tyrimą, kurios gali išspręsti dalinės okliuzijos problemas naudojant plokštuminius vaizdus (pavyzdžiui, knygos paviršių): 1) FAST (angl. Feature from Accelerated Segment Test); 2) SIFT (Scale Invariant Feature Transform); ir 3) SURF (Speeded Up Robust Features). Tikslui įgyvendinti keliami šie pagrindiniai uždaviniai: išanalizuoti esamus vaizdo apdorojimo metodų sprendimus; palyginti pasirinktų vaizdo apdorojimo metodų eksperimentinius rezultatus pagal atkartojamumo kriterijų bei įvertinti tinkamumą papildytos realybės technologijoje. Žymeklinio sekimo

2 metodo mėginama atsisakyti, todėl naudojant pažangesnius vaizdo apdorojimo metodus galima atpažinti sudėtingesnius objektus nei žymeklis ir išspręsti dalinės okliuzijos problemas užtikrinant robastišką, nenutrūkstamą virtualaus turinio pateikimą. Vaizdo apdorojimo metodų įvertinimas greičio atžvilgiu taip pat svarbus kriterijus, kadangi visos užduotys turi būti vykdomos realiu laiku. Vaizdo apdorojimo metodų analizė Šiuo metu papildytos realybės technologijoje viena iš svarbiausių vaizdo apdorojimo uždavinių požymių išgavimas, kaip pirminis analizės aspektas ir apdorojimas. Vaizdo apdorojimo metodai [2], [3], [4] naudoja požymių aptikimo ir aprašymo metodus, norint rasti svarbius vaizdo taškus ir atlikti tokias užduotis kaip vaizdo išgavimą, objektų atpažinimą, sekimą, atitikimą judant (angl. match moving), 3D modelio atvaizdavimą ir pan. Aptikti požymiai nėra pastovūs ir priklauso nuo vaizdo dydžio (angl. scale), pakreipimo (angl. rotation), postūmio (angl. translation), apšvietimo lygio (angl. illumination) ir kameros peržiūros vietos [5], norint užtikrinti patikimą objektų aptikimą ir atitikimą tarp to paties vaizdo skirtingų peržiūros vietų. Požymių aptikimas ir atitikimas taip pat priklauso nuo kitų sąlygų, pavyzdžiui, didinant vaizdo kompresiją svarbių požymių aptikimo kokybė ir kiekis mažėja [6]. Kompresijos būtinybė atsiranda tuomet, kai reikia perduoti ribotą duomenų kiekį tolimesniam vaizdo apdorojimui mobiliuosiuose įrenginiuose [7]. Papildytos realybės technologijos tikslas pateikti virtualų turinį realybėje vietose, kur yra sekami skirtingų dydžių ir formų objektai. Objektų sekimas šiuo metu intensyviai tyrinėjamas vaizdų apdorojimo srityje [8]. Skaičiavimų greitis reikalingas algoritmams ištraukti nekintačius požymius yra viena iš pagrindinių tiek papildytos realybės sistemose, tiek vaizdo apdorojimo metoduose sprendžiama problema [9]. Šiuo metu daugelis sekimo metodų sukurti sekti objektus, kurie telpa į ekraną. Vykdant mažų objektų sekimą galima pritaikyti esančius papildytos realybės sekimo algoritmus, pavyzdžiui, SIFT arba SURF. Problemos sprendimas, kai matoma tik 10% viso objekto dydžio per mobiliojo įrenginio kamerą, analizuojamas [10] darbe. Pasiūlytame sprendime sekamas objektas padalinamas į kelias dalis, o tų dalių ištraukti požymiai talpinami į duomenų bazę. Sekamo objekto atpažinimas vykdomas lyginant kiekvienos vaizdo dalies požymius su požymių įvesties rinkiniu iš duomenų bazės, o suradus ieškomą dalį paskaičiuojama kameros pozicija ir orientacija. Sekamo objekto dalies aptikimo laikas priklauso nuo dalių kiekio ir dydžio, o norint išvengti nesėkmingų atitikimų sukeliamų dėl vartotojo peržiūros pokyčių, būtina apmokyti skirtingo dydžio sekamus objektus. Šiuo metu tyrimuose naudojamų vaizdo apdorojimo metodų pagrindą sudaro modifikuoti šiuolaikiniai požymių deskriptoriai SIFT ir Ferns su struktūros atitikimo sekimu [11]. Nors SIFT metodas yra robastiškas, tačiau požymių deskriptoriaus sudarymui reikalauja didelių skaičiavimų, o Ferns klasifikavimas yra greitas, tačiau reikalauja daug atminties, todėl virtualaus turinio perteikimas ant sekamo objekto vaizde gali būti netinkamas mobiliuosiuose įrenginiuose. Dėl šios priežasties būtinas šių metodų modifikavimas, norint įgyvendinti vaizdo apdorojimo užduotis mobiliuosiuose įrenginiuose bei pritaikyti papildytos realybės technologijoje [11]. Sekimo algoritmai gali būti skirstomi į generatyvinį sekimą (angl. generative tracking) [12] ir diskriminuojantį arba skiriamąjį sekimą (angl. discriminative tracking) [13], [14]. Generatyviniame sekime ieškomas geriausio atitikimo rezultatas tam tikrame vaizdo regione. Skiriamasis sekimas su vaizdo sekimu elgiasi kaip su dvejetainės klasifikacijos problema, norint apibrėžti ribas tarp sekamo vaizdo ir fono.

3 Dažniausiai reikalingas didelis duomenų rinkinys, norint pasiekti didelį našumą. Iki šiol pateikta daug sėkmingų abiejų kategorijų algoritmų, tačiau sudėtinga rasti algoritmą, kuris atliktų sekimo užduotį tiksliai ir efektyviai. Norint išspręsti šias problemas vaizdo sekime, buvo naudojama daug požymių norint perteikti sekamus objektus. Pavyzdžiui, objektų išvaizda keičiasi, kai kinta apšvietimo sąlygos. Pademonstruota, kad paimti du vienodi vaizdai su skirtingo apšvietimo sąlygomis, negali būti unikaliai identifikuoti kaip tas pats objektas. Šioms problemoms išspręsti buvo pasiūlytas robastiškas objekto atpažinimo ir sekimo karkasas, kurio pagrindą sudaro vietos intensyvumo histogramos [15] ir paskaičiuojamos kiekvienai pikselio vietai. Atlikti išsamūs eksperimentai rodo, kad pasiūlytas objekto sekimas vykdomas geriau tikslumo ir greičio atžvilgiu nei daugelis šiuolaikinių algoritmų bei užtikrina efektyvų požymių sekimą nepriklausomai nuo apšvietimo pokyčių. Šis metodas taip pat seka objektus nepriklausomai nuo dydžio pokyčių, okliuzijų, vizualinių nuokrypių, chaotiškos aplinkos bei greitų kameros judesių. Adaptyvus sekimas pagal aptikimą (angl. tracking by detection) yra kitas populiarus naudojamas metodas [16] kur klasifikatorius apmokomas realiu laiku. Pagrindinė metodo sekimas pagal aptikimą idėja yra elgtis su sekimu kaip aptikimo problemų seka ir pakartotinai pritaikyti objektų atpažinimą kiekvienam individualiam kadrui. Vienas iš metodo apribojimų detektorius turi būti apmokytas iš anksto. Kalal et al. [17] pasiūlė robastišką TLD metodą (angl. Tracking- Learning-Detection), norint aptikti skirtingų išvaizdų objektą ir sekti kadre. FAST, SIFT ir SURF vaizdo apdorojimo metodai Vaizdo apdorojimo metodų efektyvumui analizuoti pasirinkti galimai universalūs SIFT, SURF ir FAST metodai, kurie sprendžia objekto atpažinimo ir sekimo užduotis esant okliuzijoms, skirtingiems objekto dydžiams, orientacijai bei apšvietimo sąlygoms. Metodų analizei parinkti greičio ir atkartojamumo kriterijai. Tyrimo rezultatai leis suprasti algoritmų tinkamumą skirtingose taikymo situacijose bei skirtumą tarp požymių ištraukimo kokybės ir greičio naudojant skirtingus metodus. FAST vaizdo apdorojimo metodas [2] skirtas identifikuoti svarbius taškus vaizde (kampus). Svarbūs taškai turi didelį vietinės informacijos turinį, todėl idealiai atkartojami tarp dviejų skirtingų vaizdų ir taikomi vaizdų atitikime, objektų atpažinime bei lokalizacijoje. Egzistuoja keletas nusistovėjusių kampų aptikimo algoritmų: Moravec, Harris & Stephens, SUSAN ir t. t., tačiau pagrindinė FAST algoritmo pasirinkimo priežastis greitas svarbių taškų aptikimas ir taikymas užduočių atlikimui realaus laiko aplikacijose. Pavyzdžiui, lygiagretus požymių lokalizavimas ir žymėjimas naudojant vizualinį SLAM metodą (angl. Simultaneous Localization and Mapping), kurio taikymas suteikia galimybę sukurti bežymeklinę papildytos realybės sistemą [18]. Šis metodas leistų sistemai su viena kamera sukurti vartotojo aplinkos modelį be jokios iš anksto žinomos informacijos. Atliekant požymių išgavimą iš vaizdų ir šių požymių sužymėjimą erdvėje galima bet kurioje vietoje vaizde patalpinti virtualius objektus. Vizualinio SLAM metodo taikymas sekimo procese užtikrintų inovatyvų metodą papildytos realybės sistemose, tačiau reikėtų atsižvelgti į tai, kad vietos nustatymas ir žemėlapio sudarymas nežinomose aplinkose tampa vis sudėtingesnis aplinkai besiplečiant. FAST algoritmo veikimo principas svarbių taškų aptikimui pateiktas 3 pav.

4 5. Pikselis nėra aptiktas kaip svarbus taškas TAIP 1. Pikselio I P parinkimas iš vaizdo 2. Slenkstinės ribos parinkimas T 3. Nustatomas 16 pikselių apskritimas 4. Pikselių palyginimas Apskritimo pikseliai patenka į intervalą [I p-t; I p+t]? NE 6. Pikselis aptiktas kaip svarbus taškas 3 pav. Svarbių taškų aptikimas naudojant FAST algoritmą FAST algoritmo pirmajame etape daroma prielaida, kad pikselio intensyvumas turi būti I p, norint identifikuoti pikselį kaip svarbų tašką. Tolimesniame algoritmo etape parenkama pikselio intensyvumo slenkstinė riba T ir šis pikselis lyginamas su aplink jį esančiu 16 pikselių apskritimu, t. y. analizuojami šalia esantys pikseliai. Iš 16 pikselių n pikseliai (kur n gali būti nuo 6 iki 12) turi būti aukščiau arba žemiau I p vertės su slenkstine riba, norint aptikti pikselį kaip svarbų tašką. Šio metodo autoriai pirmame algoritmo variante tikrino 12 iš 16 pikselių nustatyto kriterijaus atitikimą. Kiekvienas analizuojamas pikselis gali turėti 3 skirtingas būsenas: 1) I x I p T; (tamsesni pikseliai priimami) 2) I p T < I x < I p + T; (panašūs pikseliai atmetami) 3) I p + T I x. (ryškesni pikseliai priimami) čia I x pikselis iš apskritimo, kuris lyginimas su analizuojamu pikseliu I p su T slenkstine riba ir gali būti atpažintas kaip svarbus taškas. Jeigu bent 3 iš 4 pikselių I 1, I 5, I 9, I 13 reikšmių nėra daugiau už I p + T arba mažiau už I p T, tuomet I p nėra svarbus taškas ir pikselis atmetamas, priešingu atveju užtikrinamas optimizuotas algoritmo vykdymas bei tolimesnis pikselių tikrinimas. Procesas kartojamas su visais vaizdo pikseliais, tačiau yra tam tikras algoritmo trūkumas ne visais atvejais galima aptikti 12 iš 16 pikselių. Toks pikselių aptikimas yra labai didelis, be to 16 pikselių lyginimo užklausos turi įtakos algoritmo greičiui. Taip pat algoritmo greitis priklauso nuo parinktos slenkstinės ribos T: kuo slenkstinė riba didesnė, tuo mažiau požymių aptinkama, todėl aptikimo greitis didesnis ir atvirkščiai. SIFT vaizdo apdorojimo metodas ištraukia skiriamuosius pastovius požymius, kurie nepriklauso nuo vaizdo dydžio, pakreipimo, postūmio ir naudojamas norint atlikti patikimą atitikimą tarp skirtingų vaizdų peržiūrų. SIFT taikymo sritys sutampa su FAST taip pat naudojamos apsaugos sistemose bei veido atpažinime [19]. Pagal [3] darbą SIFT vaizdo apdorojimo metodo įgyvendinimas požymių ištraukimui susideda iš 4 pagrindinių etapų: dydžio-erdvės ekstremumo radimas (angl. scale-space extrema detection), požymių lokalizacija (angl. keypoint localization), orientacijos priskyrimas (angl. orientation assignment) ir požymių deskriptoriaus ištraukimas (angl. keypoint descriptor extraction). Dydžio-erdvės ekstremumo radimas naudojamas identifikuoti potencialius svarbius taškus, kurie yra pastovūs nepriklausomai nuo vaizdo dydžio ar orientacijos. Šiame etape skaičiuojamas Gauso skirtumas (angl. Difference-of-Gaussian) naudojant (1): D(x, y, σ) = (G(x, y, kσ) G(x, y, σ)) I(x, y) (1) čia I(x, y) įvesties vaizdas, G(x, y, σ) = 1 2πσ 2 e (x2 +y 2 )/2σ 2 Gauso funkcija, * konvoliucijos

5 procesas. Pasiūlyta Gauso skirtuminė funkcija skirta išgauti stabilias požymių vietas dydžio-erdvės funkcijoje L(x, y, σ) = G(x, y, σ) I(x, y), kuri taip pat padidina skaičiavimo greitį. Požymių lokalizacijos etape žemo kontrasto ir netinkamai lokalizuoti požymiai atmetami pagal nustatytą slenkstinę ribą. Trečiajame etape kiekvienam požymiui priskiriama orientacija. Paskaičiuojami kiekvieno požymio lokalinio gradiento histogramos kryptis ir dydis, norint užtikrinti aptinkamų požymių stabilumą nepriklausomai nuo pakreipimo. Galutiniame etape kiekvienam požymiui paskaičiuojamas savitas deskriptorius, atliekamas požymių atitikimo įvertinimas ir atmetami neapibrėžti požymiai. Detalesnis SIFT metodo įgyvendinimas analizuojamas [20] ir [21] darbuose. Pagal [4] darbą SURF vaizdo apdorojimo metodas yra robastiškas pastovių požymių aptikimui ir jų aprašymui esant skirtingo dydžio ir pakreipimo vaizdams. SURF algoritmas naudojamas objektų atpažinime, sekime, atitikime [22], trimatės rekonstrukcijos uždaviniuose ir norint nustatyti vaizdų klastotės atvejus [23]. SURF naudoja tarpinį vaizdo pateikimą vadinamu integraliniu vaizdu, kuris paskaičiuojamas iš įvesties vaizdo bei pagreitina skaičiavimus stačiakampio srityje. SURF vaizde aptinkami svarbūs taškai naudojant Hesiano matricas (2), kadangi užtikrinamas didesnis tikslumas: H(x, σ) = [ L xx(x, σ) L xy (x, σ) L xy (x, σ)l yy (x, σ) ] (2) čia Hesiano matrica apibrėžiama H(x, σ) duotam taškui x = (x, y), L xx (x, σ) Gauso antros eilės išvestinė δ2 g(σ) su vaizdu I taške x; atitinkamai su L δx xy(x, σ) ir L 2 yy (x, σ). Hesiano matricos determinantas skaičiuojamas kiekvienam vaizdo pikseliui, kurių reikšmės naudojamos nustatyti požymius ir užtikrinti didelį tikslumą. Gauso antros eilės išvestinė įvertinama nereikalaujant daug skaičiavimo resursų. SURF deskriptorius aprašo kaip pikselių intensyvumas yra pasiskirstęs nuo šalia esančio kiekvieno požymio. Vaizdo apdorojimo metodų palyginimas greičio atžvilgiu Vaizdo apdorojimo metodų tyrimui buvo įgyvendinti eksperimentai naudojant MathWorks MATLAB programinę įrangą, kuri gali būti taikoma įvairių sričių problemų sprendimui: komunikacijų, signalo ir vaizdo apdorojimo, valdymo sistemų, duomenų analizės, modeliavimo, algoritmų kūrimo ir t. t. Eksperimentai atlikti kompiuteriu su AMD Phenom 9950 Quad-Core 2.6 GHz procesorių, ATI Radeon HD 4870 GPU, 4 GB atmintimi ir 64 bitų Windows 7 OS. Vaizdo apdorojimo greitis yra kritinis aspektas realaus laiko papildytos realybės aplikacijose. Vaizdo apdorojimo greičio rezultatus įtakoja daug veiksnių: vaizdo dydis, vaizdo kokybė bei algoritmo parametrai, pavyzdžiui, nustatyta slenkstinė riba. Eksperimentai atlikti naudojant vienodus vaizdų rinkinius su dydžio, pakreipimo ir postūmio pokyčiais, 4 pav.

6 SURF metodas SIFT metodas FAST metodas Vaizdo transformacijos Pakreipimo pokyčiai (36 vaizdai) Dydžio pokyčiai (48 vaizdai) Postūmio pokyčiai (29 vaizdai) 81,75 357,79 28,72 103,97 485,01 37,54 39,19 147,66 19, Laikas (s) 4 pav. FAST, SIFT ir SURF metodų palyginimas greičio atžvilgiu Pagal rezultatus SIFT metodo trūkumas lyginant su SURF ir FAST metodais yra lėtas požymių ištraukimas. SIFT metodo taikymas papildytos realybės sistemose gali būti sudėtingas, kadangi vaizdų apdorojimas ir virtualaus turinio talpinimas turi vykti realiu laiku. Vidutinis vaizdų požymių ištraukimas ir atitikimas FAST, SIFT ir SURF metodų atvejais pateiktas 5 pav. SURF metodas SIFT metodas FAST metodas Vaizdo transformacijos Pakreipimo pokyčiai (36 vaizdai) Dydžio pokyčiai (48 vaizdai) Postūmio pokyčiai (29 vaizdai) 397, ,89 77,43 338, ,04 18,61 278,31 838,69 66, Požymių atitikimas (kiekis) 5 pav. Vidutinis požymių atitikimas naudojant FAST, SIFT ir SURF metodus Ištraukti požymiai iš apmokymo vaizdo lyginami su užklausos vaizdo požymiais, norint rasti atitikmenis. SIFT metodo atveju užklausos vaizdo ir apmokymo vaizdo požymių atitikimas vidutiniškai trunka s, SURF s, o FAST s. Nors SIFT metodo požymių atitikimo trukmė didelė, būtina pažymėti, kad SIFT vidutinis požymių atitikmenų tarp 2 vaizdų kiekis yra didesnis nei kitų metodų ; SURF metodo atveju , o FAST Atkartojamumo kriterijaus įvertinimas Šiame skyriuje atliktas FAST, SIFT ir SURF metodų našumo palyginimas. Robastiškas sudėtingų objektų atpažinimas yra pagrindinė nagrinėjama problema vaizdų apdorojime. Kiekvienas vaizdo apdorojimo metodas nustato objekto požymius priklausomai nuo atitinkamų pikselių, įsimena ir naudoja informaciją, norint įvertinti ar užklausos vaizdas turi specifinius to objekto požymius. Naudojama notacija apmokymo vaizdas, kurį detektorius naudoja vaizdo išmokimui, ir užklausos vaizdas, kuriame detektorius po vaizdo išmokimo aptinka objektą. Tyrimo tikslas yra įvertinti vaizdo apdorojimo metodų tinkamumą papildytos realybės sistemose, kurios leis pasiekti robastišką objekto atpažinimą, net jeigu objektas užklausos vaizde yra dalinai uždengtas, skirtingo dydžio, pakreipimo ar postūmio nei apmokymo vaizdas. Aptiktas požymių kiekis nėra gero našumo matas, tačiau nurodo šių požymių kokybę. Tam tikros vaizdo

7 dalys turi daugiau informacijos nei kitos ir yra didesnė galimybė surasti atitikmenį. Eksperimentuose naudojamas atkartojamumo kriterijus (angl. repeatability criteria), norint įvertinti FAST, SIFT ir SURF metodų požymių aptikimo ir atitikimo našumą. Atkartojamumas yra būtina sąlyga tikslumui. Jeigu vaizdo apdorojimo rezultatas negali būti pateiktas kaip patikimas ar atkartojamas, tuomet negalima pereiti prie tolimesnio rezultatų tikslumo verifikavimo etapo. Atkartojamumo kriterijus paskaičiuojamas naudojant (3) formulę kaip santykis tarp abiejų vaizdų (apmokymo ir užklausos) požymių kiekio atitikimo rezultato C(I 1, I 2 ) ir požymių kiekio abiejuose vaizduose vidurkio mean(m 1, m 2 ) [24]: r(i 1, I 2 ) = C(I 1, I 2 ) mean(m 1, m 2 ). (3) čia r(i 1, I 2 ) atkartojamumas. Robastiškų požymių aptikimo metodų našumas įvertinamas lyginant vienodus vaizdų rinkinius su dydžio, pakreipimo ir postūmio pokyčiais. FAST, SIFT ir SURF metodų atkartojamumo rezultatų įvertinimas priklausomai nuo vaizdo dydžio pateiktas 6 pav. Atkartojamumas (%) Vaizdo dydis (%) FAST metodas SIFT metodas SURF metodas 6 pav. Atkartojamumo įvertinimas priklausomai nuo skirtingo vaizdo dydžio Pradinis apmokymo vaizdo dydis yra (100%) pikselių. Šio eksperimento metu pradinis vaizdas buvo didinamas iki 200% bei mažinamas iki 8%, kadangi požymių ištraukimas iš mažesnio dydžio vaizdų neįmanomas. Keičiant pradinio vaizdo dydį +/-10% (padidinus ar sumažinus) atkartojamumo rezultatai FAST metodo atveju siekia 30-40%, SURF metodo atkartojamumas yra ~55%, o SIFT metodo 75%. Keičiant pradinio vaizdo dydį +/-30% FAST metodo atveju atkartojamumas yra mažesnis nei 10%, SURF 30-45%, o SIFT 60%. Esant didesniems vaizdo dydžio pokyčiams FAST metodo atkartojamumas artėja prie 0%. Visais atvejais SIFT metodo atkartojamumo įvertinimas, priklausomai nuo vaizdo dydžio, pateikia geriausius rezultatus. Mažinant vaizdo dydį tiek aptinkamas požymių kiekis vaizde, tiek požymių atitikimų abiejuose vaizduose kiekis proporcingai mažėja. Pradinį vaizdą didinant, didėja aptinkamų požymių kiekis vaizde, tačiau vaizdų požymių atitikimas tolygiai pasiskirsto ir nesikeičia. Atkartojamumo įvertinimas priklausomai nuo vaizdo pakreipimo pateiktas 7 pav. Atkartojamumas (%) Vaizdo pakreipimas ( o ) FAST metodas SIFT metodas SURF metodas 7 pav. Atkartojamumo įvertinimas priklausomai nuo vaizdo pakreipimo

8 Šio eksperimento metu pradinis vaizdas buvo pakreipiamas 10 o kiekviename etape, kol sugrįžtama į pradinę vaizdo padėtį. Iš atliktų eksperimentų matoma, kad geriausias atkartojamumas pasiekiamas esant kas 90 o vaizdo pakreipimui: SURF ir SIFT metodų atveju siekia nuo %, o FAST %. Kitais vaizdo pakreipimo atvejais atkartojamumas sumažėja: SIFT metodo atveju iki 77%, o FAST ir SURF metodų atveju iki 25%. Atkartojamumo įvertinimas priklausomai nuo vaizdo postūmio pateiktas 8 pav. Atkartojamumas (%) Vaizdo postūmis (pikseliai) FAST metodas SIFT metodas SURF metodas 8 pav. Atkartojamumo įvertinimas priklausomai nuo vaizdo postūmio Šio eksperimento metu pradinis vaizdas buvo pastumiamas kas (ilgis plotis) pikselių, kol užklausos vaizdas nebeturi jokios naudingos informacijos. Pastaba: x ašyje skaičius, pavyzdžiui, 80 atitinka pikselių postūmį nuo pradinio vaizdo. Nesunku įsitikinti, kad atkartojamumas mažėja didėjant vaizdo postūmiui. SURF ir SIFT metodų atveju atkartojamumas apylygis ir tiesiškai mažėja, o FAST metodo atveju priklausomai nuo vaizdo postūmio mažesnis nuo 4% iki 20%. Šio tipo eksperimentas atitiktų dalinės objekto okliuzijos imitavimą, kuris aktualus papildytos realybės sistemose. Kiekviename atliktame eksperimente SIFT metodas aptinka daugiausia atitikmenų vaizdo dydžio, pakreipimo ir postūmio atvejais. Žinoma, realiomis sąlygomis atliekant vaizdo atpažinimą susiduriama su keliomis problemomis vienu metu: apšvietimo skirtumai, vaizdo pakreipimas, dydžio pokyčiai bei dalinės okliuzijos, todėl randamų požymių bei atitikimų kiekis gali būti mažesnis. Požymių atitikimas naudojant SURF ir SIFT metodus realiomis sąlygomis pateiktas 9 pav. a) b) 9 pav. Požymių atitikimo pavyzdys (iš kairės apmokymo vaizdas; iš dešinės realios aplinkos vaizdas) esant įvairioms sąlygoms: a) SURF; b) SIFT Šiame eksperimente atliktas požymių ištraukimas ir atitikimas naudojant skirtingą realios aplinkos vaizdų rinkinį su apmokymo vaizdu. SIFT metodo vidutinis atkartojamumas siekia 11.35%, o SURF 4.59%. Nors FAST metodas ištraukia požymius greičiau nei kiti metodai, jis nėra robastiškas kelioms vaizdų transformacijoms vienu metu, todėl šiame eksperimente nenaudotas. Išvados 1. Šiame tyrime įvertintas FAST, SURF ir SIFT vaizdo apdorojimo metodų efektyvumas, kuriame atlikti eksperimentai greičio ir atkartojamumo kriterijų atžvilgiu naudojant skirtingų tipų vaizdų transformacijos

9 rinkinius. 2. Naudotas atkartojamumo kriterijus nustato požymių aptikimo tikslumą (galimybė identifikuoti tikslią pikselio vietą), stabilumą (galimybė identifikuoti tuos pačius požymius po geometrinių transformacijų) ir jautrumą prie nepalankių aplinkos sąlygų (galimybė identifikuoti tuos pačius požymius prastame apšvietime). 3. Apibendrinant visus atliktus eksperimentus galima teigti, kad SURF metodas pasižymi stabilumu ir didesniu greičiu robastiškų požymių aptikime ir atitikime nei SIFT metodas, todėl galima naudoti realaus laiko aplikacijose. SIFT metodas pasižymi stabilumu visuose eksperimentuose išskyrus greitį, kadangi vaizduose aptinkamas didelis kiekis požymių (kurie nebūtinai turi pakankamai informacijos), algoritmas reikalauja daugiau skaičiavimo resursų. SIFT metodo taikymas papildytos realybės sistemose nėra tinkamas, kadangi vaizdų apdorojimas turi vykti realiu laiku be jokio užlaikymo. 4. FAST metodo atkartojamumo rezultatai nebuvo pranašesni už SIFT ir SURF metodus, tačiau tokių rezultatų pagrindinė priežastis atlikti tik tekstūros pagrindu esančių vaizdų eksperimentai. FAST metodas (dėl algoritmo specifikos) su laivų ar pastatų objektais vaizduose veiktų su mažesnėmis aptikimo klaidomis nei tekstūros pagrindu esančiais vaizdais, taip pat dėl didelio greičio gali būti taikomas vizualiniame SLAM metode, kuris leistų sukurti bežymeklinę papildytos realybės sistemą. 5. Tolimesniuose tyrimuose gali būti atlikti eksperimentai su skirtingo tipo vaizdų rinkiniais: chaotišku fonu, pasikartojančia struktūra, apšvietimu, blukinimu, kompresija ir t. t. Atliktas vaizdo apdorojimo metodų tyrimas yra aktualus bei bus naudojamas kaip tyrimų atspirties taškas papildytos realybės technologijos srityje vykdant tolimesnius tobulinimus ir papildomai integruojant informaciją iš inercinių jutiklių, norint sukurti patikimesnį papildytos realybės sprendimą. Literatūra 1. Wagner D., Schmalstieg D., 2007, ARToolKitPlus for Pose Tracking on Mobile Devices, Proceedings of 12th Computer Vision Winter Workshop. P Rosten E., Porter R., Drummond T., 2010, FASTER and better: A machine learning approach to corner detection, IEEE Trans. Pattern Analysis and Machine Intelligence. P Lowe D. G., 2004, Distinctive Image Features from Scale Invariant Keypoints, International Journal of Computer Vision. Vol. 60. Nr. 2. P Bay H., Ess A., Tuytelaars T., Gool L. V., 2008, SURF: Speeded Up Robust Features, Computer Vision and Image Understanding (CVIU). Vol Nr. 3. P Khan N. Y., McCane B., Wyvill G., 2011, SIFT and SURF Performance Evaluation Against Various Image Deformations on Benchmark Dataset, International Conference on Digital Image Computing: Techniques and Applications, Noosa, QLD, Australia. P Wyss M. L., 2011, Robustness of different feature extraction methods against image compression, Swiss Federal Institute of Technology Zurich, Autonomous Systems Lab. 7. Chandrasekhar V., et al., 2009, Transform Coding of Image Feature Descriptors, Visual Communications and Image Processing. 8. Yilmaz A., Javed O., Shah M., 2006, Object tracking: a survey. ACM Computing Surveys. 9. Lepetit V.,Vacchetti L., Thalmann D., Fua P., 2003, Fully Automated and Stable Registration for Augmented Reality Applications, In: Proceedings of the Second IEEE and ACM International Symposium on Mixed and Augmented Reality. 10. Hwang Jae-In, Sung Min-Hyuk, Kim Ig-Jae, Ahn Sang Chul, Kim Hyoung-Gon, Ko Heedong, 2013, Painting Alive: Handheld Augmented Reality System for Large Targets, Virtual Augmented and Mixed Reality, Designing and Developing Augmented and Virtual Environments, Lecture Notes in Computer Science. Vol P Wagner D., Reitmayr G., Mulloni A., Drummond T., Schmalstieg D., 2010, Real-time detection and tracking for augmented reality on mobile phones, IEEE transactions on visualization and computer graphics. Vol. 16. Nr. 3. P Ross D. A., Lim J., Lin R.-S., Yang M.-H, 2008, Incremental learning for robust visual tracking, International Journal of Computer Vision. Vol. 77. Nr P

10 13. Bao C., Wu Y., Ling H., Ji H., 2012, Real time robust L1 tracker using accelerated proximal gradient approach, IEEE Conference on Computer Vision and Pattern Recognition. P Babenko B., Yang M.-H., Belongie S., 2011, Robust object tracking with online multiple instance learning, IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 33. No. 8. P He S., Yang Q., Lau R. W. H., Wang J., Yang M. H., 2013, Visual Tracking via Locality Sensitive Histograms, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. P Collins R. T., Liu Y., Leordeanu M., 2005, Online selection of discriminative tracking features, IEEE Transactions on PAMI. Vol. 27. Nr. 10. P Kalal Z., Mikolajczyk K., Matas J., 2012, Tracking-Learning-Detection, IEEE Transactions on PAMI. Vol. 34. No. 7. P Klein G., Murray D., 2007, Parallel Tracking and Mapping for Small AR Workspaces, 6th IEEE and ACM International Symposium on Mixed and Augmented Reality. P Dai B., Zhangb D., Liua H., Suna S., Lic K., 2009, Evaluation of Face Recognition Techniques, Image Processing and Photonics for Agricultural Engineering. Vol Vedaldi A., 2006, An open implementation of the SIFT detector and descriptor, Tech. Rep , University of California, Los Angeles. 21. Nam J. E., Maurer M., Mueller K., 2009, A high-dimensional feature clustering approach to support knowledgeassisted visualization, Computers & Graphics. Vol. 33. P Pimenov V., 2009, Fast Image Matching with Visual Attention and SURF Descriptors, 19th International Conference on Computer Graphics and Vision, Moscow. 23. Shivakumar B. L., Santhosh Baboo Lt. Dr. S., 2011, Detection of Region Duplication Forgery in Digital Images Using SURF, International Journal of Computer Science Issues. Vol. 8. Nr. 4. P Juan L., Gwun O., 2009, A Comparison of SIFT, PCA-SIFT and SURF, International Journal of Image Processing. Vol. 3. Nr. 4. P COMPUTER VISION METHODS RESEARCH AND APPLICATION IN AUGMENTED REALITY SYSTEMS Edgaras Artemciukas, Leonidas Sakalauskas Summary Augmented reality is widely used visualization technique in various application fields usually tracking artificial objects, for instance, markers that let users to add 3D virtual content into real world. The main problem using markers is occlusions from users or objects in the environment. These occlusions usually causes virtual content to disappear, therefore it has negative impact to the usability of the application. For this reason the analysis of computer vision methods FAST (Feature from Accelerated Segment Test), SIFT (Scale Invariant Feature Transform) and SURF (Speeded Up Robust Features) are presented that can solve partial occlusion problems. Robustness comparison was based on repeatability criteria using different type of image transformation sets. Speed and suitability of computer vision methods was also evaluated for augmented reality technology. The research results are essential in order to select proper computer vision technique for augmented reality solutions and further improvements. Keywords: Augmented reality, computer vision methods, object tracking. VAIZDO APDOROJIMO METODŲ TYRIMAS IR TAIKYMAS PAPILDYTOS REALYBĖS SISTEMOSE Edgaras Artemčiukas, Leonidas Sakalauskas Santrauka Papildyta realybė yra vizualizacijos technika, kuri plačiai naudojama daugybėje aplikacijų, dažniausiai sekant dirbtinius objektus, pavyzdžiui, kvadratinius žymeklius. Žymeklis leidžia nustatyti poziciją bei orientaciją erdvėje, norint pridėti 3D virtualų turinį realioje aplinkoje. Pagrindinės problemos naudojant žymeklius okliuzijos iš vartotojo pusės ar objektų iš aplinkos. Šios okliuzijos dažniausiai sukelia 3D virtualaus turinio dingimą, todėl turi neigiamą įtaką aplikacijos naudojamumui. Šiame darbe atliktas vaizdo apdorojimo metodų tyrimas bei pateikta naudojamų požymių aptikimo ir aprašymo metodų FAST, SIFT ir SURF detalesnė analizė. Šie metodai leidžia išspręsti dalinės okliuzijos problemas tinkamoje vietoje atvaizduojant virtualų turinį. Atliktas robastiškumo palyginimas pagal atkartojamumo kriterijų naudojant skirtingo tipo vaizdų transformacijų rinkinius. Įvertintas vaizdo apdorojimo metodų greitis ir tinkamumas papildytos realybės technologijoje. Tyrimo rezultatai svarbūs norint parinkti tinkamą vaizdo apdorojimo metodą papildytos realybės technologijos sprendimams ir atlikti tolimesnius tobulinimus integruojant inercinių jutiklių informaciją. Prasminiai žodžiai: papildytos realybės technologija, vaizdo apdorojimo metodai, objektų sekimas.