STROJNI VID V GOSPODINJSKIH APARATIH

Transcription

1 STROJNI VID V GOSPODINJSKIH APARATIH 1 UVOD V zadnjem obdobju se trend raziskav in razvoja naprav usmerja v koncept pametnega doma [1]. Zametkom koncepta lahko sledimo vse tja do konca 19. stoletja, ko so v domove bogatih začeli napeljevati elektriko [2]. Takrat je pametni dom pomenil razkošje. Koncept se je sčasoma razvijal in ob koncu 20. stoletja dosegel nov preporod z razvojem računalniških sistemov. Ti so omogočali avtomatizacijo naprav, ki so postale dostopne široki množici ljudi. Danes pametni dom pomeni veliko več. Vsebuje senzoriko in pametne naprave, ki med seboj komunicirajo in omogočajo oddaljeno upravljanje. Za komunikacijo in upravljanje širokega spektra naprav uporabljamo omrežne in oblačne storitve. Skupek takih naprav imenujemo internet stvari (ang. Internet of Things) in ga z angleško kratico označimo z IoT [3]. Gregor Koporec, mag. inž. el. Razvoj elektronike, Predrazvoj Danes pametni dom vsebuje senzoriko in pametne naprave, ki med seboj komunicirajo in omogočajo oddaljeno upravljanje. Za svoje učinkovito delovanje potrebujejo IoT naprave čim bolj kvalitetne vhodne podatke s primernimi senzorji. Ker se pri zaznavanju sveta ljudje največkrat opiramo na svoj vid, se zato pojavljajo težnje k uporabi senzorjev za zajem vidne informacije. Tako z uporabo kamer pridobivamo slike in video posnetke, ki pomagajo napravam bolje razumeti svet okoli sebe. Seveda se nam zdi samoumevno, kar vidimo na sliki ali video posnetku. To pa ne velja za naprave. Stroj namreč sliko vidi kot niz števil [4]. Zato za luščenje informacije iz slike potrebujemo usmerjene pristope, s tem pa se splošno ukvarja strojni vid. Za boljše razumevanje tega širokega tehničnega in znanstvenega področja v nadaljevanju predstavljamo podrobnejši opis strojnega vida, njegove koristi in težave. Opisali bomo orodja in načine, ki jih uporabljamo za reševanje problemov. Nazadnje bomo predstavili še uporabo in pomen vida v gospodinjstvu oziroma možnosti ter prednosti uporabe strojnega vida v velikih gospodinjskih aparatih. 2 PODROČJE VIDA Strojni vid je široko multidisciplinarno področje (Slika 1), ki je razdeljeno na veliko število podpodročij. Ta so med seboj tesno povezana, zato jih velikokrat zamenjujemo. Za boljše razumevanje so v nadaljevanju bolj podrobno opisana. 2.1 STROJNI VID Strojni vid (ang. Machine Vision) v grobem zajema umetno inteligenco, robotiko, obdelavo signalov, razpoznavanje vzorcev, strojno učenje, avtomatiko, računalništvo in optiko. Tu razvijamo tehnike, s katerimi želimo pridobiti lastnosti 3D sveta iz digitalnih slik [4]. Pod lastnosti sodijo oblika in pozicija objektov, osvetljenost, barvna porazdelitev in dinamične lastnosti, kot je hitrost objekta. Problematika rekonstrukcije lastnosti je zelo težka, saj rešujemo inverzni problem. To pomeni, da želimo najti lastnosti 3D iz 2D niza števil (slike). Za lažje reševanje tega problema se zato v prvi vrsti osredotočimo na zajem slike. Pri zajemu pazimo, da imamo čim bolj kontrolirano okolje. Nato oblikujemo optični sistem. Cilj je pridobitev slike, ki vsebuje želene lastnosti. Slike tako niso nujno take, kot bi jih želeli videti s človeškim vidom. Kot pravi Batchelor et al. [5], strojni vid ne vidi tako kot vidi človeško oko. GIB letnik 26. št /2017 4

2 Strojni vid (ang. Machine Vision) je široko multidisciplinarno področje, kjer želimo pridobiti lastnosti 3D sveta iz digitalnih slik. Slika 1: Diagram strojnega vida. Prikazuje povezavo različnih pojmov, ki se pojavljajo na področju strojnega vida. Dolgoročno želimo razviti avtonomni sistem, ki bi deloval podobno ali celo bolje kot človeško vidno zaznavanje. Kljub temu želimo dolgoročno razviti avtonomni sistem, ki bi deloval podobno ali celo bolje kot človeško vidno zaznavanje [6]. Danes so mnoge rešitve na tem področju hitrejše in bolj natančne od človeškega zaznavanja. Strojni vid omogoča ponovljivost. Z njim lahko vidimo majhne stvari, ki jih s prostim očesom ne moremo. Prav tako je uporaba strojnega vida brezkontaktna metoda zajema informacij, zato se izognemo mnogoterim problemom, kot so razne mehanske poškodbe opazovanih objektov [7]. Seveda pa je v strojnem vidu še veliko nerešenih problemov. Gre za težko inženirsko in znanstveno področje, saj človeški vid določene probleme rešuje enostavno preveč dobro. Človek tako lahko razpoznava objekte v težkih osvetlitvenih pogojih in z različnih zornih kotov [6]. Strojni vid v tem primeru hitro odpove. 2.2 INDUSTRIJSKI VID Pristop strojnega vida je zelo primeren za industrijo in robotiko. Po svetovnem trgovskem združenju slikovnih tehnologij AIA je industrijski vid (ang. Industrial Vision) uporaba strojnega vida, kjer zagotavljamo izvajanje funkcij naprav, ki temeljijo na zajemu in obdelavi slik [7]. V industrijskem vidu uporabljamo strojni vid z visokimi zahtevami po robustnosti, zanesljivosti in stabilnosti delovanja. 2.3 ROBOTSKI VID Za zagotavljanje izvajanja funkcij naprav se strojni vid uporablja tudi v robotiki, kjer ga imenujemo robotski vid (ang. Robot Vision). Robotski vid lahko uporabljamo za detekcijo objektov, ki jih želimo premikati z robotsko roko ali pa za vodenje robota po prostoru. Pri robotskem vidu moramo poleg tehnik strojnega vida upoštevati tudi principe robotike, kot je kinematika. GIB letnik 26. št /2017 5

3 V industrijskem vidu uporabljamo strojni vid z visokimi zahtevami po robustnosti, zanesljivosti in stabilnosti delovanja. 2.4 OBDELAVA SLIK Pogosto ne moremo do potankosti obvladovati okolja in optičnih lastnosti pri zajemu slik. V takih primerih uporabljamo obdelavo slik (ang. Image processing). Pri obdelavi z različnimi tehnikami spremenimo lastnosti slike [4]. Pri tem predvsem modeliramo transformacije ali preslikave iz slike v sliko. Sem sodijo izboljševanje kvalitete slike, kompresija in izluščevanje značilk. 2.5 RAČUNALNIŠKI VID O računalniškem vidu najpogosteje govorimo v znanosti, kjer želimo izboljšati ali razviti nove algoritme z inovativnimi pristopi. S zajemom in obdelavo dobimo slike, ki niso nujno privlačne za človeško oko. So pa primerne za obdelavo z računalniškimi algoritmi. Po SSKJ je algoritem navodilo, ki določa vrsto in zaporedje operacij v računskem postopku, s katerim rešujemo probleme. Računalniške algoritme uporabljamo v zadnji stopnji obdelave, kjer izluščimo informacijo, ki smo jo iskali. Tu nastopi računalniški vid (ang. Computer Vision). V računalniškem vidu razvijamo matematične tehnike, s katerimi želimo pridobiti lastnosti iz digitalnih slik. V glavnem nas pri tem ne zanima zajem in obdelava slike. Sliko vzamemo tako kot je in poskušamo iz nje izluščiti izbrano informacijo. O računalniškem vidu zato najpogosteje govorimo v znanosti, kjer želimo izboljšati ali razviti nove algoritme z inovativnimi pristopi. 3 ORODJA IN NAČINI REŠEVANJA Svet strojnega vida se vrti okoli slik, zato je tu zelo pomemben zajem tovrstnih podatkov [4]. V kontroliranem okolju moramo izbrati primerno tehniko osvetlitve in napravo za zajem slike. Naprava je po navadi kamera, sestavljena iz slikovnega senzorja, leče in procesno-komunikacijske enote. Velikokrat se zgodi, da okolja za zajem podatkov ne moremo v popolnosti kontrolirati, zato imajo pri reševanju problemov veliko težo računalniški algoritmi. Pri vsem tem pa ne smemo pozabiti tudi na primerno komunikacijsko omrežje za pretakanje podatkov med napravo za zajem in procesorskim sistemom za analizo. Sistem strojnega vida je prikazan na Sliki 2. Slika 2: Sistem strojnega vida (Vir: [8]) GIB letnik 26. št /2017 6

4 3.1 OSNOVNI PROCES REŠEVANJA Reševanje problemov lahko strnemo na nekaj korakov, ki so prikazani na Sliki 3. Prvi korak je zajem slike (ang. Image Acquisition), kjer pridobimo digitalne podatke iz senzorjev. Tu moramo predvideti lastnosti kamere. Prva je modaliteta slike (ang. Imaging Modalities). Modaliteta nam pove, na katere fizikalne principe smo se oprli pri zajemu slike [9]. Modalitete so lahko barvna ali sivinska slika, bližnje infrardeča (NIR), ultravijolična itd. Pri lastnostih kamere moramo biti pozorni tudi na resolucijo (število slikovnih elementov) in hitrost zajema (ang. Frame Rate). Poleg kamere moramo predvideti lastnosti leče in osvetlitve. Prav tako moramo določiti primerno postavitev. Z izbranimi optičnimi lastnostmi in postavitvijo morajo biti značilnosti, ki jih iščemo, čimbolj vidne. Če smo pravilno opravili zajem slike, lahko dobimo dobre rezultate tudi z osnovnimi algoritmi [5]. Sledi predobdelava (ang. Preprocessing), kjer izboljšamo kvaliteto slike. Na obdelanih slikah poiščemo interesna območja (ang. Regions of Interest) z detekcijo in segmentacijo. Z detekcijo iščemo območja, kjer bi se lahko pojavil izbran objekt [10]. Pri segmentaciji sliko razdelimo na območja, ki so uniformna glede na izbran parameter (osvetljenost, barva, tekstura) [9]. Pri nadaljnjem koraku luščimo značilke (ang. Feature Extraction), ki jih nato uporabimo v primernem algoritmu. Značilke so zgoščeni opisi zanimivih področij slike. To so lahko robovi, linije, uniformna območja, teksture itd. Značilke opišemo z deskriptorji. To so matematični opisi in so po navadi predstavljeni kot več razsežnostni vektorji. Slika 3: Osnovni postopek reševanja problemov v strojnem vidu 3.2 EKSPERIMENTALNI PRISTOP Pri eksperimentalnem reševanju problemov moramo v današnjem času uporabiti veliko količino slik [11]. Seveda te vedno predstavljajo le del celotne populacije. Izbrano množico slik, ki mora biti reprezentativen del populacije, v strojnem vidu imenujemo podatkovna baza (ang. Dataset). Primer podatkovne baze je prikazan na Sliki 4. Podatkovna baza je bistvena komponenta rešitve. Z njo definiramo želje in dokazujemo delovanje sistema. Tako se z bazo zaščitimo pred spreminjanjem in prilagajanjem sistema s strani druge osebe. Spreminjanje sistema bi ogrozilo pravilno delovanje, saj so rešitve prilagojene specifičnim zahtevam. Kadar želimo rešitve primerjati s trenutno najboljšimi rešitvami (ang. State of the Art), moramo uporabiti javne in uveljavljene podatkovne baze. Te vsebujejo realistične slike in referenčne vrednosti (ang. Ground Truth). Referenčne vrednosti po navadi poimenujemo tudi zlati standard (ang. Golden standard). Te so po izbranem protokolu določene vrednosti, ki predstavljajo idealno rešitev za izbrano sliko. Uporabljamo jih GIB letnik 26. št /2017 7

5 V Razvoju elektronike bomo razpoznavanje teksta uporabljali za samodejnejše testiranje programov na pečicah. za evalvacijo ali vrednotenje (ang. Evaluation) naših rezultatov [12]. V zadnjem času se najbolj uporabljajo naslednje podatkovne baze: ImageNet za detekcijo in razpoznavanje [11], COCO za segmentacijo in razumevanje scene [13], KITTI za detekcijo in sledenje pri avtonomnih vozilih [14]. 4 PRAKTIČNA UPORABA VIDA Slika 4: Prikaz podatkovne baze ImageNet. To je trenutno najbolj uporabljena podatkovna zbirka za reševanje problemov detekcije in razpoznavanja objektov. Strojni vid uporabljamo za reševanje zelo širokega spektra problemov, saj gre za interdisciplinarno področje. Če strnemo na nekaj področij uporabe, vid uporabljamo v industriji, v robotiki, varnosti in biometriki, v prometu in prevoznih sredstvih, v vojski in medicini in aplikacijah virtualne resničnosti [4]. V industriji vid velikokrat uporabljamo za razpoznavanje vseh vrst teksta, tudi tistega, ki ga napišemo z roko. Razpoznavanje teksta označujemo s kratico OCR, ki izhaja iz angleščine Optical Character Recognition [10]. V Razvoju elektronike bomo razpoznavanje teksta uporabljali za samodejnejše testiranje programov na pečicah. Poleg razpoznavanja teksta se strojni vid veliko uporablja za hitro pregledovanje izdelkov in zagotavljanje njihove kakovosti. S spreminjanjem svetlobe zagotovimo, da postanejo objekti vidni za stroj. V industriji nismo omejeni le na klasične kamere, ampak lahko uporabimo tudi termografijo (pridobivanje temperaturnih slik) in celo rentgen [10]. Primer uporabe termografije za določevanje temperature hrane v mikrovalovni pečici je prikazan na Sliki 5. GIB letnik 26. št /2017 8

6 Poleg razpoznavanja teksta se strojni vid veliko uporablja za hitro pregledovanje izdelkov in zagotavljanje njihove kakovosti. Slika 5: Primer industrijske termokamere (vir: [15]) in termografije hrane v mikrovalovni pečici (vir: [16]) Kot vemo, so danes varnostne kamere že praktično povsod. Z njimi se lahko zaščitimo pred vsiljivci, lahko pa jih uporabljamo tudi za detekcijo in razpoznavanje ljudi [10]. Na tem mestu sta pomembna detekcija in razpoznavanje obrazov ter šarenice. Lahko ju uporabljamo za avtentikacijo pri dostopu do prostora in podatkov ali pa za forenzične preiskave [10]. Detekcija obrazov nas spremlja ves čas. Če želimo s pametnim telefonom slikati poljubno osebo, se okoli obraza po navadi prikaže kvadratek. Tega določi algoritem za detekcijo obrazov. Pomemben aspekt je tudi varnost v prometu. Z video posnetki lahko analiziramo promet in merimo hitrosti [10]. S kamerami v avtomobilih lahko detektiramo ovire, kot je prikazano na Sliki 6. Brez detekcije ovir bi bila avtonomna vožnja le iluzija [10]. Detekcija pa se ne uporablja samo za varnost, saj jo lahko uporabimo tudi na drugih problemih. Najsodobnejše algoritme lahko naučimo detekcije živil, in jih uporabimo v hladilnikih, tako kot je prikazano na Sliki 7. Z okvirjem določimo, kje na sliki se nahaja objekt. Tekst določa razpoznavo, kaj je ta objekt. V oklepaju je predstavljeno zaupanje v pravilnost detekcije. Slika 6: Primer detekcije kolesarja in pešcev za varnost v prometu (vir: [17]) GIB letnik 26. št /2017 9

7 Z uporabo strojnega vida v gospodinjskih aparatih bomo pridobili veliko korist že samo z opazovanjem osnovnih značilnosti prizora. S primernimi algoritmi bi lahko strojni vid uporabljati tudi na področju pečenja. S kamerami bi zagotovili dodatne parametre za regulacijsko zanko in izpopolnili način pečenja. Z ugotavljanjem površinske strukture bi lahko določili čas pečenja in opomnili uporabnika, kdaj je jed gotova. Primer je prikazan na Sliki 8. Slika 7: Detekcija živil v hladilniku (vir: [18]) Slika 8: Algoritem z ugotavljanjem površinske strukture jedi določi čas pečenja in opomne uporabnika, kdaj je jed gotova (vir: [19]) 5 ZAKLJUČEK Strojni vid je široko multidisciplinarno področje, s katerim poskušamo modelirati kompleksnost človeškega zaznavanja in ga uporabiti za reševanje širokega spektra problemov. Predstavlja stik stroja z realnim svetom in je neposredno povezan s pametnimi napravami. Iz posameznih slik lahko s primernimi orodji in pristopi izluščimo veliko količino informacij in jih uporabimo za poenostavitev uporabe in olajšanje življenja uporabnikov. Seveda moramo pri tem upoštevati zasebnost uporabnikov. Paziti moramo, da ne pridobivamo podatkov uporabnikov samih. Kamere morajo biti usmerjene v področje uporabe na način, da se uporabnik počuti varno. Prav tako moramo omogočiti uporabniku, da sam izbere, kateri podatki se aktivno spremljajo. S tem bomo zagotovili višjo stopnjo njegovega zaupanja. V pralnih in sušilnih aparatih bi lahko že z opazovanjem barvnih značilnosti določili ali je v bobnu res samo belo perilo. Z uporabo strojnega vida v gospodinjskih aparatih bomo pridobili veliko korist že samo z opazovanjem osnovnih značilnosti prizora. V pralnih in sušilnih aparatih bi lahko že z opazovanjem barvnih značilnosti določili ali je v bobnu res samo belo perilo. V hladilniku bi uporabnik s pomočjo strojnega vida ob vsakem časovnem trenutku imel vpogled, kaj je v hladilniku, ne da bi za to moral biti fizično prisoten. Zaradi redkejšega odpiranja vrat bi zmanjšali porabo energije. Uporabniku prav tako ne bi bilo več treba ročno pisati nakupovalnega spiska. Recepti bi lahko postali bolj personalizirani, saj bi upoštevali vsebino hladilnika. Strojni vid bo pomemben tudi v pečicah, kjer je ideja nadomestitev človeškega vida. Zažgane jedi bodo s pomočjo strojnega vida v prihodnosti stvar preteklosti. GIB letnik 26. št /

8 6 VIRI IN LITERATURA [1] A. S. Shweta, Intelligent refrigerator using ARTIFICIAL INTELLIGENCE, v Intelligent Systems and Control (ISCO), th International Conference on, 2017, str [2] K. Gram-Hanssen in S. J. Darby, Home is where the smart is? Evaluating smart home research and approaches against the concept of home, Energy Res. Soc. Sci., let. 37, št. March 2017, str , [3] M. Swan, Sensor Mania! The Internet of Things, Wearable Computing, Objective Metrics, and the Quantified Self 2.0, J. Sens. Actuator Networks, let. 1, št. 3, str , nov [4] E. Trucco in A. Verri, Introductory techniques for 3-D computer vision. str. 343, [5] B. G. Batchelor in P. F. Whelan, Machine vision systems: Proverbs, principles, prejudices and priorities, v Proc. of SME Conf. on Applied Machine Vision, 1996, str [6] T. S. Huang, Computer Vision: Evolution and Promise, [7] Cognex, Introduction to machine vision: A guide to automating process & quality improvements, [8] European Editors, Machine vision system, [Na spletu]. Dostopno: [Dostopano: 03-nov-2017]. [9] Davies, Computer and Machine Vision: Theory, Algorithms, Practicalities [10] R. Szeliski, Computer vision: algorithms and applications. Springer Science & Business Media, [11] Jia Deng, Wei Dong, R. Socher, Li-Jia Li, Kai Li, in Li Fei-Fei, ImageNet: A large-scale hierarchical image database, 2009 IEEE Conf. Comput. Vis. Pattern Recognit., str , [12] O. Russakovsky, J. Deng, Z. Huang, A. C. Berg, in L. Fei-Fei, Detecting avocados to Zucchinis: What have we done, and where are we going?, Proc. IEEE Int. Conf. Comput. Vis., str , [13] T. Y. Lin idr., Microsoft COCO: Common objects in context, Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), let LNCS, št. PART 5, str , [14] A. Geiger, P. Lenz, in R. Urtasun, Are we ready for autonomous driving? the KITTI vision benchmark suite, v Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2012, str [15] I. FLIR Systems, FLIR Exx-Series Advanced Thermal Imaging Cameras FLIR Systems. [Na spletu]. Dostopno: 85-e95/. [Dostopano: 10-nov-2017]. [16] I. FLIR Systems, FLIR ONE for ios - Food in the microwave - YouTube. [Na spletu]. Dostopno: [Dostopano: 10-nov-2017]. [17] ll0zz, Détection de personne, [Na spletu]. Dostopno: wikimedia.org/wiki/file:détection_de_personne_-_exemple_2.jpg. [Dostopano: 06-nov-2017]. [18] Microsoft, Object detection using Fast R-CNN Microsoft Docs. [Na spletu]. Dostopno: [Dostopano: 10-nov-2017]. [19] Mashable, Smart oven uses image recognition to cook the perfect meal every time. [Na spletu]. Dostopno: [Dostopano: 10-nov-2017]. GIB letnik 26. št /