UNIVERZITA KOMENSKÉHO V BRATISLAVEFAKULTA MATEMATIKY, FYZIKY A INFORMATIKY

Transcription

1 UNIVERZITA KOMENSKÉHO V BRATISLAVEFAKULTA MATEMATIKY, FYZIKY A INFORMATIKY Sieť senzorov pre inteligentnú domácnosť Bakalárska práca 2016 Jozef Čelko

2 Obsah 1. Úvod Východiská Hardware Raspberry Pi Raspbbery Pi 2 model B Arduino Arduino Uno Senzory ktoré plánujem použiť Použité technológie Programovací jazyk C# Vývojová platforma Face API Speaker Recognition API Frameworky na komunikáciu medzi zariadeniami Alljoyn Podobné riešenia Windows IoT: Facial Recognition Door Home Alarm System Project Použitá literatúra a zdroje... 9

3 1. Úvod V dnešnej modernej dobe v našich domácnostiach čím ďalej viac využívame nejaké smart zariadenia. Nejedná sa však už len iba o počítače, tablety alebo mobilné telefóny, čím ďalej viac domácich spotrebičov je schopných sa pripojiť na lokálnu sieť a tak prostredníctvom internetu nás informovať o ich aktuálnom stave. Či už sa jedná napríklad o inteligentné chladničky ktoré vedia pomocou notifikácie oznamovať aktuálne stavy a množstvo potravín v chladničke alebo inteligentné práčky, ktoré svoj prací cyklus vedia naplánovať podľa príchodov členov domácnosti. Medzi takéto zariadenia nepatria iba veľké domáce spotrebiče ale aj drobnejšie zariadenia ako napríklad žiarovky, malé robotické vysávače,meteo stanice, kávovary skrátene všetky zariadenia, ktoré vďaka tomu, že sú pripojené do siete internetu nám vedia uľahčiť každodenné úlohy. Niekoľko ľudí však napadlo, čo keby tieto zariadenia v jednej sieti vedeli komunikovať medzi sebou a tak byť o niečo viac nápomocnejšie.z tejto myšlienky vznikol pojem Internet of things. Internet of things je koncept siete fyzických objektov, od jednoduchých senzorov až po veľké domáce spotrebiče, ktoré sú schopné prostredníctvom siete komunikovať medzi sebou. Vďaka takejto komunikácií je možné lepšie prispôsobovať nastavenia zariadení v domácnosti. Napríklad kávovar by vedel pripraviť rannú kávu podľa času nastavenom na budíku, jas televíznej obrazovky by sa prispôsoboval na základe správ od inteligentného osvetlenia, svetlá v miestnostiach v ktorých sa nikto nenachádza by sa po nejakom čase samé vedeli vypnúť kvôli úspore energie. Využite takýchto zariadení sa nevzťahuje iba na domácnosti, je možné ich využívať takmer kdekoľvek. V mestách sa môžu využívať na monitorovanie voľných parkovacích miest, meranie cestnej premávky, vedeli by napríklad informovať vodičov o stave vozovky po ktorej práve šoférujú svoje auto a mnoho ďalších využití. V priemysle tieto zariadenia využívajú na sledovanie kvality vody, ovzdušia, sledovanie položiek vo výrobe atď. Svoje uplatnenie majú aj v zdravotníctve, kde pomocou rôznych náramkov vedia lekárovi odosielať informácie o vašom zdraví ako napríklad tep, tlak, teplotu a podobne. Na to aby tieto zariadenia mohli komunikovať medzi sebou vzniklo niekoľko frameworkov ktoré umožňujú ich vzájomnú komunikáciu. Predstavme si teda tieto Iotivity, Google Brillo,Google Weave, Apple Homekit, Alljoyn. Jednotlivé technológie majú svoje klady a zápory výsledkom mojej prace bude niektorú z technológii vybrať a implementovať. Cieľom prace je nielen vytvoriť systém ktorý agreguje dáta z rôzne zložitých senzorov, ale hlavne preskúmať čo prináša možnosť tieto informácie kombinovať. Poďme si teda predstaviť HW vďaka ktorému bude tento systém fungovať. 1

4 2. Východiská 2.1. Hardware Raspberry Pi Raspberry Pi [1] je minipočítač veľkosti kreditnej karty ku ktorému je možné pripojiť štandardný monitor, klávesnicu a myš. Tento malý počítač je schopný robiť všetko, čo by ste od stolného počítača očakávali. Okrem bežných vecí ako prehliadanie internetu a spracovanie textu a tabuliek dokáže prehrávať video vo vysokom rozlíšení a dajú sa na ňom hrať aj hry. Tento počítač bol predovšetkým určený na rozširovanie vedomosti o počítačoch a o programovaní v jazykoch Scratch a Python. Raspberry Pi obsahuje rad GPIO pinov pomocou ktorých komunikuje s okolitým svetom. Vďaka týmto pinom dokáže komunikovať s elektrickými obvodmi, čo mu dáva takmer neobmedzene možnosti využitia Raspbbery Pi 2 model B Základom Raspberry Pi 2 model B je mala základňa doska založená na platforme ARM. Tento malý lacný počítač je vybavený štvorjadrovým procesorom a štvorjadrovým grafickým čipom s podporou hardwarového dekódovania videa. Obsahuje 1GB ram pamäte ktorá je zdieľaná s GPU. Doska obsahuje štyri USB 2.0 porty pomocou ktorých je možné pripojiť ľubovoľné zariadenia. Na pripojenie do internetu je tak možné využiť aj usb wifi adapter a nielen Ethernet port ktorý sa nachádza priamo na doske. Raspberry obsahuje dva video výstupy a to HDMI s podporou rozlíšenia do 1920x1200 a 3,5mm jack výstup kompozitného videa ktorý je zdieľaný s audiom. Na vrchnej strane dosky sa ešte nachádza DSI displej konektor, CSI kamera konektor a rad GPIO pinov. Zariadenie na uloženie operačného systému používa micro sd karty pre ktoré sa slot nachádza na spodnej časti dosky. Napájanie zabezpečuje microusb port. Minimálne odporúčané napájanie je 5V/1A(podľa pripojených periférii). Obrázok 1. Raspberry Pi 2 model B vrchný pohľad 2

5 Obrázok 2 Raspberry Pi 2 model B spodný pohľad Technická špecifikácia Procesor: GPU: RAM: Video výstupy: Ethernet: Vstupy, výstupy : Úložisko: Broadcom BCM MHz Cortex-A7 Broadcom Videocore IV 250MHz 1GB (zdielaná z GPU) HDMI, Kompozitný video výstup 3,5 s audiom 10/100Mbit 4x USB 2.0, 40 GPIO pinov, CSI,DSI micro SD slot Podporovane platformy : Oficiálne podporovaný operačný systém: Neoficiálne podporované operačné systémy: Rasberian Ubuntu Mate Snappy Ubuntu core Windows 10 IOT core OSMC OPENELEC PINET RISC OS 3

6 Čo je vlastne GPIO GPIO alebo General Purpose Input/Output sú piny, teda vstupy alebo výstupy ktoré možno programovať. Do týchto pinov je možné posielať elektrické signály alebo ich naopak čítať, vďaka tomu je možné pracovať s pripojeným hardwarom na tej najnižšej úrovni. Obrázok 3 - Raspberry pi 2 GPIO pins Arduino Je otvorená vývojová platforma pre jednoduché návrhy a vývoj elektronických programovateľných zariadení. Arduino [2] môže byť použité na vytváranie samostatných interaktívnych zapojení alebo môže byť pripojené k počítaču. Je to výborná pomôcka pre ľudí, ktorý potrebujú ovládať, merať, zobrazovať, zaznamenávať alebo prenášať dáta. Existuje k nemu veľké množstvo senzorov a periférii pomocou ktorých sa s z tohto malého zariadenia stáva zariadenie s neobmedzenými možnosťami. Arduino sa programuje pomocou Arduino programming language, je to jazyk ktorý je založený na programovacom jazyku Wiring a jazyku Processing. 4

7 2.1.4 Arduino Uno Arduino Uno je vývojová doska s mikrokontrolérom AVR Atmega328. Ide o základnú verziu, z ktorej ostatné verzie dosiek vychádzajú. Doska obsahuje 14 digitálnych portov a 6 analógových portov. Ďalej obsahuje konektor na pripojenie externého napájania a resetovacie tlačidlo. Rovnako je na doske pripojené jedna LED dióda, ktorú je možné ovládať. Ostatné voliteľné periférie je nutné pripojiť zvlášť. Arduino je vybavené micro USB konektorom a po pripojení k PC sa hlási ako sériový port. Vlastné programovanie prebieha v jednoduchom prostredí Arduino IDE Technická špecifikácia Čip: Pamäť: SRAM: EEPROM: Vstupy a výstupy: Rozhranie: ATmega328 Frekvencia 16 MHz 32 KB, 0,5 KB použité bootloaderom 2 kb 1 kb 14x digitálny vstup/výstup, 6x analógový vstup USB 2.0 (prevodník na sériový port),spi 5

8 2.1.5 Senzory ktoré plánujem použiť Pohybový senzor Pomocou pohybových senzorov budem zisťovať v ktorých miestnostiach v domácnosti sa nachádzajú osoby. Z týchto senzorov by sa takisto dalo vyčítať koľko ľudí sa práve v domácnosti nachádza. Na základe toho v ktorej miernosti senzor zaznamená pohyb by bolo možné predpokladať o ktorú osobu sa jedná IR sezor Pomocou IR senzora je možné odčítavať z diaľkových ovládačov ktoré tlačidlá boli stlačené. Ak by senzor sledoval ktoré tlačidlá by boli stlačené, napríklad na diaľkovom ovládači od televízie, dalo by sa predpokladať na základe práve prezeraného kanálu, kto práve používa televíziu RFID senzor Pomocou tohto senzora by bolo možné presne identifikovať osobu ktorá práve vstupuje do domu. Každý člen domácnosti by mal svoj jedinečný RFID tag ktorý by slúžil na odblokovanie alarmu v dome a tak by bolo jednoduché určiť kto práve vstúpil do domácnosť Kamera Na základe fotiek zosnímaných z kamery sa dá pomocou Face API identifikovať ktorá osoba je na snímkach Mikrofón Osoby v domácnosti by bolo možné identifikovať pomocou hlasu, ktorý by sa zaznamenal na mikrofón a bol odoslaný na identifikáciu prostredníctvom Speaker Recognition API. 2.2 Použité technológie Programovací jazyk C# Rozhodol som sa programovať v programovacom jazyku C#. Tento jazyk je objekotovo orientovaný vyvinutý spoločnosťou Microsoft ktorý funguje na frameworku.net Na prácu s týmto jazykom budem používať Visual Studio COmmunity Edition Vývojová platforma Rozhodol som sa svoju bakalársku prácu postaviť na Windows IoT Core platforme vďaka ktorej budem moc pristupovať k API ktoré mi budú pomáhať pri spracovávaní dát z kamery a mikrofónu. Tieto APi budú slúžiť na identifikáciu osôb v domácnosti. 6

9 Windows IoT Core Windows 10 IoT Core [5] je verzia Windows 10 ktorá je optimalizovaná pre malé zariadenia s displejom alebo bez. Tento OS je dostupný pre Rasberry Pi 2, DragonBOard 410c a MinonowBoard MAX. Windows IoT Core je do istej miery nástupcom starších systémov Windows CE či Embedded ktoré sa používali napríklad v bankomatoch, predajných automatoch a iných špecializovaných zariadeniach. Tento systém je optimalizovaný skôr na domáce použitie než na komerčné účely. Vývojári na tejto platforme vedia vytvárať vlastné aplikácie s grafickým používateľským rozhraním alebo i bez neho. Windows IoT Core podporuje Arduino Wiring API na priamu prácu s hardwarom Arudina. Aplikácie je možné vyvíjať v programovacích jazykoch C,C++,C#, Python a Node.js vo vývojovom prostredí Visual Studio Community Edition Face API Microsoft Project Oxford Face API [3] je cloudove APi ktoré využíva pokročilé algoritmy na rozpoznávanie a detekciu tváre. Toto API ma dve hlavné funkcionality a to detekciu a rozpoznanie tvare. Face API dokáže veľmi presne určiť polohu tváre v JPEG obrázku alebo zadaním špecifickej URL adresy na konkrétny obrázok. Jeho pomocou je možne overiť a identifikovať osobu ktorá je na obrázku. Takto identifikované osoby vie zaradiť do rôznych kategórii ako napríklad rodina, kamaráti a pod Speaker Recognition API Microsoft Project Oxford Speaker Recognition API [4] je cloudové api ktoré slúži na identifikáciu osoby pomocou hlasu. Api poskytuje dve hlavne funkcionality a to overenie rečníka, a identifikáciu rečníka. Rečníka overuje pomocou predurčenej frázy ktorá bola nahratá. Druhou hlavnou funkcionalitou je identifikácia rečníka pri ktorej nezáleží na tom čo človek rozpráva. 2.3 Frameworky na komunikáciu medzi zariadeniami Alljoyn Je open source framework ktorú zjednodušuje objavovanie a komunikáciu medzi zariadeniami a aplikáciami. Programátori môžu používať štandardné rozhrania definované AllSeen Alianciou alebo si môžu navrhovať svoje vlastné. Zariadenia pomocou tohto frameworku môžu spolu komunikovať buď priamo alebo prostredníctvom cloudu. Alljoyn bol navrhnutý tak aby mohol byť požitý na niekoľkých platformách a to RTOS,Arduino, Linux, Android,iOS, Windows a Mac. Podporuje programovacie jazyky ako C,C++ Obj-C a Java. 7

10 Obrázok 4 Architektúra Alljoyn 2.4 Podobné riešenia Windows IoT: Facial Recognition Door Tento projekt [7] je súčasťou projektu Hack the Home od Microsoftu. V tomto projekte je uvedený podobný princíp akým budem overovať osoby v domácnosti teda pomocou USB kamery ktorá bude snímať tváre ľudí a tak rozoznávať kto sa v domácnosti nachádza. Nevýhodou tohto riešenia je to,že na spustenie verifikácie treba stlačiť tlačidlo. Výhodou mojho riešenia by bolo, že v mojom riešení by bola verifikácia osoby spustená na základe pohybového senzora ktorý sa bude nachádzať pred kamerou Home Alarm System Project Moja výsledná práca sa bude dať použiť aj ako domáci alarmový systém, kedže jeho súčasťou je zisťovanie a overovanie osôb v domácnosti. Tento projekt [8] zobrazuje notifikácie o stave alarmu buď prostredníctvom u, alebo pomocou web stránky ktorá môže byť spustená na lokálnom servery alebo na internete. Moje riešenie by obsahovalo viac druhov, verifikácie osôb, a to pomocou detekcie tváre, hlasu, overením pomocou rfid tagov. Taktiž by moj systém vedel poskytnúť informácie aj z iných senzorov ktoré sa nachádzajú v domácnosti. Nevýhodou tohto projektu je, malá možnosť konfigurácie používatelom, a nepekné grafické prostredie. 8

11 3.Použitá literatúra a zdroje [1] Raspberry Pi na oficiálnej stránke, dostupné dňa [ ] [2] Popis Arduina, dostupné dňa [ ] [3] Face API, dostupné dňa [ ] [4] Speaker Recognition API, dostupné dňa [ ] [5] Windows 10 IoT Core, dostupné dňa [ ] [6] AllJoyn Framework, dostupné dňa [ ] [7] Wiindows IoT Facial Recognition Door dostupné dňa [ ] [8] Home Alarm System Project dostupné dňa [ ] 9