BLAZE MODUL. Seminar iz kolegija Uporaba računala u nastavi. Ana Ledić U Zagrebu, 22. Svibnja 2014.

Transcription

1 BLAZE MODUL Seminar iz kolegija Uporaba računala u nastavi U Zagrebu, 22. Svibnja Ana Ledić ana.ledic@studentpartner.com

2 Sadržaj Čemu služi Blaze?... 2 Što je Blaze?... 3 Grafovi... 4 Datashapes... 5 Primjer stvaranja Blaze polja... 6 Princip pohrane podataka... 7 Operacije nad Blaze objektima... 8 Planovi za budućnost... 9 Literatura... 9

3 Blaze modul Čemu služi Blaze? Infrastrukture današnjih računala uvelike se razlikuju od infrastrukture računala prije, reći ćemo, 25 godina. Mnogo komponenti doživjele su drastične promjene, a najalarmantnija od njih definitivno je rastuća razlika između brzine procesora (CPU speed) i brzine memorije. Ovaj problem poznat je pod nazivom memorijski zid (memory wall). U cilju rješavanja problema memorijskog zida, izgled memorijske arhitekture današnjih računala uvelike se promijenio, kao što možemo vidjeti na slici 1. Slika 1 Razvoj memorijske arhitekture računala Kao što možemo vidjeti na slici, nekoć je postojala jednostavna arhitektura računala koja se sastojala od prostora za trajnu pohranu podataka (hard disk, mechanical disk) i jednog jednostavnog sloja za trenutačnu pohranu podataka (RAM, main memory). Međutim, razvoj računala i sve veća uporaba velikog broja podataka koje obrađuje procesor (CPU) dovela su do potrebe za razvojem novih memorijskih razina, kako unutar prostora za trajnu pohranu podataka, tako i u prostoru za trenutnu pohranu podataka. Primjerice, razvilo se nekoliko memorijskih slojeva za trajnu pohranu podataka, poput hard diska, tzv. solid state diska, a u najnovije vrijeme javio se i cloud computing, korištenjem kojeg korisnik može pohranjivati, povlačiti pa čak i obrađivati podatke na vanjskom serveru kojeg onda zovemo host. Što se prostora za trenutnu pohranu podataka tiče, već u 90.-ih godina prošlog stoljeća razvijena je priručna memorija (cache memory), smještena uz sami procesor, a služi za pohranu podataka koje će koristiti procesor prilikom obrade trenutnog zahtjeva. Kako današnji procesori sadrže ne samo jednu, već više procesorskih jezgri te mogu obrađivati i do 20 dretvi (threads) istovremeno, potrebno je uvesti nove slojeve priručne memorije kako bi se ispravno pohranili podaci potrebni određenom procesu (dretvi). Naravno, uvijek ostaje sloj glavne memorije (RAM) u koju se spremaju svi podaci koje koriste pokrenuti programi i sam operacijski sustav. Potrebni kapacitet današnjih RAM memorija sve više raste jer sa razvojem novih programa raste i zahtjevnost njihove obrade. Primjerice, nekoć je bilo sasvim dovoljno 512 MB RAM memorije, dok danas minimalan kapacitet RAM memorije za 64-bitne operacijske sustave iznosi 2GB.

4 Konačno, u najnovije vrijeme nastupila je takozvana Big Data era pohrane i obrade podataka, što je ukratko problem pohrane, oporavka, pretrage, prijenosa, dijeljenja, analize i vizualizacije sve većih skupova podataka. U cilju rješavanja problema manipulacije podacima, izuzetno je važno da aplikacije poznaju hijerarhiju dostupne im memorije kako bi mogle efikasnije obrađivati potrebne im podatke. Međutim, upoznati arhitekturu memorijskog sustava nije nimalo jednostavno, svaki sloj memorije ima različita svojstva, različitu brzinu pristupa podacima, različite kapacitete i najvažnije, svakom sloju se pristupa na drugačiji način. Što je Blaze? Blaze je modul, odnosno library dizajniran za rješavanje problema obrade podataka koji su smješteni u različitim slojevima memorijske hijerarhije. Obrada podataka je transparentna i zapravo slijedi paradigmu pristupa podacima koju koristi NumPy modul, samo što se pristup podacima paketom Blaze odvija na korisničkoj razini. Stvoren je i implementiran novi format, interno zvan BLZ, koji poznaje značajke svih slojeva memorije za pohranu podataka. Kako bi se bolje prilagodio memorijskoj hijerarhiji, format je i sam hijerarhijski strukturiran. Struktura je ostvarena podjelom podataka u komade (chunks) različitih veličina, ovisno o sloju memorije u koji će se najčešće spremati ti podaci. Svaki komad podataka može se komprimirati, čime se reducira potreban prostor za pohranu tog komada podataka, a smanjena je i propusnost (bandwidth) potrebna za prijenos ovih komada podataka između različitih slojeva memorije. Blaze nastoji proširiti strukturalne značajke NumPy polja (arrays) uporabom tabličnih i poljima sličnih struktura koje podržavaju često tražene značajke poput vrijednosti koje nedostaju, heterogenosti tipova, označenih polja i slično. Slika 2 prikazuje strukture koje se često koriste unutar NumPy i Blaze modula. Slika 2 Često korištene značajke struktura podataka Za razliku od NumPy paketa, Blaze je dizajniran za računanje proračuna velikih skupova podataka, toliko velikih da premašuju kapacitet memorije sustava. Također, ovaj paket radi s distribuiranim i streaming podacima, odnosno onim podacima koji se razmjenjuju između velikog broja korisnika.

5 Blaze je u mogućnosti izvršavati operacije nad podacima toliko transparentno da se korisniku čini da se podaci s kojima radi Blaze ponašaju kao NumPy polja spremljena u internoj memoriji računala. Blaze nastoji omogućiti analitičarima i znanstvenicima produktivno pisanje efikasnog koda, bez potrebe za zamaranjem oko detalja distribucije proračuna ili prijenosa i pretvorbe podataka između različitih baza podataka, formata podataka, spremišta proprietary podataka i sličnih silosa, kao što je prikazano na slici 3. Slika 3 Izvori podataka Grafovi Osnovni način rada Blaze modula je konstrukcija grafova. Graf se konstruira iz svakog čvora koji odgovara izvoru podataka ili tzv. ByteProvider-a. Način stvaranja je sličan kao i kod ORM modela (Object Relation Mapping), odnosno operacije nad objektima nisu trenutne, već se stvara upit (query) ili plan izvršavanja operacija nad podacima, a tek nakon dobro isplaniranog upita se isti i izvršava nad podacima. Ovaj način obrade podataka omogućuje preglednost obrade, smanjuje mogućnost pogrešaka, dohvaćanja ili spremanja krivih podataka, curenja memorije, gubitka kritičnih podataka i slično. Možda najbitnija značajka ovog modula je mogućnost uvoza podataka iz širokog spektra izvora, uključujući i polja smještena na samom računalu. Cilja se na dohvat podataka iz različitih baza podataka, poput CSV, SQL, Amazon S3 baza podataka kao da su smješteni u lokalnim datotekama. Primjer Python koda koji pomoću Blaze modula dohvaća podatke iz različitih izvora prikazan je na slici 4. Slika 4 Dohvat podataka iz različitih izvora Nakon što su podaci dohvaćeni iz različitih izvora, podaci stvaraju grafičku prezentaciju python izraza koji se potom može izvršiti pomoću eval naredbe, čime se trenutačno dobivaju rezultati.

6 Slika 5 Grafički prikaz Blaze izraza Datashapes Blaze uvodi bogatije značajke za opis strukturalnih i vrijednosnih tipova podataka. Opis tipova podataka u Blaze paketu naziva se oblik podataka, odnosno datashape podataka, a u suštini je kompozicija dtype i shape izraza za opis podataka unutar NumPy paketa. Jedan tip podataka unutar datashape opisa nazivaju se unit tipovi. Ovi tipovi predstavljaju ili dtype kao što je int32 ili datetime ili jednu dimenziju kao što je var. Dimenzije i pojedini dtype tipovi podataka komponirani su zajedno u datashape tip. Slično kao i NumPy, Blaze radi s velikim brojem različitih dtype tipova podataka, koji odgovaraju tipovima podataka u C/C++ programskim jezicima. Tipovi podataka prikazani su na slici 6. Slika 6 dtype tipovi podataka Dodatno, postoje tipovi podataka koji nisu potpuno specificirani na bit/byte levelu, neki od njih prikazani su na slici 7.

7 Slika 7 Dodatni tipovi podataka Također, brojni tipovi podataka koje koristi Python programski jezik jednostavno se mogu upakirati u Blaze datashape opise podataka, kao što je prikazano na slici 8. Slika 8 Python tipovi podataka i Blaze oblici podataka Primjer stvaranja Blaze polja Stvaranje polja podataka pomoću Blaze modula jako je jednostavno. Primjerice, polja je moguće stvoriti iz ugniježđenih lista, a Blaze modul sam zaključi tip podatka i dimenziju polja. Proces stvaranja polja prikazan je na slici 9. Slika 9 Primjer stvaranja Blaze polja Tipove podataka unutar polja možete jednostavno promijeniti pozivanjem dshape parametra, kao što je prikazano na slici 10.

8 Slika 10 Promjena tipa podataka Blaze posjeduje model podataka koji je širi od NumPy modula, primjerice unutar Blaze polja možete deklarirati polja promjenjive duljine, uporabom var izraza kao što je prikazano na slici 11. Slika 11 Primjer deklariranja varijable unutar polja Također, kao što je prikazano na slici 12, Blaze podržava i stringove promjenjive duljine. Slika 12 Promjenjiva duljina string tipova podataka Princip pohrane podataka Primjer stvaranja Blaze polja koje se sastoji od 8 milijardi elemenata prikazan je na slici 13. Slika 13 Stvaranje polja od 8 milijardi elemenata Ova naredba stvorila je polje od 64 GB podataka, na uređaju koji posjeduje 8 GB RAM-a. Naravno, podaci su spremljeni na hard disk, a ne u glavnu memoriju računala. Također, vrijeme potrebno za stvaranje cijelog polja je samo 21 s, što znači da je brzina stvaranja polja 3 GB/s, što je jako dobro. Proces zaslužan za ovako brz zapis podataka je kompresija skupova podataka. Naravno, da bi se dostigle ovako velike brzine zapisivanja, kompresor mora biti jako brzo. Kompresor koji se koristi za Blaze modul naziva se Blosc. Datoteke s podacima spremaju se u mapu s.blz ekstenzijom. Dio sadržaja direktorija prikazan je na slici 14.

9 Slika 14 Sadržaj.blz direktorija Već je spomenuto da Blaze sprema podatke u tzv. chunks i super-chunks. Svaki od prikazanih.blp datoteka prikazanih na slici 14 zapravo su super-chunk komadi podataka i slijede otvoreni Bloscpack format. Svaki od ovih super-chunk formata sprema u sebi brojne chunk komade podataka koje slijede Blosc format, odnosno format kompresora. Konačno, svaki chunk je sastavljen od nekoliko blokova podataka koji predstavljaju najmanji mogući skup podataka koji se može komprimirati/dekomprimirati neovisno o ostalima. Način organizacije Blaze podataka prikazan je na slici 15. Slika 15 Način organizacije podataka Svaki super-chunk, chunk i blok imaju različitu veličinu i prilagođavaju se različitim slojevima memorijske hijerarhije. Primjerice, super-chunk se spremaju u trajnu memoriju odnosno SSD diskove, chunk se spremaju unutar RAM memorije, a blokovi se spremaju većinom unutar cache memorije koja se nalazi u samom procesoru. Operacije nad Blaze objektima Pohrana podataka samo je jedan dio operacija koje izvršava Blaze modul. Računanje s podacima se planira uvesti u novije verzije modula, uvođenjem kernela koji služe sa računanje, a koji podržavaju računanje s BLZ formatom, a koji bi trebali omogućiti tzv. out-of-core računanje s podacima, odnosno računanje bez uporabe RAM memorije. Dijagram koji prikazuje kako bi se računanje s podacima trebalo izvesti pomoću Blaze modula prikazano je na slici 16.

10 Slika 16 Računanje unutar Blaze modula Planovi za budućnost Razvojni programeri Blaze modula planiraju uvesti format pohrane podataka koji će zadovoljavati sljedeće karakteristike: Otvoren. Ozbiljan format podataka treba biti otvoren i treba se dokumentirati što je više moguće. Stabilan. Nastoji se izbjeći da nove verzije Blaze modula budu nekompatibilne sa starijim verzijama. Pouzdan. Primjerice, ako se neki proces prekine na polovici izvršavanja, nastojati će se omogućiti da prethodno pohranjeni podaci i dalje budu dostupni korisniku. Skalabilan. Nastoji se omogućiti što veća distribucija skupova podataka. Literatura Francesc Alted Oscar Villellas, Continuum Analytics [Internet] BLZ: A data format leveraging the hierarchical memory model Stephen Diel, Continuum Analytics [Internet], A Python Compiler for Big Data Anonymus, Blaze [Internet], Anonymus, Datashape [Internet],