5. harjutustund (1.10)

Transcription

1 Kava 5. harjutustund (1.10) Andmete laadimine ja töötlus: o ETL (extract, transform & load) põhimõtted o SQL Server Integration Services (SSIS) tutvustus o Iseseisev harjutus Teemad ETL põhimõtted ETL (Extract, Transform & Load) on koodnimetus, mis hõlmab andmete ettevalmistamisega seotud küsimusi. Eesmärk: koguda lähtesüsteemidest andmed ning teisendada need multidimensionaalsele kujule. Kolm peamist sammu: Extract andmete pärimine lähtesüsteemidest (relatsioonilised andmebaasid, Exceli tabelid, teksti- või XMLfailid vm.) o Andmete pärimine peaks olema võimalikult lihtne, tüüpiliselt "SELECT *"-tüüpi päringud. o Iga päring koormab lähtesüsteemi (OLTP), üheks probleemiks on tabelite lukustus. o Päring peaks toimuma võimalikult kiiresti, et minimeerida ebakooskõlalisusi (nt. tehingu päis on olemas, ridu veel mitte). Transform andmete töötlemine, puhastamine ja ühildamine. o Väärtuste kontroll ja valideerimine. o Duplikaatide eemaldamine (nt. klienditabelis kaks sama nimega klienti). o Samasisuliste andmete ühildamine (nt. mitme klienditabeli kombineerimine üheks) o Väärtuste ümberkodeerimine (nt. koodide asendamine nimedega). Load töödeldud andmete kirjutamine andmeaida tabelitesse. Tänases tunnis õpime, kuidas saab andmeaidas andmete laadimisi teha ETL vahendiga. Järgnev tegevuskava aitab lahendada ülesannet: Koostada ETL vahendiga Extract-programm, mis loob andmeaita töötaja dimensiooni. Töötaja dimensiooni kasutatakse edaspidi tegevuste (tellimuste ja arvete koostamine) või operatsioonide (tootmisoperatsioonid, komplekteerimine) läbiviija tuvastamiseks. Dimensioon on ka palga väljamaksete kuubi üheks kirjeldavaks tunnuseks. Iga töötaja kohta peaks dimensioonis olema: töötajat identifitseeriv kood, isikukood, töötaja täisnimi, sugu, ametinimetus, millal on töötaja sünnipäev ning millal ta palgati. Otsida üles osakond, kus töötaja hetkel töötab ning lisada dimensiooni ka osakonna nimetus ning osakondade grupi nimi. Tulemused salvestada andmeaida andmebaasis tabelis DimEmployee Dimensiooni struktuur kokkuvõtlikult: DimEmployee PK EmployeeID NationalIDNumber EmployeeName Title Gender BirthDate HireDate DepartmentName DepartmentGroupName 1

2 SQL Server Integration Services tutvustus SQL Server Integration Services (SSIS) on komplekt andmeaida ehitamise ja andmete laadimise tööriistu. Peamise töövahendina kasutatakse Visual Studio eriversiooni Business Intelligence Development Studio (BIDS). Projekti loomine BIDSis toimub töö projektipõhiselt, projekt koosneb pakettidest. Projekti sisuline skoop on kasutaja määrata, kuid soovituslikult võiks üks SSIS projekt koosneda ühe andmevaka valdkonnaga (nt. müük, finants, ladu, tootmine) seotud ETL tegevustest. Üks pakett võiks sisaldada ühe subjekti (nt. klient, kaup, müügitehing) ETL tegevusi see tagab lahenduse modulaarsuse ning võimaldab paindlikke käivitusi nt. kliendiandmed laaditakse kord päevas, sagedamini muutuvaid tehinguid (nt. arved) lisatakse andmelattu kord tunnis. SSIS projekti loomiseks käivitage BIDS ning looge uus projekt tüübiga Integration Services Project. Tühjas projekti on vaikimisi üks pakett (Package.dtsx), mida hakkame muutma. Avame selle topeltklõpsuga. Andmeallikad Enne andmetöötlust tuleb defineerida andmete lähtekohad: kus asuvad operatiivsüsteemide andmebaasid ning kuhu luuakse lõplik andmeladu. Üks andmeallikas (Data Source) tähistab andmebaasiserveri ja andmebaasi nime kombinatsiooni. 2

3 Andmeallika loomiseks (Solution Explorer Data Sources New Data Source) tuleb määrata: Draiveri tüüp - Provider := Native OLE DB\SQL Server Native Client 10.0 Andmebaasiserveri nimi (Server Name): meie harjutustes on see ELBRUS Serverile ligipääsu parameetrid (kasutajanimi/parool). Õppeserveris kasutame Windows Authentication Andmebaasi nimi (Connect To a database) Kuna operatiivandmebaas (AdventureWorks) ning andmeait (t12<kasutajanimi>) on erinevad, looge kaks andmeallikat: Paketi loomine, juhtvoo toimingud ETL pakett (Integration Services Package) koosneb juhtvoo toimingutest (Control Flow Task), mille käivitamine toimub paketis määratud järjekorra põhjal. Toiminguid saab paketti lisada tööriistakastist (Toolbox) Levinuimad toimingud on: Data Flow task - võimaldab defineerida andmevooge, nt. tõsta andmed lähtetabelist sihttabelisse ning teha valitud kirjete osas teisendusi. Andmevoogusid vaatleme lähemalt. Execute SQL task käivitab andmebaasi peal mingi SQL käsu. FTP task võimaldab failide FTP serverisse saatmist või nende sealt allalaadimist Execute Package task käivitab mõne teise SSIS paketi Järgmisel joonisel on näide kahe toiminguga paketist: 3

4 Selline loogika vastab kõige lihtsamale andmelao uuendamisele: esimese sammuna tühjendatakse andmelao tabel kõikidest kirjetest ning pärast seda kopeeritakse sinna operatiivandmebaasist värske info. Enne toimingute loomist tuleb paketti lisada kõik kasutatavad andmeallikad. Selleks tuleb Connection Manager paanil käivitada New Connection from Data Source. Projekt võib sisaldada rohkem andmeallikaid, kui konkreetses paketis tarvis läheb. Andmeallikaid saab defineerida ka iga paketi sees lokaalselt (käsud New OLE DB Connection), kuid selline lahendus muutub ebamugavaks, kui nt. serveri nimi peaks muutuma. Loome paketti viited mõlemale projektipõhisele andmeallikale: Lisame vastloodud paketti toimingu Data Flow Task ning avame selle topeltklõpsuga: Vihje: edaspidi saab juhtvoo ja üksikute andmevoogude töölauda vahetada vahekaartide Control Flow ja Data Flow abil: 4

5 Andmevoo toimingud SSIS paketi südameks on Data Flow task toiming, mis võimaldab andmete liigutamist lähteallikate ning sihkohtade vahel ning mitmesugust automatiseeritud andmetöötlust. Avades SSIS paketis Data Flow toimingu, avaneb tööriistakastis hulk uusi vahendeid. Järgnevalt on kirjeldatud neist olulisemad. Grupp Data Flow Sources koondab lähtekohad, mis kirjeldavad ära lähtetabeli või päringu, kust andmed võetakse. OLE DB source sobib MS SQL andmebaasidele tähistab ühte andmebaasitabelit, vaadet või SQL päringut. Flat File Source võimaldab andmete importi tekstifailist (nt. koma või tabulaatoriga eraldatud andmed) Excel Source andmete import Exceli tabelist Data Flow Transformations koondab endas andmete peal tehtavad kirjepõhised teisendusi. Merge Join võimaldab kahte andmevoogu ühendada ("joinida"). Andmevoogude ühendamine töötab sarnaselt SQL JOIN operaatorile, toetatud on INNER, LEFT ja FULL OUTER JOIN. NB! Andmevood tuleb enne Merge Join teisendust sorteerida tabelite ühendamisel kasutavate tunnuste järgi. Selleks kasutame teisendust Sort. Sort sorteerib andmevoo kirjed etteantud veeru järgi. Vajalik enne teatud operatsioone (nt. Merge Join). NB! Andmevoogude kirjeldamisel peame eeldama, et kirjed laekuvad lähtetabelist sorteerimata järjekorras (kui me ei ole loonud spetsiaalselt SQL-päringu põhist andmeallikat, milles on ilmutatud kujul ORDER BY klausel). Lookup võimaldab sarnaselt Exceli VLOOKUP-funktsioonile otsida konkreetsele väärtusele (nt. osakonna kood 2) vasteid teisest tabelist (nt. HumanResources.Department) vaste. NB! Kui otsingutabelis leidub samale võtmele mitu vastet, tagastab Lookup neist esimese. Derived Column võimaldab avaldiste abil arvutada tuletatud veerge, nt liita ees- ja perekonnanimi üheks veeruks. Conditional Split andmevoo tükeldamine tingimuste põhjal. Nt. saab lähtetabelist tulevad kirjed jagata kaheks osaks: töötajad, kes on hetkel hõivatud ning ettevõttest lahkunud töötajad. Multicast teeb andmevoost koopia, mis võimaldab kasutada sama lähteallika kirjeid mitmes kohas. Union All ühendab kaks andmevoogu üheks. Eelduseks on samade tüüpidega ja väljapikkustega veerud mõlemas andmevoos. 5

6 Aggregate - grupeerib ja summeerib kirjed valitud tunnuste põhjal. Nt. grupeerides töötajate tabeli ülemuse koodi (ManagerID) järgi ja loendades kirjed, saame teada, kui palju on igal ülemusel vahetuid alluvaid. Data Flow Destinations sihtkohad, kuhu töödeldud andmed kirjutatakse. Sihtkohad sarnanevad lähtekohtadele, kuid andmete kirjutamine toimub rangelt tabelipõhiselt (igale tabelile oma sihtkoht). Soovi korral on andmeid võimalik kirjutada ka failidesse või Exceli tabelitesse. Andmed laaditakse SQL andmebaasi tabelisse. Reeglina on siht-tabeli struktuur eelnevalt defineeritud, kuid selle saab vajadusel luua ka vastavalt andmevoos kirjeldatud veergudele. Kui veergude nimed ei ühti 1:1, saab defineerida ka veergude vahelised seosed. General-sektsioonist leiab ka sihtkoha Trash Destination, mis on mugav abimees andmevoogude ja teisenduste testimiseks. See võimaldab käivitada paketti ilma sihttabelit defineerimata ning jälgida ekraanil tulemusi. Vaikimisi ei ole komponent nähtav, selle tellimiseks tehke tööriistakastis (Toolbox) parem hiireklõps, avanenud menüüst valige Choose Items. Vahekaardil SSIS Data Flow Items märgistage Trash Destination linnuke. Töötaja dimensiooni loomine Lisame disaineri töölauale lähtetabelist andmete pärimiseks andmevootoimingu Data Flow Sources OLE DB Source. Avame topeltklõpsuga OLE DB Source parameetrid ning määrame lähtetabeliks AdventureWorks ühendusest tabeli HumanResources.Employee 6

7 Soovitav on anda komponentidele ka selgelt arusaadavad nimed. Kui äsjaloodud komponent laeb Employee tabelist kirjed, siis nimetame selle "Extract HumanResources-Employee". SSIS ei luba komponentide nimedes erimärke ega punkte. Nime andmiseks valime komponendi peal kontekstimenüüst Rename. Pärast ümbernimetamist on töötajadimensiooni andmevoog järgmine Kuna isikute nimed on eraldi tabelis (Person.Contact), lisame veel ühe AdventureWorks-ühendust kasutava andmeallika. Kaks andmeallikat tuleb omavahel ühendada ContactID veeru põhjal. Andmevoogude ühendamiseks saame kasutada Merge Join komponenti, kuid eelnevalt tuleb kirjed mõlemas andmevoos sorteerida. Loome kumbagi andmevoo jaoks Sort-teisenduse ning anname neile arusaadavad nimed: Hetkel on komponendid omavahel sidumata. Selleks, et andmeallika väljund edastataks sorteerimisteisenduse sisendisse, tuleb toimingud omavahel ühendada. Aktiveerime hiireklikiga lähte-komponendi ning lohistame tekkinud rohelise noolekese siht-komponendi peale: 7

8 Roheline nooleke tähistab "toru", mida mööda andmed hakkavad liikuma: Avame topeltklõpsuga Sort-toimingu omadused ning määrame sorteeritavaks veeruks ContactID. Nüüd, kui andmevood on sorteeritud, võime lisada neid ühendava Merge Join toimingu: Avame topeltklõpsuga Merge Join omaduste akna ja seadistame selle järgmiselt: Ühendame (drag & drop) hiirega veerud, mille põhjal andmevood tuleks ühendada (1) 8

9 Soovime tulemuses näha Employee tabelist veerge: EmployeeID, NationaIDNumber, Title, Gender, BirthDate, HireDate. Selleks märgistame linnukesega vasakust tabelist (Left Input) vastavad veerunimed (2). Kontaktide tabelist (Right Input) valime tulemusse veerud FirstName, MiddleName LastName ja Suffix (3). Kui soovime senitehtut testida, suuname tulemuse Trash Destination komponenti. Selleks, et näha, mis kirjed mõnes konkreetses "torus" liiguvad, saab ühendusele lisada kirjete kuvaja (Data Viewer). Teeme Merge Join ja Trash Destination vahelisel ühendusel topeltklõpsu. Avanenud aknas valime vahekaardi Data Viewers, sealt nupp Add ning tüübiks Grid. 9

10 Proovime ETL paketti käivitada, selleks valime ülamenüüst Debug Start Debugging. Paketi käivitamisel markeeritakse komponendid värvidega: kollane töötlus pooleli, roheline valmis ning punane viga. Kirjete kuvaja käitub sarnaselt programmeerimiskeele katkestuspunktina (break point): paketi käivuts peatub märgitud kohas ning saame avanenud tabelist saame sirvida vahetulemusi. Rohelise noolekesega (1) saame käivitust jätkata. Pärast silumist on soovitav kirjete kuvajad eemaldada (2). Disainirežiimi saame tagasi käivitades peamenüüst Debug Stop Debugging. Igale töötajale korrektse täisnime moodustamiseks kasutame Derived Column toimingut ning ühendame eelnevaga. Lohistame kataloogist Columns veerud FirstName ja LastName kasti Expresssion ning defineerime avaldise: [FirstName] + " " + [LastName] Saadud veerule anname nimeks EmployeeName. Hetkel kehtiva osakonna leidmiseks kasutame Lookup toimingut. Lisame selle andmevoole: 10

11 Lookup-toimingul on kaks väljundit: Match ja No Match Output. Esimesse tõstetakse kirjed, mille puhul otsingutabelis vaste leiti, teise lähevad vasteta kirjed. Avame komponendi omaduste akna ning määrame kirjete ümbertõstmise reegli: General Specify how to handle rows with no matching entries. Valime Ignore Failure, kuna soovime tulemuses säilitada töötajad, kellega mingil põhjusel ei ole osakonda seotud. Vahekaardil Connection defineerime otsingutabeli. Selleks saab kasutada vahetult tabelit või SQL-päringut. Andmebaasi dokumentatsiooni uurides oleme teada saanud, et tabel HumanResources.EmployeeDepartmentHistory talletab töötajate osakondades töötamise ajalugu. Peame sealt leidma viimase kehtiva kirje. Eelnevast teame, et Lookup teisendus tagastab alati esimese vaste, seega peame defineerima SQL-päringu, kus kirjed on sorteeritud töötaja koodi ning töölepingu lõppkuupäeva järgi. Selle tulemuse annab järgnev päring: SELECT * FROM HumanResources.EmployeeDepartmentHistory ORDER BY EmployeeID, EndDate Kuna kehtivatel lepingutel on lõppkuupäev määramata, seega need sorteeruvad kõige esimeseks. Seadistame otsingutabeli SQL-päringuna: 11

12 Lehel Columns defineerime veerud, mille põhjal vaste leitakse. Selleks lohistame EmployeeID veeru vasakust tabelist paremasse (1). Märgistame linnukesega DepartmentID välja, mida soovime otsingutabelist tagastada (2). Kui oleme leidnud osakonna koodi (DepartmentID), vajame lisaks ka osakonna nime. Selleks lisame täiendava Lookup toimingu: Seadistame selle järgnevalt: 12

13 Otsitud veergudele on soovitav määrata arusaadava nimega Aliased: Lisame andmevoogu ka tuletatud veeru, mis teisendab kodeeritud töötaja soo (veerg Gender, väärtused "M"ja "F") inimloetavale kujule. Selleks kasutame taas Derived Column toimingut: Arvutusreeglina kasutame kolmendoperaatorit? (ternary operator), mis tagastab teise parameetri, kui esimeses parameetris toodud tingimus on tõene ning kolmanda, kui tingimus on väär. Avaldis on järgmine: [Gender] == "M"? "Male" : "Female" Uuele veerule anname nimeks GenderName. Nüüd on töötaja dimensioon "valmis". Enne tulemuse siht-tabelisse (t12ropi.dimemployee) kirjutamist testime, kas pakett töötab. Selleks kasutame taas Trash Destination sihtkohta koos kirjete kuvajaga (Data Viewer). 13

14 Käivitame paketi (Debug Start Debugging) ning veendume, et see käivitub vigadeta ning tuletatud veerud kuvavad korrektseid väärtuseid. Kui kõik korras, peatame paketi töö (Debug Stop Debugging) ning eemaldame Trash Destination toimingu koos kirjete kuvajaga (Data Viewer). Jäänud on vimane samm dimensiooni lähteandmed tuleb kirjutada siht-tabelisse. SQL-põhise sihtkoha puhul tuleb andmevoog suunata toimingu OLE DB Destination sisendisse. Seadistame sihtkoha. Parameetriteks määrame oma isikliku andmebaasi (nt. t12ropi). Sihtkoha puhul tuleb valida ka tabel, kuhu andmed kirjuatakse. Kui tabel on eelnevalt loodud, määrame selle parameetris Name of the table or the view. 14

15 Kui tabelit ei ole, saame selle jooksvalt luua, kasutades nuppu New.Avanenud vormil oleks mõistlik määrata siht-tabelile arusaadav nimi (nt. DimEmployee ). Vihje: tabeli võib luua SQL-skriptiga: CREATE TABLE [DimEmployee] ( [EmployeeID] int, [NationalIDNumber] nvarchar(15), [EmployeeName] nvarchar(101), [Title] nvarchar(50), [GenderName] nvarchar(6), [BirthDate] datetime, [HireDate] datetime, [DepartmentName] nvarchar(50), [DepartmentGroupName] nvarchar(50) ) Andmete sihtkoha puhul tuleb siduda andmevoo veerud siht-tabeli veergudega. Seda saab teha lehel Mappings. 15

16 Vajadusel võib kõik seosed kustutada (tabelite peal Delete All Mappings) ning nimede põhjal uuesti luua (Map Items by Matching Names). Järgneval joonisel on toodud näide andmevoost, mis võtab töötajate andmed (HumanResources.Employee), otsib igale kirjele juurde töötaja ees- ja perekonnanime,moodustab sellest täisnime ning kirjutab andmed andmelao tabelisse DimEmployee. 16

17 Iseseisev harjutus Koostage SSIS pakett, mis: o Koostab kaubadimensiooni (DimProduct), kus on kirjeldatud atribuudid: Tabelist Production.Product ProductID, Name, ProductNumber, Color Atribuutidele ProductLine, Class ja Style leida otsingutabeli põhjal kirjeldused Otsingutabelid võib luua käsitsi (vt. viide 1) või importida väärtused CSV-failist (vt. viide 2). CSV-importimisel kasutada Flat File Source komponenti. Tabelist Production.ProductModel: Name o Koostab kaks kliendidimensiooni: jaekliendi ja hulgikliendi kohta. Jaeklient (DimCustomer) moodustub järgmiste tabelite-atribuutide põhjal: Tabelist Sales.Customer o AccountNumber Tabelist Person.Contact o FirstName, LastName Tabelid võib ühendada järgmise päringuga: SELECT * FROM Sales.Customer C INNER JOIN Sales.Individual I ON C.CustomerID = I.CustomerID INNER JOIN Person.Contact PC ON I.ContactID = PC.ContactID Hulgiklient (DimReseller) moodstub järgmiste tabelite põhjal: Tabelist Sales.Customer o AccountNumber Tabelist Sales.Store o Name o Koostab müüki kajastava faktitabeli, mis on seotud kolme dimensiooniga (vt. Joonis 1). Faktitabel moodustub tabelite Sales.SalesOrderHeader ja Sales.SalesOrderDetail põhjal. Tehingute pärimiseks võib kasutada järgmist päringut: SELECT H.CustomerID, D.ProductID, D.OrderQty, D.LineTotal FROM Sales.SalesOrderHeader H INNER JOIN Sales.SalesOrderDetail D ON H.SalesOrderID = D.SalesOrderID Faktitabelisse lisada kaks mõõdikut: Quantity ja Amount, mis kirjeldavad müüdud kogust ja summat. Mõelda, mis on faktitabeli granulaarsus (detailsus). Andmeaida tabelid saate luua järgmiste SQL-lausetega: Joonis 1 iseseisva harjutuse dimensionaalne andmemudel 17

18 CREATE TABLE DimProduct( ProductID int not null primary key, ProductName nvarchar(50), ProductNumber nvarchar(25), Color nvarchar(15), Line nvarchar(50), Class nvarchar(50), Style nvarchar(50), ProductModel nvarchar(50) ) CREATE TABLE DimCustomer( CustomerID int not null primary key, AccountNumber varchar(10), FirstName nvarchar(50), LastName nvarchar(50) ) CREATE TABLE DimReseller( ResellerID int not null primary key, AccountNumber varchar(10), Name nvarchar(50) ) CREATE TABLE FactSales( ProductID int, CustomerID int, ResellerID int, OrderQty int, LineTotal numeric(38, 6) ) Materjalid Kõik hüperlingid on seisuga ) AdventureWorks Data Dictionary: 2) Otsingutabelid AdventureWorks kaubatabeli (Product) kodeeritud tunnuste jaoks: 3) Hea portaal SSIS videotega: Soovitan tutvuda: a) Speak Like a SSIS Developer - b) Using a Basic Data Flow Task in SSIS - c) Using the Aggregrate Transform for Group By-s in SSIS - d) Using a Sort Transform in SSIS