Maroš Anderko, Peter Hmira MFF UK 2013

Size: px

Start display at page:

Download "Maroš Anderko, Peter Hmira MFF UK 2013"

Tobias Page
5 years ago
Views:

1 Maroš Anderko, Peter Hmira MFF UK 2013

2 Obsah Problematika motivácia Súčasnosť, možnosti SQL Spreadsheet črty a možnosti Príklad

3 MO Excel Vynikajúce UI Ľahká manipulácia, vzorce, grafy.. 2D spracovanie, obmedzené rozsahom cca 64k x 200 Chýba paralelné spracovanie

4 Vízia

5 SQL Spreadsheet Relácia : n-rozmerné pole Zhusťovanie dát vypĺňanie medzier Zapúzdrenosť Výsledkom znovu relácia znovupoužitenosť Paralelné spracovanie Súčasť dopytu, žiadna zmena dát

6 SQL Spreadsheet klauzuly PARTITION (PBY) rozdelenie na disjunktné množiny DIMENSION (DBY) jedinečné riadky v každej z množín, bunky MEASURES (MEA) miery počítané spreadsheet-om

7 SQL Spreadsheet dopyt <existing parts of a query block > SPREADSHEET PBY(cols) DBY(cols) MEA(cols) <processing options> (<formula>,<formula>,...,<formula>) Vyhodnotenie po joinoch, agregácii, finálnej projekcii PRED ORDER BY Referencie na jednu bunku alebo ich rozsah

8 Príklad Obchod s elektronikou F (t,r,p,s,c) Dimenzie veličiny : čas t, región r, produkt p Miery predaj s, cena c

9 Dopyt SELECT r, p, t, s FROM f SPREADSHEET PBY(r) DBY (p, t) MEA (s) ( s[p= dvd,t=2002] =s[p= dvd,t=2001]*1.6, s[p= vcr,t=2002] =s[p= vcr,t=2000]+s[p= vcr,t=2001], s[p= tv, t=2002] =avg(s)[p= tv,1992<t<2002] ) Skrátené formy

10 Cv() funkcia a * operátor SPREADSHEET DBY (r, p, t) MEA (s) ( s[ west,*,t>2001] = 1.2*s[cv(r),cv(p),t=cv(t)-1] ) Existenčná formula, poradie spracovania

11 UPDATE Ignoruje neexistujúce bunky SPREADSHEET PBY(r) DBY (p, t) MEA (s) ( UPDATE s[ tv, 2000] = s[ black-tv,2000] + s[ white-tv,2000] )

12 UPSERT SPREADSHEET PBY(r) DBY (p, t) MEA (s) ( UPSERT s[ tv,*] = s[ black-tv,cv()]+s[ white-tv,cv()] )

13 Reference Spreadsheet Objekty rôznych veličín dimenzíí Predaj región, produkt, cena, čas Rozpočet - budget región, produkt SELECT r, t, s FROM f GROUP by r, t SPREADSHEET REFERENCE budget ON (SELECT r, p FROM budget) DBY(r) MEA(p) DBY (r, t) MEA (sum(s) s) ( s[ west,2002]= p[ west ]*s[ west,2001], s[ east,2002]= s[ east,2001]+s[ east,2000] )

14 Vyhodnocovanie formúl AUTOMATIC ORDER SPREADSHEET PBY(r) DBY (p, t) MEA (s) (s[ dvd,2002] = s[ dvd,2000] + s[ dvd,2001] s[ dvd,2001] = 1000) SEQUENTIAL ORDER SPREADSHEET DBY(r,p,t) MEA(s) SEQUENTIAL ORDER (...<formulas>...)

15 Cykly a rekurzia ITERATE (n) UNTIL <podmienka> SPREADSHEET DBY (x) MEA (s) ITERATE (10) UNTIL (PREVIOUS(s[1])-s[1] <= 1) (s[1] = s[1]/2)

16 Pr.1 predikcia predaja SELECT r, p, t, s FROM f SPREADSHEET PBY(r) DBY (p, t) MEA (s) ( F1: UPDATE s[ tv,2002] = s[ tv,2001] +slope(s,t)[ tv,1992<=t<=2001]*s[ tv,2001], Vnorený dopyt + join F2: UPDATE s[ vcr, 2002] = s[ vcr,2000]+s[ vcr,2001] Dvojitý join do tabuľky F3: UPDATE s[ dvd,2002] =(s[ dvd,1999]+ s[ dvd,2000]+s[ dvd,2001])/3, trojitý join F4: UPSERT s[ video, 2002] = s[ tv,2002]+s[ vcr,2002] ) UNION

17 Analýza Pokračování - osnova Optimalizácia Dátové štruktúry Evaluation

18 Analýza a optimalizácia Poradie vyhodnocovania formúl Nájdenie cyklov Orezávania formúl Prepisovanie Presun predikátov

19 Poradie formúl a závislostí Uvažujme formuly F1: s['video', 2000] = s['tv', 2000] + s['vcr',2000] F2:s['vcr', 2000] = s['vcr',1998] + s['vcr',1999] s[ tv, t^2 + t^3 + t^4 < t^5] Je náročné určiť prienik predikátov Predpokladáme, že výraz referencuje všetky bunky

20 Poradie formúl Ak sú formuly nezávislé (podľa grafu závislostí) môžu byť vyhodnotené paralelne za 1 scan Pre účely paralelného vyhodnocovania, formuly sú agregované do levelov, kde každý level obsahuje nezávislé formuly a formuly nižšie nezávisia na formulách vyššie Počet levelov určuje minimálny počet scanov

21 Pruning (orezávanie) Predpokladajme dotaz: SELECT * FROM ( SELECT r, p, t, s FROM f SPREADSHEET PBY(r) DBY (p, t) MEA (s) UPDATE ( F1: s['dvd', 2000] = s['dvd', 1999]*1.2, F2: s['vcr', 2000] = s['vcr',1998] + s['vcr', 1999], F3: s['tv', 2000] = avg(s)['tv', 1990 < 2000] ) ) WHERE p in ('dvd', 'vcr', 'video') Vonkajší dotaz odfiltruváva bunku, ktorú dotazuje F3 F3 môžeme odstrániť

22 Pruning (cont.) Rozšírime dotaz o F4: SELECT * FROM ( SELECT r, p, t, s FROM f SPREADSHEET PBY(r) DBY (p, t) MEA (s) UPDATE ( F1: s['dvd', 2000] = s['dvd', 1999]*1.2, F2: s['vcr', 2000] = s['vcr',1998] + s['vcr', 1999], F3: s['tv', 2000] = avg(s)['tv', 1990 < 2000] F4: s['video', 2000] = s['tv',2000] + s['vcr',2000] ) ) WHERE p in ('dvd', 'vcr', 'video') F3 už nemôžeme odstrániť, lebo je referencované F4

23 Rewriing (prepisovanie) Predpokladajme dotaz : SELECT * FROM ( SELECT r, p, t, s FROM f SPREADSHEET PBY(r) DBY (p, t) MEA (s,c) UPDATE ( F1: s[*, 2002] = c[cv(p), 2002] * 2 ) ) WHERE p in ('dvd', 'vcr') and t >= 2000 Pruning nie je možné uplatniť, lebo vnútorná formula je potrebná vo vonkajšom dotaze Rewritingom sa môžeme vyhnúť zbytočným výpočtom

24 Rewriting (cont.) Zmenený dotaz : SELECT * FROM ( SELECT r, p, t, s FROM f SPREADSHEET PBY(r) DBY (p, t) MEA (s,c) UPDATE ( F1: s[p in ('dvd', 'vcr'), 2002] = c[cv(p), 2002] * 2 ) ) WHERE p in ('dvd', 'vcr') and t >= 2000 Rewriting sa implementuje jednoduchým rozšírením algoritmu orezávania

25 Pushing (predicates) Technika, pri ktorej presúvame predikáty z vonkajšieho do vnútorného dotazu Tri druhy : Presun u PBY a nezávislých DBY dimenzií Presun na základe analýzy hraničného obdĺžnika Presun cez referencie v spreadsheetoch

26 Presun u PBY Správa sa vždy korektne, lebo filtruje celé partitions SELECT * FROM ( SELECT r, p, t, s FROM f SPREADSHEET PBY(r) DBY (p, t) MEA (s) UPDATE ( F1: s['dvd', 2000] = s['dvd, 1999] + s['dvd', 1997], F2: s['vcr', 2000] = s['vcr', 1998] + s['vcr', 1999] ) ) WHERE r = 'east' and t = 2000 and p ='dvd' Predikát r = east presunieme do vnútorného dotazu

27 Presun založený na Boundary rectangle Zanalyzujeme boundary rectangle a rozšírime o predikát : SELECT * FROM ( SELECT r, p, t, s FROM f SPREADSHEET PBY(r) DBY (p, t) MEA (s) UPDATE ( F1: s['dvd', 2000] = s['dvd, 1999] + s['dvd', 1997], F2: s['vcr', 2000] = s['vcr', 1998] + s['vcr', 1999] ) ) WHERE r = 'east' and t = 2000 and p ='dvd' V tomto prípade t in (1997, 1998, 1999, 2000)

28 Presun cez funkčne nezávislé dimenzie Ref-sub-query pushing Vytvorenie poddotazu Extended pushing Vykonávanie referencovaného dotazu Formula unfolding Výsledok poddotazu vložíme do formúl

29 Spreadsheet execution Ak sú v spreadsheet klauzule referencie Spreadsheet operátor zoberie vstupné riadky pre každú referenciu a vyrobí hashovaciu tabuľku, aby mohli byť referencované počas vyhodnocovanie formúl Hashovacie tabuľky sú read-only a po výpočte zaniknú

30 Access structure Dvojúrovňová hašovacia prístupová štruktúra Prvá úroveň je hašovacia partícia na základe PBY stĺpcov Druhá úroveň je už na základ PBY a DBY stĺpcov v rámci partície na prvej úrovni Aby sme minimalizovali časové a pamäťové nároky, prístupovú štruktúru vytvoríme len nad riadkami dotazovanými formulami

31 Evaluation

32 Auto-acyklický algoritmus Funguje len vtedy, ak v grafe závislostí nie sú detekované žiadne cykly Pre každú spreadsheet partition vyhodnotí levely porade V každom leveli vyhodnotí agregáty až potom formuly

33 Auto acyklický algoritmus Najskôr vyhodnotíme formuly, ktoré nie sú obsiahnuté v silne-súvislej komponente grafu závislostí V silne-súvislých komponentác algoritmus iteruje, kým nedosiahne pevný bod po max N iteráciách N je počet buniek zmenených pri prvej iterácii

34 Sekvenčný algoritmus Formuly sú vyhodnotené v poradí v akom sú uvedené v spreadsheet klauzuli Analýza aj v tomto prípade agreguje formule do levelov, aby mohla zminimalizovať počet scanov

35 Zhrnutie : Problémy/motivácia na SQL Spreadsheet Výhody SQL Spreadsheet oproti konkurencii

36 Zdroje : WITKOWSKI, A., et al: Advanced SQL Modeling in RDBMS. ACM Transactions on Database Systems (TODS) - Special Issue: SIGMOD/PODS 2003 TODS Volume 30 Issue 1, March 2005, p

Spájanie tabuliek. Jaroslav Porubän, Miroslav Biňas, Milan Nosáľ (c)

Spájanie tabuliek. Jaroslav Porubän, Miroslav Biňas, Milan Nosáľ (c) Spájanie tabuliek Jaroslav Porubän, Miroslav Biňas, Milan Nosáľ (c) 2011-2016 Úvod pri normalizácii rozdeľujeme databázu na viacero tabuliek prepojených cudzími kľúčmi SQL umožňuje tabuľky opäť spojiť