Databázy (2) Prednáška 08. Alexander Šimko

Transcription

1 Databázy (2) Prednáška 08 Alexander Šimko

2 Contents I Funkcie Zložené typy PL/pgSQL Agregačné funkcie

3 Funkcie Section 1 Funkcie

4 Funkcie PostgreSQL umožňuje vytvoriť si vlastné databázové funkcie Nejedná sa o funkciu v matematickom zmysle funkcia môže vracať hodnotu funkcia môže meniť stav databázy

5 Funkcie Na čo sú dobré vlastné databázové funkcie? Sprehľadnenie kódu Optimalizáciu operáciu, ktorá potrebuje pracovať nad veľa riadkami vykoná databázový server ušetríme teda prenášanie veľkého množstva dát po sieti Rozšírenie databázového systému napr. vlastné agregačné funkcie

6 Funkcie Príkaz CREATE FUNCTION CREATE [OR REPLACE] FUNCTION nazov_funkcie (argument_1 typ_1,..., argument_n typ_n) RETURNS navratovy_typ LANGUAGE nazov_jazyka AS $$definicia$$ vytvorí zadanú funkciu ak už existuje, tak končí chybou ak je zadané OR REPLACE, tak prepíše existujúcu funkciu

7 Funkcie LANGUAGE nazov_jazyka implementačný jazyk funkcie sql plpgsql k tomu sa dostaneme neskôr...

8 Funkcie Príklad funkcie implementovanej v SQL CREATE FUNCTION random_date(fromdate DATE, todate DATE) RETURNS DATE LANGUAGE sql AS $$ SELECT floor(random()*(todate-fromdate))::integer + fromdate $$ SELECT random_date(date , DATE )

9 Funkcie Pozor, aby sa argumenty nevolali ako stĺpce CREATE FUNCTION number_of_employees_with_salary(salary numeric) RETURNS bigint LANGUAGE sql AS $$ SELECT count(*) FROM employees AS e WHERE e.salary = salary $$ e.salary = salary vyhodnotí ako e.salary = e.salary

10 Funkcie Príklad volania databázovej funkcie z JDBC Connection connection =... CallableStatement callable = connection.preparecall("{? = call number_of_employees_with_salary(? ) }"); callable.registeroutparameter(1, Types.BIGINT); callable.setbigdecimal(2, BigDecimal.valueOf(1000)); callable.execute(); long count = callable.getlong(1); System.out.println(count); callable.close();

11 Funkcie Tabuľka ako návratový typ RETURNS TABLE (nazov_stlpca_1 typ_stlpca_1,..., nazov_stlpca_n typ_stlpca_n)

12 Funkcie Tabuľka ako návratový typ CREATE FUNCTION get_rich_employees() RETURNS TABLE (employee_id integer, last_name varchar) LANGUAGE sql AS $$ SELECT employee_id, last_name FROM hr.employees AS e WHERE e.salary > 5000 $$ SELECT * FROM get_rich_employees()

13 Funkcie Reagovanie na NULLové vstupy CALLABLE ON NULL INPUT funkcia je štandardne spustená toto je default RETURNS NULL ON NULL INPUT STRICT funkcia vráti NULL bez toho, aby jej telo bolo spustené

14 Funkcie Reagovanie na NULLový vstupy CREATE FUNCTION test(input integer) RETURNS boolean LANGUAGE SQL AS $$ SELECT input IS NULL $$ SELECT test(null) TRUE CREATE FUNCTION test(input integer) RETURNS boolean LANGUAGE SQL RETURNS NULL ON NULL INPUT AS $$ SELECT input IS NULL $$ SELECT test(null) NULL

15 Funkcie Funkcia ktorá nič nevracia Treba použiť návratový typ void

16 Funkcie Funkcia ktorá nič nevracia CREATE FUNCTION test() RETURNS void LANGUAGE SQL AS $$ CREATE TABLE aa(id serial) $$ Dá sa spustiť pomocou SELECT test() Select vráti nezmyselnú tabuľku 1x1 so stĺpcom typu void:)

17 Funkcie Definícia funkcie môže obsahovať aj postupnosť príkazov CREATE FUNCTION test() RETURNS void LANGUAGE SQL AS $$ DROP TABLE aa; CREATE TABLE aa(id serial); $$

18 Funkcie Atribúty pre optimalizáciu dopytov IMMUTABLE funkcia nemení databázu vždy pre rovnaký vstup vráti rovnaký výstup čiže je to funkcia v matematickom zmysle každé volanie funkcie sa teda dá nahradiť funkčnou hodnotou STABLE funkcia nemení databázu pre rovnaký vstup vráti rovnaký výstup iba v rámci jedného čítania tabuľky čiže funkcia pri opätovnom spustení SQL príkazu môže vrátiť niečo iné VOLATILE funkcia môže zakaždým vrátiť inú hodnotu toto je default

19 Funkcie Atribúty pre optimalizáciu dopytov CREATE FUNCTION ran() RETURNS DOUBLE PRECISION LANGUAGE sql AS $$ SELECT random() $$; SELECT ran() FROM generate_series(1,3); ran

20 Funkcie Atribúty pre optimalizáciu dopytov CREATE FUNCTION ran2() RETURNS DOUBLE PRECISION IMMUTABLE LANGUAGE sql AS $$ SELECT random() $$; SELECT ran2() FROM generate_series(1,3); ran

21 Funkcie VOLATILE aby sa neoptimalizovalo, čo nechceme CREATE TABLE test (id serial, value integer); INSERT INTO test (value) SELECT random()*2000 FROM generate_series(1, ); SELECT i, (SELECT value FROM test TABLESAMPLE SYSTEM_ROWS (1)) FROM generate_series(1,3) AS seq(i); i value

22 Funkcie VOLATILE aby sa neoptimalizovalo, čo nechceme CREATE FUNCTION ran() RETURNS integer LANGUAGE sql AS $$ SELECT value FROM test TABLESAMPLE SYSTEM_ROWS (1) $$; SELECT i, ran() FROM generate_series(1,3) AS seq(i); i value

23 Funkcie Čo ak potrebujeme cykly, podmienky, lokálne premenné? Musíme použíť iný jazyk: C PL/pgSQL...

24 Zložené typy Section 2 Zložené typy

25 Zložené typy Motivácia Complexné číslo je dvojica reálnych čísel: reálna časť, imaginárna časť Má význam aby obe zložky boli uložené ako hodnota jedného stĺpca

26 Zložené typy Príkaz CREATE TYPE CREATE TYPE nazov_typu AS ( nazov_atributu_1 nazov_typu_1,... nazov_atributu_n nazov_typu_n ) v databázovom systéme vytvorí daný zložený typ

27 Zložené typy Príkaz CREATE TYPE Príklad CREATE TYPE complex AS ( r numeric, i numeric ); CREATE TABLE test ( id integer, x complex )

28 Zložené typy Literál zloženého typu ( val1, val2,..., valn) hodnoty uzavreté v zátvorkách a apostrofoch

29 Zložené typy Literál zloženého typu Príklad (10, 20)

30 Zložené typy Literál zloženého typu Komplikácie Ak chceme NULL hodnotu, musíme hodnotu vynechať (10, ) Textové reťazce treba vložiť pomocou úvodzoviek (10, "tralala")

31 Zložené typy Operátor ROW ROW vytvára hodnoty zložených typov ROW(10, NULL) ROW(10, tralala ) V prípade aspoň dvoch argumentov je ROW nepovinný: (10, NULL) (10, tralala )

32 Zložené typy Práca so zloženými typmi INSERT INTO test(id, x) VALUES (1, ROW(10,20)); SELECT * FROM test WHERE x.i = 20; UPDATE test SET x.i = (x).i * 2 WHERE x.i = 20; -- zatvorky su potrebne CREATE FUNCTION double(x complex) RETURNS complex LANGUAGE sql AS $$ SELECT 2*x.r, 2*x.i -- toto vytvori hodnotu zlozeneho typu $$

33 Zložené typy Pre každú tabuľku existuje rovnomenný zložený typ CREATE TABLE mytable ( id integer, x integer, y integer ); Vznikol zložený typ mytable CREATE FUNCTION myfunction(r mytable) RETURNS integer LANGUAGE sql AS $$ SELECT r.x + r.y $$ Vznikla funkcia, ktorá na vstupe berie jeden riadok tabuľky mytable a produkuje hodnotu typu integer

34 Zložené typy Názov tabuľky a alias zastupujú riadok môžeme ich použiť ako parameter funkcie mytable id x y SELECT id, myfunction(mytable) FROM mytable id myfunction

35 PL/pgSQL Section 3 PL/pgSQL

36 PL/pgSQL PL/pgSQL procedurálne rozšírenie SQL lokálne premenné, cykly, podmienky spúšťanie SQL špecifické pre PostgreSQL inšpirované PL/SQL od Oracle

37 PL/pgSQL Ukážka Anonymný blok v PL/pgSQL DECLARE random_string varchar := ; length integer := 10; BEGIN FOR i IN 1..length LOOP random_string := random_string chr(cast(floor(random()*(ascii( z ) - ascii( a ) + 1)) + ascii( a ) as integer)); END LOOP; END;

38 PL/pgSQL Ukážka Funkcia implementovaná pomocou PL/pgSQL CREATE FUNCTION random_char() RETURNS char LANGUAGE plpgsql AS $$ DECLARE max_ascii integer := ascii( z ); min_ascii integer := ascii( a ); random_ascii integer; BEGIN random_ascii := CAST(floor(random()*(max_ascii - min_ascii + 1)) + min_ascii as integer); return chr(random_ascii); END; $$

39 PL/pgSQL Ukážka Funkcia implementovaná pomocou PL/pgSQL CREATE FUNCTION random_string(length integer) RETURNS varchar LANGUAGE plpgsql AS $$ DECLARE random_string varchar := ; BEGIN FOR i IN 1..length LOOP random_string := random_string random_char(); END LOOP; return random_string; END; $$

40 PL/pgSQL V PL/pgSQL môžeme volať SQL BEGIN -- ak nic nevracia PERFORM INSERT INTO mytable(id,x,y) VALUES(99,10,20); END;

41 PL/pgSQL Získanie výsledku SQL príkazu jeden riadok DECLARE my_id integer; row mytable; -- zlozeny typ automaticky vytvoreny pre tabulku BEGIN -- SELECT ktory vracia jeden riadok SELECT * INTO row FROM mytable WHERE id = 3; IF NOT FOUND THEN -- test ci SELECT nieco vratil RAISE EXCEPTION row with id % not found, 3; END IF -- INSERT/UPDATE/DELETE, ktory vracia INSERT INTO mytable (x,y) VALUES (10,20) RETURNING id INTO my_id; END;

42 PL/pgSQL Získanie výsledku SQL príkazu viac riadkov DECLARE row mytable; sum integer := 0; BEGIN FOR row IN SELECT * FROM mytable LOOP sum := sum + row.x; END LOOP; END;

43 PL/pgSQL Kto chce vedieť viac

44 Agregačné funkcie Section 4 Agregačné funkcie

45 Agregačné funkcie Ako implementovať agregačnú funkciu? Uvažujme aritmetický priemer a n = x 1 + x x n n

46 Agregačné funkcie Prvý nápad (presudokód) avg(xs[]) { n = 0; sum = 0; for each x do { ++n; sum += x; } return sum/n; }

47 Agregačné funkcie Prvý nápad dosť zlé avg(xs[]) { n = 0; sum = 0; for each x do { ++n; sum += x; } } return sum/n; čo ak robíme avg nad riadkami? musíme vytvoriť veľké vstupné pole a naplniť ho hodnotami

48 Agregačné funkcie Druhý nápad Iterujme priamo tabuľku n = 0; sum = 0; for each row do { ++n; sum += row.x; } return sum/n;

49 Agregačné funkcie Druhý nápad Stav výpočtu dajme dokopy state = (0,0); -- stav je dvojica (n,sum) for each row do { state = (state.n+1, state.sum+row.x); } return state.sum/state.n;

50 Agregačné funkcie Druhý nápad Jedna iterácia ako funkcia avg_step(state, x) { return (state.n+1, state.sum+x); } state = (0,0); -- stav je dvojica (n,sum) for each row do { state = avg_step(state, row.x); } return state.sum/state.n;

51 Agregačné funkcie Druhý nápad Výpočet výsledku ako funkcia avg_step(state, x) { return (state.n+1, state.sum+x); } avg_result(state) { return state.sum/state.n; } state = (0,0); -- stav je dvojica (n,sum) for each row do { state = avg_step(state, row.x); } return avg_result(state);

52 Agregačné funkcie Druhý nápad Počiatočná hodnota vyňatá POCIATOCNA_HODNOTA = (0,0); avg_step(state, x) { return (state.n+1, state.sum+x); } avg_result(state) { return state.sum/state.n; } state = POCIATOCNA_HODNOTA; for each row do { state = avg_step(state, row.x); } return avg_result(state);

53 Agregačné funkcie Všeobecná štruktúra vyhodnotenia agregačnej funkcie AGG_STATE_TYPE state = AGG_INITIAL_VALUE; for each row do { state = agg_step(state, row.x1,..., row.xn); } return agg_result(state);

54 Agregačné funkcie Agregačná funkcia je teda daná dátovým typom stavu počiatočným stavom funkciou jedného kroku funkciou na získanie výsledku

55 Agregačné funkcie Príkaz CREATE AGGREGATE CREATE AGGREGATE nazov (typ_argumentu_1,..., typ_argumentu_n) ( STYPE = nazov_datoveho_typu_stavu, INITCOND = pociatocny_stav, -- zadany ako retazcovy literal SFUNC = funkcia_jedneho_kroku, FINALFUNC = funkcia_na_ziskanie_vysledku )

56 Agregačné funkcie Vlastná implementácia aritmetického primeru CREATE TYPE myavg_type AS (n integer, sum integer); CREATE FUNCTION myavg_step(state myavg_type, x integer) RETURNS myavg_type LANGUAGE sql AS $$ SELECT state.n+1, state.sum+x; -- toto vytvori hodnotu $$; -- zlozeneho typu CREATE FUNCTION myavg_result(state myavg_type) RETURNS double precision LANGUAGE sql AS $$ SELECT state.sum::double precision / state.n::double precision $$;

57 Agregačné funkcie Vlastná implementácia aritmetického priemeru CREATE AGGREGATE myavg(integer) ( STYPE = myavg_type, INITCOND = (0,0), SFUNC = myavg_step, FINALFUNC = myavg_result );

58 Agregačné funkcie Vlastná implementácia aritmetického priemeru test val SELECT myavg(val) from test myavg 2.5

59 Agregačné funkcie Poznámka a n = x 1 + x x n n V prípade veľmi veľkých čísel môže byť suma x 1 + x x n natoľko veľká, že sa nezmestí do žiadneho podporovaného dátového typu

60 Agregačné funkcie Iný prístup a n+1 = x 1 + x x n + x n+1 n + 1

61 Agregačné funkcie Iný prístup a n+1 = x 1 + x x n + x n+1 n + 1 = x 1 + x x n n x n+1 n + 1

62 Agregačné funkcie Iný prístup a n+1 = x 1 + x x n + x n+1 n = x 1 + x x n n + 1 = x 1 + x x n n x n+1 n + 1 n n + x n+1 n + 1

63 Agregačné funkcie Iný prístup a n+1 = x 1 + x x n + x n+1 n = x 1 + x x n + x n+1 n + 1 n + 1 = x 1 + x x n n + 1 = x 1 + x x n n n n + x n+1 n + 1 n n x n+1 n + 1

64 Agregačné funkcie Iný prístup a n+1 = x 1 + x x n + x n+1 n = x 1 + x x n + x n+1 n + 1 n + 1 = x 1 + x x n n + 1 = x 1 + x x n n = a n n n x n+1 n + 1 n n + x n+1 n + 1 n n x n+1 n + 1

65 Agregačné funkcie Iný prístup dátový typ stavu (a, n) n a n+1 = a n n x n+1 n + 1 počiatočný stav (0, 0) funkcia jedného kroku (a, n), x ( a n n+1 + x n+1, n + 1) funkcia na získanie výsledku (a, n) a

66 Agregačné funkcie Iný prístup (a, n), x ( n a n x n + 1, n + 1) a je aktuálny priemer začína 0 n n+1 je postupne 0, 1 2, 2 3,..., 1 (limitne) v každom kroku je a n n+1 a x n+1 je postupne x, x 2, x 3,...0 (limitne) a sa v každom kroku mení čoraz menej konverguje k výsledku robí sa veľa násobení a delení pri nepresných dátových operáciach sa nepresnosti kopia

67 Agregačné funkcie Čo takto geometrický priemer? g n = n x 1 x 2... x n

68 Agregačné funkcie Prvý nápad stav: (p, n) počiatočný stav: (1, 0) jeden krok: (p, n), x (p x, n + 1) výsledok: (p, n) n p

69 Agregačné funkcie Prvý nápad dosť zlé stav: (p, n) počiatočný stav: (1, 0) jeden krok: (p, n), x (p x, n + 1) výsledok: (p, n) n p Uvažujme, že máme riadkov a 10 x 20 pre každé x čize konečné g je medzi 10 a 20 ale konečné p je minimálne p má aspoň cifier numeric má maximálne cifier pred desatinnou bodkou premenná p nám pretečie pri každom PostgreSQL dátovom type

70 Agregačné funkcie Druhý nápad Násobenie zmeňme na sčítanie g n = n x 1 x 2... x n log b g n = log n b x 1 x 2... x n = log b (x 1 x 2... x n ) 1 n = 1 n log b(x 1 x 2... x n ) = 1 n (log b x 1 + log b x log b x n ) g n = b log b gn = b 1 n (log b x 1+log b x 2 + +log b x n)

71 Agregačné funkcie Druhý nápad Násobenie zmeňme na sčítanie g n = b 1 n (log b x 1+log b x 2 + +log b x n) = b 1 n sum sum = log b x 1 + log b x log b x n stav: (sum, n) počiatočný stav: (0, 0) jeden krok: (sum, n), x (sum + log b x, n + 1) výsledok: (sum, n) b 1 n sum

72 Agregačné funkcie Koniec Koniec