VISOKOŠOLSKI STROKOVNI ŠTUDIJ RAČUNALNIŠTVO IN TEHNOLOGIJE KOMUNICIRANJA

Transcription

1 VISOKOŠOLSKI STROKOVNI ŠTUDIJ RAČUNALNIŠTVO IN TEHNOLOGIJE KOMUNICIRANJA POROČILO PRAKTIČNEGA IZOBRAŽEVANJA V Čas opravljanja do Mentor v GD Gregor Zorc Študent Rajko Bunderl Vpisna Številka E rajko.bunderl@gmail.com

2 2

3 3

4 Kazalo: 1 OPIS GOSPODARSKE DRUŽBE DELNA ORGANIZACIJSKA SHEMA BANKE : Poslanstvo Vizija Vrednote OPIS PRAKTIČNEGA IZOBRAŽEVANJA UPORABLJENE TEHNOLOGIJE IN ORODJA V ČASU IZOBRAŽEVANJA Crystal Report Enterpraise AutoIt Java IBM Lotus Notes Subversion / Slik SVN PROJEKTNO DELO OPIS POROČILNEGA ORODJA CRYSTAL ENTERPRISE REPORTS DESIGNERS Programsko pridobivanje SQL- stavka in tabel iz Crystal Report poročil Java Reporting Component Pridobivanje podatkov iz poročil STORITEV CENTRALNE SHRAMBE DOKUMENTOV (CHD) Dekompresiranje datoteke Pridobivanje datoteke iz»docstora« SKLEP

5 Uvod Praktično izobraževanje sem opravljal v podjetju Nova KBM d.d. v Mariboru. Družba se deli na več sektorjev eden iz med njih je sektor informatike v katerem sem upravljal svojo praktično usposabljanje.. V tem sektorju se razvijajo vse od spletnih storitev pa do aplikacij za informacijske potrebe Nove KBM.d.d.. V podjetju so mi določili mentorja g. Gregorja Zorca, ki me je seznanil s politiko podjetja, predstavitvijo posameznih oddelkov in prostorov, ter mi predstavil načrt mojega dela v času praktičnega usposabljanja. 1 Opis gospodarske družbe Skupino Nove KBM sestavlja skupaj 13 članic. Obvladujoča družba skupine je Nova KBM d.d., med članicami je 11 odvisnih družb, v katerih ima Nova KBM prevladujoči delež, in 1 pridružena družba, ki zaokrožuje poslovanje skupine. ČLANICE Moja naložba Adria Bank AG Poštna banka Slovenije d.d. Credy banka AD KBM Infond KBM Leasing Gorica Leasing KBM Invest KBM Fineko KBM Leasing Hrvaška MB FInance B.V. M-Pay 5

6 1.1 Delna organizacijska shema banke : Nova KBM d.o.o. o Uprava banke Komerciala banke. Podpora poslovanja banke o Področje podpore poslovanja banke o Sektor tehnološke podpore o Sektor Informatike Oddelek programske opreme Oddelek sistemov in produkcije Poslanstvo Poslanstvo Nove KBM kot vodilne članice Skupine je delovati kot sodobna in varna banka s tradicijo, ki razume in spremlja stranke in sledi razvojnim ciljem ter živi z okoljem Vizija Nova KBM je sodobna in donosna banka s tradicijo in je regionalno prisotna na področju jugovzhodne Evrope. Smo banka s pestro ponudbo finančnih storitev, ki jih dosegamo v sodelovanju z ostalimi članicami Skupine Nove KBM. 6

7 1.1.3 Vrednote Vrednote Nove KBM so strokovnost, skrb za stranke, skrb za donosnost, pripadnost banki, poštenost in odgovornost, sodelovanje na vseh nivojih, inovativnost in razvoj ter samoiniciativnost. 2 Opis praktičnega izobraževanja Prvi dan praktičnega izobraževanja je bil namenjen vzpostavitvi delovnega okolja. Pred samo predstavitvijo sem podpisal dokument o zaupnosti podatkov in lastništvo produktov izdelanih v podjetju kakor tudi vso opremo ki sem jo uporabljal tekom praktičnega izobraževanja. Na začetku izobraževanja sem se seznanil s dokumenti za opis internih standardov za razvoj programskih rešitev, kakor tudi z različnimi platformami ki so prisotne v banki. Obstoječe platforme so: AIX o platforma za razvoj strežniških in spletnih rešitev na tej platformi se razvijajo Java rešitve Windows rešitve o okolje za končne uporabnike, za lasten razvoj je okolje v opuščanju in se prehaja na JAVA platformo IBM HOST o Za vzdrževanje obstoječih rešitev, predvidena migracija na AIX 7

8 Za hrambo podatkov se uporabljajo: Oracle MSSQL Supra 2.1 Uporabljene tehnologije in orodja v času izobraževanja NetBeans Je glavni IDE v podjetju za razvijanje programskih rešitev. NetBeans razvojno okolje se lahko uporablja kjer koli je naložen JVM(Windows, Linux, Mac OS, Solaris) Razvojno okolje NetBeans potrebuje JDK za razvoj javanskih aplikacij. Slika 1 : NetBeans Crystal Report Enterpraise Crystal Reports Enterprise je poročilni sistem za prikaz poročil izdelanih z orodjem Crystal Reports. Ta poročila se v banki navezujejo na različne podatkovne vire (Oracle, MS SQL,) Slika 2: Crystal reports 8

9 2.1.2 AutoIt AutoIt v3 je brezplačni BASIC-u podoben skriptni jezik, namenjen za avtomatizacijo grafičnega uporabniškega vmesnika v okolju Windows in skriptiranje. Uporablja kombinacijo simuliranih tipk, miške gibanja in windows/control manipulacijo, ki se da avtomatizirati opravila na način, ki ni možno ali zanesljivo z drugimi jeziki (npr. VBScript in SendKeys). Slika 3: AutoIt Java Java je objektno orientiran, prenosljiv in interpretiran programski jezik, ki ga je leta 1995 razvil James Gosling pri podjetju Sun Microsystems (od 27. januarja 2010 del podjetja Oracle). Programski jezik Java je ključni del t.i. javanske platforme, ki jo sestavljata javanski navidezni stroj (Java Virtual Machine ali JVM) in Java Application Programming Interface (Java API). Drugi del platforme, Java API, pa je skupek standardnih programskih komponent in funkcij, ki npr. poenostavljajo delo z datotekami, ponujajo enostaven dostop do različnih podatkovnih baz, na voljo je paket za delo z grafičnim uporabniškim vmesnikom ipd. Slika 4: Java 9

10 2.1.4 IBM Lotus Notes Lotus Notes je odjemalec elektronske pošte podoben Microsoftovemu Outlook-u. Slika 5: Lotus Subversion / Slik SVN Subversion (SVN) je sistem za sledenje spremembam izvorne kode, ki omogoča sočasno delo na skupnem projektu. Pri vsaki shranitvi na SVN strežnik, se shranijo le spremembe datotek, ki so bile dane pod nadzor. S hranjenjem vseh verzij izvorne kode je tako lažje nadzorovati razvoj projekta, slediti spremembam in oceniti njihov vpliv na delovanje celotnega projekta. Slik Subversion je implementacija SVN-ja za Windows okolje. Slika 6: SVN 10

11 3 Projektno delo V času opravljanja praktičnega izobraževanja sem delal na več projektih hkrati. Na začetku mi je mentor predstavil delovno okolje me seznanil katera orodja uporabljati ter zastavil določene naloge za opravit. 3.1 Opis poročilnega orodja Crystal Enterprise Reports designers V banki uporabljajo Crystal Report Enterprise okolje ki zagotavlja infrastrukturo za dostop do podatkov, ki lahko shrani predloge poročil. Z uporabo Crystal Enterprise report designers se shranjujejo, prožijo vsa poročila o različnih podatkih v različnih bazah. Slika 7: Primer Crystal Report poročila v programu Crystal Report 9 Crystal Reports (CR), se v večini uporablja za veliko zbirko podatkov, ki vsebujejo pomembne informacije kakor tudi kakršnekoli zadnje spremembe v bazi. 11

12 Podatki v bazi se spreminjajo s časom, in s tem si želimo, da bi lahko sledili trenutni spremembam dogajanja. Te želene informacije lahko pridobimo, tako da napišemo SQL poizvedbo, a to bi bilo preveč zamudno delo. kadarkoli potrebujemo ažurne inforamcije. Poročilo se naredi samo enkrat in s tem ga lahko neomejeno prožimo neomejeno krat in tako dobimo zadnje rezultate z vsakim uspešnim proženjem. Na primer: zaposleni lahko shrani izplačila, kredite, obresti itd. v posebej zato narejenem poročilu in nastavi urnik proženja tega poročila vsako uro, vsaki dan, mesec Ko je to poročilo sproženo Crystal Enterpraise dostopa do podatkovnega vira podanega v poročilu in shrani instanco tega poročila, ki je lahko na razpolago ali se samodejno shrani lokalno ali strežnik Programsko pridobivanje SQL- stavka in tabel iz Crystal Report poročil Kot že zgoraj omenjeno, vsa poročila vsebujejo svoj SQL, in po tem SQL-u vidimo iz katerih podatkovnih baz poročilo črpa določene podatke. Kjer pa se imena baz, premestitev podatkov, novi podatki, nadgradnje itd., velikokrat spreminjajo je treba popravit poročila. Ker program Crystal Reprot 9 nima možnosti da bi to naredil programsko nad vsemi poročili, je to dolgotrajno delo, predvsem zaradi števila poročil, saj treba vsako poročilo ročno preverit. 12

13 Poročila lahko imajo dve različni shrambi SQL povpraševanja. Prva so tista ki imajo SQL shranjen neposredno v poročilu. Natančneje v t.i. Command tabeli. Te vrste poročil lahko pogledamo SQL povpraševanje v katere baze in tabele se sklicuje. Do teh se lahko dostopa ročno preko Crystal Report programa ko prikazujejo naslednje slike: Slika 8: DataBase Expert Slika 9: View Command Slika 10: SQL poizvedba 13

14 Druge vrste poročila nemesto shranjenega SQL-povpraševanja uporabljajo procedure, ki so shranjene v bazi. Tako da do SQL povpraševanja ne moremo dostopati preko postopka prikazanega zgoraj. Ker SQL ni shranjen v poročilo, je pridobivanje»select«stavka zapletenejše. Ta vrsta poročila pa vsebuje dve vrsti tabel:»table«in»procedure«kjer lahko ugotovimo na katero bazo se sklicuje povpraševanje. Kot prikazuje spodnji primer: Slika 11: Zgled Procedure poročilo Moja naloga je bila da iz poročil programsko pridobim podatke iz poročila ki vsebujejo poizvedbe na določene baze, tako da lahko poiščemo poročila na podlagi iskanega ključa, po bazi, avtorju, oddelek ki je poročilo naredil, datumu itd.. Na začetku sem dobil nekaj primerov datotek CR na podlagi katerih sem pričel z delom. Na strani uradni strani podjetja SAP Business Intelligence sem našel primerno javansko knjižnico za delo z poročili. Slika 12:.rpt 14

15 3.1.2 Java Reporting Component Java Reporting Component (JRC) razredi nam zagotavljajo možnost pregledovanja in izvažanja Crystal Report poročil v Eclipse razvojnem okolju. Za projektne potrebe nisem potreboval Report Viewer-u ki namenjen za odpiranje in urejanje poročil v Eclipse(IDE), sem si ustvaril nov projekt v Netbeans in uvozil naslednje pakete potrebne pakete za programsko odpiranje in pridobivanje podatkov: com.crystaldecisions.sdk.occa.report.data, com.crystaldecisions.reports.sdk com.crystaldecisions.sdk.occa.report.reportsource, com.crystaldecisions.reports.reportengineinterface, com.crystaldecisions.sdk.occa.report.lib Pridobivanje podatkov iz poročil Za pridobitev podatkov sem uporabil več knjižnic ki so imele razrede namenjene za pridobitev podatkov. Podatke ki sem jih dobil iz poročila sem shranil v lastni razred ki je vseboval vse pridobljene informacije o poročilu. Pridobival sem jih po naslednjem postopku: Razred: public class CReport { String filename String filepath; Date datum; ISummaryInfo isinfo; ICommandTable ictabela; IProcedure iprocedure; String imetabele; ITable itable; } // Ime datoteke // Lokacija datoteke // Datum spremembe poročila // Tabela ki vsebuje SQL poizvedbo // Poročilo ki ima shranjeno proceduro // Poročilo ki ima shranjeno proceduro // Ime tabel ki jih poročilo vsebuje // Meta podatki o poročilu 15

16 Odpiranje poročila in pridobivanje podatkov: CReport creport = new CReport(); // objekt lastnega razreda ReportClientDocument rdocument = new ReportClientDocument(); // nov objekt Poročila cdoc.open(file.getpath(), 0); // odpiranje poročila for (ITable tmp : cdoc.getdatabasecontroller().getdatabase().gettables()) { /* ker ima lahko poročilo narejeno iz več tabel shranimo vse tabele*/ if (tmp.getclass().getname().contains("commandtable")) { crep.setimetabele(tmp.getname()); if (tmp.getclass().getname().contains("procedure")) { crep.setimetabele(tmp.getname()); Z to metodo ustvarimo objekt poročila in s tem objektom odpremo Crystal Report in shranjujemo pridobljene podatke iz različnih tabel v lasten razred. Na koncu zapremo poročilo. Zaradi preglednosti in praktičnosti so se ti podatki zapisovali v Microsoft Excel datoteko: Slika 13: Podatki v Excel-e documentu Program Crystal Report hrani poročila v posebni mapi imenovani FileStore ki se hrani na enem od strežnikov v podjetju. Za lažjo testiranje in preverjanje pravilnega delovanja programa sem dobil kopijo vseh obstoječih poročil. Testiranje na celotnem arhivu poročil pa so nastopili naslednji problemi. 16

17 V arhivu se hranijo poročila iz leta 2001 naprej in niso bile več nikoli spremenjena, narejena pa so z starimi različicami Crystal Report programoma 4.0, 5.0 S tem pa je nastopil problem z JRC ki ne podpira poročil starejših od različic 9.0 (trenutno najnovejša 13) in jih ne more odpret, zato je prišlo do napake v programu. Ta problem je rešilo samo ročno odpiranje poročila v programu Crystal Report in shranjevanje v načinu verzije '9.0'. V celotnem arhivu je bilo okoli poročil do teh je bilo približno okoli 150 starih verzij. Ta problem sem rešil z programom AutoIT ki je skriptni jezik, namenjen za avtomatizacijo Windows GUI. V programu za pridobivanje podatkov sem si shranil vse poti poročil ki so bile starejših verzij v tekstovno datoteko. S programom AutoIt sem napisal avtomatsko skripto, ki je odprla poročilo v Crystal Report jo hkrati zaprla in shranila, tako je bilo poročilo shranjeno pod novo verzijo. Prikaz del kode AutoIt skripte: Slika 14: AutoIt skripta Drugi večji problem pri tem projektu je bil podvojevanje Crystal Reportov. Vsakič ko se poročilo proži nad določenimi podatki se naredi nova instanca poročila. Tako je bilo v arhivu shranjenih več poročil z enakimi podatki vendar z drugačnim povpraševanjem na katero od tabel ali drugim avtorjem itd., Filtriranje poročil je bilo 17

18 precej zahtevno. Naloga programa pa je bila da pridobi zadnjo instanco poročila ki je bilo sproženo. Tako sem uporabil HashSet<MojRazred> ki ne dovoljuje duplikatov v zbirki. Zgoščevana tabela (ang. Hash) shranjuje podatke, s pomočjo mehanizma imenovanega»hashing«. V hashu, je informacijska vsebina ključa za določanje edinstvene vrednosti, to pomeni da ima vsak objekt shranjen svoj enoličen hash. Tako sem napisal za svoj razred Equal funkcijo ki mi je vračala izračunan hash-a iz podani polj v objektu, in na podlagi izračunanega hash-a primerjala druge objekte v zbirki, s tem sem se rešil duplikatov in dobil zadnjo instanco poročila. Na začetku projekta sva se z mentorjem zmenila da naj bo program implementiran kot konzolna aplikacija. Ker pa je program postal kar obsežen in imel veliko iskalnih vhodnih parametrov na razpolago je postal problem z nepreglednostjo pri zaganjanju programa. Mentor mi je predlagal naj uporabim Apache Commons CLI knjižnico za delo z konzolnim zaganjanjem programa. Apache Commons CLI knjižnica zagotavlja možnost parsanja ukazne vrstice ki se prenesejo v program. Prav tako lahko izpišemo podrobno pomoč sporočil razpoložljivih možnosti za orodje za ukazno vrstico. final Options ukazoptions = new Options(); ukazoptions.addoption("d", "<pathname>", true, "Isci porocila po trenutni mapi").addoption("r", "<pathname>", true, "Isci porocila po celotnem direktoriju").addoption("s", true, "Iskani niz").addoption("f", "<pathname>", true, "Koncna pot Excele datoteke").addoption("date", "<dd-mm-yyyy>", true, "Iskanje od-do po datomu yyyy-mm-dd <> yyyy-mm-dd").addoption("dpr", "<dd-mm-yyyy>", true, "Iskanje dokumentov pred podanem datumu yyyy-mm-dd").addoption("dpo", "<dd-mm-yyyy>", true, "Iskanje dokumentov po podanem datomu yyyy- MM-dd").addOption("sdPr", "<dd-mm-yyyy>", true, "Iskanje dokumentov pred podanem datumu in kljucno besedo yyyy-mm-dd").addoption("sdpo", "<dd-mm-yyyy>", true, "Iskanje dokumentov po podanem datumu in kljucno besedo yyyy-mm-dd").addoption("allr", false, "Pridobitev vseh podatkov iz vseh poročil").addoption("fltr", false, "Filtrira podvojene poročila").addoption("match", false, "Equal iskanje"); ukazoptions.addoption(optionbuilder.withdescription("iskanje med dvema datuma dd-mm-yyyy <> dd-mm-yyyy").hasargs(2).withargname("args").create("date")); 18

19 Tako sem lahko programu podal po parametrih v konzolni vrstici po naslednjem primeru: -r "D:\zacetna\mapa\datoteke" -f "D:\koncna\mapa\datoteke" -s KljucnaBeseda -fltr -match -date " " " " Slika 15: Primer zaganjanje programa 3.2 Storitev centralne shrambe dokumentov (CHD) V podjetju se uporablja storitev Centralna shramba dokumentov in datotek. Cilj te storitve je zmanjšanje zasedenosti diskovnega kapacitet in podvajanja datotek. V CHD so vse datoteke in programi shranjeni v kompresijskem formatu.tar.xz. Arhiv ustvarjen s Tar in XZ kompresijskim arhiviranjem, ki vsebuje eno ali več datotek, se najprej za arhiviranje uporabi Tar ki je nato stisnjen z XZ kompresijo tako so datoteke stisnjene z visoko kompresijskim razmerjem Dekompresiranje datoteke Moja prva naloga pri tem projektu je bila implementacija programa za ekstrahiranje datotek iz XZ kompresije v Tar arhiv in iz Tar arhiva vse datoteke lokalno na želeno lokacijo. 19

20 Mentor mi je dal primer datoteke z končnico.txz na podlagi katerega sem lahko pričel z delom. Na internetu sem našel primerno knjižnico za implementacijo»xz data compression«v Javi. V tej knjižnici je implementiran razred XZInputStream ki sprejema input stream.txz datoteke in jo extrahira v tar arhiv. Del kode dekompresiranja.txz datoteke v Tar input stream: XZCompressorInputStream xzin; xzin = new XZCompressorInputStream(in, false); // in - input stream.txz datoteke final byte[] buffer = new byte[buffer_size]; int n = 0; while (-1!= (n = xzin.read(buffer, 0, buffer.length))) { bstream.write(buffer, 0, n);} Iz tega sem dobil potem ByteArrayOutputStream bstream ki mi je shranil vse bite od posamezne datoteke v svojo polje. Ta Stream pa je bil poslan metodi za odpakiranje Tar arhiva ki sprejema TarInputStream. TarInputStream tinputstream = new TarInputStream(new ByteArrayInputStream(byteArray)); while ((entry = tinputstream.getnextentry())!= null) { } LOGGER.info("Extracting : " + entry.getname()); if (entry.isdirectory()) { new File(koncnaLokacija + "/" + entry.getname()).mkdirs(); continue; } else { int di = entry.getname().lastindexof('/'); if (di!= -1) { new File(koncnaLokacija + "/" + entry.getname().substring(0, di)).mkdirs(); } } Razred TarInputStream nam vrača FileOutput stream s katerim sem zapisal končno odpakirano datoteko na disk. 20

21 3.2.2 Pridobivanje datoteke iz»docstora«naslednja nadgradnja programa je bila pridobiti kompersirano datoteko iz dokumentne shrambe (Docstore). Vsaka datoteka dobi svoj identičen ključ na podlagi katerega dostopamo do datoteke. Od mentorja sem dobil SQL-povpraševanje ki mi je vračal lokacijo shrambe določenega dokumenta. Iz tega SQL-a sem pridobil»kjuč«na podlagi katerega sem pozneje pridobil dokument. V podjetju je posebej implementirana knjižnica za pridobitev dokumenta iz strežnika na podlagi»ključa«dokumenta. Ta vmesnik pa nam vrača InputStream datoteke. Moja naloga je bila da program za dekompresiranje prilagodim tako da bo na podlagi podanega ključa program avtomatsko pridobil in dekompresiral datoteke lokalno na računalnik. To sem storil tako da sem napisal novi modul ki je sprejemal več vhodnih parametrov za SQL- povpraševanje na podlagi katerih sem dobil»ključ«in sam dokument, vračal pa je InputStream za nadaljnjo obdelavo. Ta modul sem potem vključil v prejšnji program za dekompresijo. V dekompresijskem programu sem imel nastavljen program tako da je dokument pridobival dekompresirano datoteko lokalno. Modul za pridobivanje datoteke iz»docstora«pa je vračal datoteko v formatu InputStream zato je bilo potrebno prilagodil program na ta način da sprejema vhodni parameter lokalno dekompresirano datoteko oz. InputStream. 21

22 4 Sklep Praktično izobraževanje, ki sem ga opravljal v družbi je bilo zelo koristno in poučno. Spoznal sem razne nove tehnologije, obenem pa sem nadgradil tudi tiste, ki smo jih tekom študija šele spoznavali. Največji napredek sem opazil pri programskem jeziku Java, s katerim sem lahko precej nadgradil pridobljeno znanje iz programiranja tekom študija. Zahvaljujem se vsem v družbi za ponujeno možnost opravljanja praktičnega izobraževanja. Zahvala gre tudi zaposlenim, ki so mi dajali napotke in mi pomagali ko sem naletel na težave. Posebna zahvala gre tudi mentorju Gregorju Zorcu, ki me je ves čas praktičnega izobraževanja spodbujal, bodril in z svojimi napotki, ter znanjem usmerjal na pravo pot. 22