TECHNICKÁ UNIVERZITA FAKULTA ELEKTROTECHNIKY A INFORMATIKY KATEDRA KYBERNETIKY A UMELEJ INTELIGENCIE

Transcription

1 TECHNICKÁ UNIVERZITA FAKULTA ELEKTROTECHNIKY A INFORMATIKY KATEDRA KYBERNETIKY A UMELEJ INTELIGENCIE ROZPOZNÁVANIE PÍSMA ( UMELÁ INTELIGENCIA) JÁN MIČKANIN 3.ROČNÍK

2 Obsah 1.Úvod Gradient-Based Learning Systémy rozpoznávania rukou písaného písma 2 2.Konvolučné neurónové siete pre rozpoznávanie rukou písaného písma Konvolučné siete LeNet Klesajúca funkcia..3 3.Výsledky a porovnania s ostatnými metódami Databáza upravená NIST Výsledky Porovnania s ostatnými metódami Lineárny klasifikátor a Pairwise linear classifier Základný najbližší sused klasifikátora Principal component analysis and polynomial classifier Radial basis function network One-hidden layer fully connected multilayer neural network Two-hidden layer fully connected multilayer neural network Malá konvolučná sieť : LeNet LeNet Skombinovaná LeNet Vyhodnotenie Nemennosť a odolnosť. 9 4.Viacmodulové systémy a Graph transformer networks Objektovo orientovaný prístup Špeciálne moduly Graph transformer networks Viacnásobné rozpoznávanie objektu: Heuristická presegmentácia Segmentový graf Rozpoznávací transformer a Viterbiho transformer 13 6.Všeobecný tréning pre Graph transformer networks Viterbiho tréning Selektívny Viterbiho tréning On-line systémy pre rozpoznávanie rukou písaného textu Preprocessing Architektúra siete Trénovanie siete Výsledky experimentu Záver.. 20 Použitá literatúra 20

3 1.Úvod V tejto mojej eseji som sa rozhodol opísať niektoré metódy rozpoznávania rukou písaného písma. Terajšie metódy sú založené hlavne na neurónových sieťach, ktorých je viac druhov. Najviac systémov je založených na používaní kombinácie techník učenia a ručne navrhnutých heuristík. Normálne používaná metóda na rozpoznávanie pozostáva z dvoch hlavných častí: a fixed feature extractor transformuje nespracovaný vstup na malé vektory, alebo krátke reťazce symbolov trainble classifier ide o modul na triedenie, ktorý je možné učiť, pričom chyba tohto modulu je závislá na jeho konštruktérovi V minulosti boli tri základné problémy, ktoré sú už teraz z väčšej miery zvládnuté a to: 1. malé výkony zariadení 2. málo pamäťového miesta v zariadeniach 3. málo vyvinuté optické zariadenia V súčasnosti veľká časť OCR(optické rozpoznávanie znakov) systémov používa niektorú z foriem viacvrstvových neurónových sietí. V prvých dvoch kapitolách budem hovoriť o metódach rozpoznávaní rukou písaných znakov. V ďalších kapitolách budem hovoriť o porovnaní metód 1. a 2. kapitoly s inými metódami, ďalej o viacmodulových systémoch, graficky transformovaných sieťach(gtn), o Konvolutúrnej neurónovej sieti a iných veciach, týkajúcich sa rozpoznávania. V posledných rokoch bol najúspešnejší prístup k automatickému strojovému učeniu Gradient-based learning. Učiaci sa stroj počíta funkciu, kde je p-tá vstupná vzorka a W je súbor premenných parametrov v systéme. Klesajúca funkcia, meria odchýlku medzi (požadovaný výstup ) a výstupom, ktorý produkuje systém. Priemer funkcie je priemerom chýb nad množinou vybraných príkladov nazývanou tréningová množina. Problémom učenia je nájsť hodnotu W, ktorá minimalizuje. Rozdiel medzi predpokladanou chybou na množine a môžeme vyjadriť ako, kde P je počet tréningových vzoriek, h je veľkosť efektívnej kapacity a α je číslo medzi 0.5 a 1. Tento rozdiel sa zmenšuje, keď stúpa počet vzoriek P. 1.1 Gradient-Based Learning Gradient-Based Learning je založené na fakte, že je obyčajne oveľa jednoduchšie minimalizovaním primerane vyhladiť spojitú funkciu ako diskrétnu funkciu. Klesajúca funkcia môže byť minimalizovaná odhadom vplyvu malých výkyvov hodnôt parametrov klesajúcej funkcie. Toto je merané gradientom klesajúcej funkcie s ohľadom na parametre. Pre najjednoduchšiu procedúru minimalizácie pri klesajúcom algoritme platí:. ε je vektorová konštanta. Ďalšou dosť používanou procedúrou

4 minimalizácie je stochastický gradientný algoritmus, alebo on-line update. V tomto prípade platí pre W:. 1.2 Systémy rozpoznávania rukou písaného písma Najväčším problémom nie je len rozpoznávanie jednotlivých znakov, ale aj ich rozlíšenie od iných znakov v slovách, alebo vetách. Toto rozlišovanie sa nazýva segmentácia. Technika realizácie segmentácie sa nazýva Heuristická presegmentácia. Funguje tak, že priraďuje jednotlivým znakom v pamäti hodnotu pravdepodobnosti v %, kde počet percent vyjadruje pravdepodobnosť zhody znaku načítaného so znakom v pamäti. Výstupným znakom bude znak s najväčšou pravdepodobnosťou. Najjednoduchším spôsobom spracovania slov a viet je manuálne odčleniť všetky znaky od seba. To je však dosť namáhavé a môže to priniesť chyby. Lepšie riešenie je popísané v 5. kapitole. Ide o to, aby sa systém učením dostal na úroveň reťazcov radšej, ako na úroveň znakov. Na tento účel môže byť použitá metóda Gradient- Based Learning. Okrem toho je aj iné riešenie. Jeho myšlienkou je vyčistiť rozpoznávač pred každou možnosťou vstupného obrázka a spoliehať sa na správne nastavenie rozpoznávača. 2. Konvolučné neurónové siete pre rozpoznávanie rukou písaného písma V tradičnom modeli rozpoznávania navrhnutý feature extractor zhrnie podstatné informácie zo vstupu a eliminuje nepodstatné premenné. Trainable classifier potom rozdelí výsledné vektory do tried. Tu ako classifier môže byť použitá štandardná spojitá viacvrstvová sieť. Vznikajú tu dva problémy: 1. typické vstupné obrázky sú veľké, často niekoľko stoviek znakov(pixelov) 2. nedostatok plne pripojených architektúr je, že topológia vstupu je úplne ignorovaná. 2.1 Konvolučné siete Konvolučné siete kombinujú 3 architektúrne myšlienky na zaistenie nejakého stupňa voľnosti, škály a pretvorenia nemennosti: local receptive fields, shared weights a priestorové alebo časové sub-sampling. Typická vinutá sieť na rozpoznávanie znakov, LeNet-5 je na obrázku. 2.2 LeNet-5 Táto sieť sa skladá zo 7 vrstiev. Vstup je 32x32 pixelový obrázok. Vrstva C1 je konvolučná vrstva a skladá sa zo 6 charakteristických máp. Veľkosť charakteristickej mapy je 28x28, obsahuje 156 parametrov a 122,304 spojení. Vrstva S2 je sub-sampling vrstva, ktorá obsahuje 6 charakteristických máp s veľkosťami 14x14. Každá jednotka mapy S2 je spojená so susednou množinou jednotiek mapy C1 o veľkosti 2x2. Sieť S2 má 12 parametrov a 5,880 spojení. Vrstva C3 je konvolučná vrstva so 16 charakteristickými mapami. Každá jednotka mapy C3 je spojená so susednou množinou jednotiek mapy S2 o veľkosti 5x5. Keďže rozmer S2 je 14x14, musí existovať jednotka mapy S2, ktorá bude patriť do poľa 5x5 viacerých jednotiek mapy C3. Na obrázku je dané, čo je s čím spojené.

5 Vrstva C3 má 1,516 parametrov a 156,000 spojení. Vrstva S4 je sub-sampling vrstva, ktorá obsahuje 16 máp o veľkosti 5x5, kde každá jednotka mapy S4 je spojená so susednou množinou jednotiek mapy C3 o veľkosti 2x2. Vrstva C5 je konvolučná vrstva so 120 mapami. Každá jednotka je spojená so susedom na všetkých 16 mapách S4. Pretože veľkosť mapy S4 je 5x5, tu je veľkosť mapy 1x1. Vrstva C5 má 48,120 spojení. Vrstva F6 obsahuje 84 jednotiek. Výstupná vrstva je zložená na Euklidovskej radiálnej základnej funkcii (RBF), každá pre jednu triedu s 84 vstupnými jednotkami. Pre jednotku y i platí:. Na ďalšom obrázku vidno množinu ASCII znakov, ktoré môžeme dostať na výstupe. Rozmer týchto znakov je 7x Klesajúca funkcia Najjednoduchšia výstupná klesajúca funkcia, ktorá môže byť použitá so spomenutou sieťou je maximálny odhad pravdepodobnosti (MLE), ktorý je v našom prípade ekvivalentom minimálnej umocnenej chyby (MSE). Kritérium pre množinu skúšobných vzoriek je:, kde je výstup z D p -tej RBF jednotky a Z p je vstup. 3. Výsledky a porovnania s ostatnými metódami Dnes je už veľa existujúcich metód, v ktorých je skombinovaný ručný feature extractor a trainable classifier, no táto kapitola je konkretizovaná na prispôsobivé metódy, ktoré pracujú bezprostredne s normalizovanými vstupnými obrázkami.

6 3.1 Databáza upravená NIST Databáza popísaná v tejto podkapitole určená na trénovanie a testovanie systémov bola skonštruovaná z NIST špeciálnej databázy 3(SD-3) a špeciálnej databázy 1(SD-1) obsahujúcej binárne obrázky rukou písaných znakov. SD-3 je normálne tréningová a SD-1 je testovacia množina NIST. SD-3 je oveľa čistejšia a jednoduchšia na rozpoznávanie, ako SD- 1. SD-1 obsahuje 58,527 obrázkov znakov napísaných 500 rôznymi pisateľmi. Ak rozdelíme SD-1 na dve, dostaneme znaky prvých 250 pisateľov ako tréningovú množinu a ostatných 250 ako testovaciu množinu. Nová tréningová množina vznikla s dostatkom príkladov z SD-3 so začiatkom na #0 a testovacia so začiatkom na #35,000. V teste bolo použitých len 10,000 príkladov z testovacej množiny, ale všetkých okolo 60,000 príkladov z tréningovej množiny. Tieto výstupné množiny sa nazývajú upravená NIST, alebo MNIST. Na obrázku sú náhodne zobrazené normalizované príklady z novej sady MNIST. Príklad takejto MNIST sady je na stránke ktorá však momentálne nefunguje. 3.2 Výsledky Niekoľko verzií LeNetu-5 bolo testovaných na takejto MNIST množine. Veľkosť globálnej hodnoty rýchlosti učenia η klesala nasledovne: pre prvé 2 fázy, pre ďalšie 3, pre ďalšie 3, pre ďalšie 4 a pre ostatné. Chyba na tréningovej množine po 10 fázach bola 0.95% a po 19 fázach dosiahla 0.35%. Chyba pri tréningu postupne klesala na minimum s väčším počtom urobených fáz, ale chyba testu skočila na minimum a po určitom počte fáz začala stúpať. Všetko zobrazuje obrázok na ďalšej strane. Vplyv veľkosti tréningovej množiny bol meraný pri učení neurónovej siete s 15,000 ;30,000 a 60,000 príkladmi. Na druhom obrázku na nasledujúcej strane je vidieť, že špecializovaná architektúra, ako je napríklad aj LeNet-5 môže pri viacerých vstupných dátach znižovať chybu testu. Na overenie tejto hypotézy bolo vytvorených viac tréningových príkladov náhodne vybraných z tréningovej množiny. K originálnym 60,000 znakom bolo pridaných ešte ďalších 540,000 počas náhodného výberu skreslenia, ktoré bolo spôsobené kombináciou

7 nasledujúcich transformácií: vodorovný a zvislý posun, úpravou mierky a stláčaním znakov. Príklad takto upravených znakov je na nasledujúcom obrázku:

8 Keď sme použili nové znaky, chyba po 10 fázach klesla z 0.95%(predošlé) na 0.8%. Na ďalšom obrázku sú ukázané znaky, ktoré neboli rozpoznané pomocou LeNet-5, pričom niektoré z nich sa dajú rozpoznať človekom. To poukazuje, že treba databázu ešte zväčšiť o ďalšie znaky.

9 3.3 Porovnania s ostatnými metódami Pre správnosť sme použili rovnakú vstupnú množinu ako pri predošlom teste. Na obrázku 9. sú ukázané výsledky testu pre rôzne systémy: Lineárny klasifikátor a Pairwise linear classifier Najjednoduchším klasifikátorom je lineárny. Každá hodnota vstupného signálu prispieva k zväčšeniu súčtu pre každú výstupnú jednotku. Výstupná jednotka s najväčším súčtom indikuje triedu vstupného znaku. Hodnoty chýb sú uvedené v grafe Základný najbližší sused klasifikátora Ďalší jednoduchý klasifikátor je K-nearest neighbor classifier s Euklidovským meraním vzdialenosti medzi vstupnými obrázkami. Tento klasifikátor má tú výhodu, že nepotrebuje rozmýšľanie pri návrhu ani tréningový čas. Nevýhodou je však potreba veľkej pamäte, pretože na 60,000 potrebuje asi 24MB pamäte, keďže jednému znaku pripadá rozmer 20x20. Hodnoty chýb sú uvedené na obrázku Principal component analysis and polynomial classifier Vstup je vektor so 40 komponentmi. Výpočet komponentov bol robený tak, že najprv každý vstupný komponent bol prepočítaný a privlastnený z tréningového vektora(vstupného). Konvariantná matica vektorov výsledkov bola vypočítaná a diagnostikovaná pomocou Singular Value Docomposition. Vektor s veľkosťou 40 bol použitý ako vstup do klasifikátora druhého stupňa. Tento klasifikátor už môže byť braný ako lineárny s 821 vstupmi. Hodnoty chýb sú uvedené v grafe 9.[Ott, 1976;Schürmann, 1978] Radial basis function network Ide o RBF sieť. Prvá vrstva obsahuje 1000 vstupných Gausových RBF jednotiek o veľkosti 28x28, druhá má 1000 vstupov / 10 výstupov lineárneho klasifikátora. RBF jednotka bola rozdelená na 10 skupín. Každá skupina bola trénovaná osobitne na všetkých vstupných

10 príkladoch. Veľkosť druhej vrstvy bola vypočítaná pomocou regulovanej pseudo-inverznej metódy. Chyba je v grafe 9. [Lee, 1991] One-hidden layer fully connected multilayer neural network Chyby sú uvedené v grafe 9. Prvá chyba je pre sieť s 300 skrytými jednotkami, kde jednotka má rozmer 28x28. Ak zmenšíme rozmer jednotky na 20x20, dostaneme najmenšiu chybu a to 1.6%. Ak zvýšime počet jednotiek na 1000 dôjde taktiež k menšiemu poklesu o 0.2% Two-hidden layer fully connected multilayer neural network Ako vidno v grafe 9, pri dvoch skrytých vrstvách sú dosiahnuté lepšie výsledky, ako pri jednej skrytej vrstve. Veľkosti jednotlivých vrstiev, ako aj vstupu a výstupu sú vypísané v grafe 9. Po pridaní druhej vrstvy s rozmerom 100 jednotiek siete 28x došlo k viditeľnému poklesu chyby o 1.65% Malá konvolučná sieť: LeNet-1 LeNet-1 bola jedným z prvých zástupcov architektúry Konvolučných sietí. Vstupná vrstva má rozmer 28x28. LeNet-1 bol pôvodne vyvinutý pre rozpoznávanie USPS(poštové smerové čísla USA). LeNet-1 má len okolo 2600 voľných parametrov. Aj napriek malému počtu parametrov je jej chyba 1.7% prijateľná LeNet-4 LeNet-1 poukázal na to, že pri väčšej tréningovej sade je potrebná už väčšia Konvolučná sieť. To spĺňajú siete LeNet-4 a LeNet-5. Tieto väčšie siete sú podobné, rozdiel medzi nimi je len v architektúre. LeNet-4 obsahuje na prvej vrstve 4 charakteristické mapy, nasleduje vrstva 8 charakteristických máp, ktoré sú po pároch spojené s predošlými vrstvami. Ďalej je 16 vrstiev nasledovaných ďalšími 16 vrstvami, plne spojenými so 120 jednotkami, za ktorými nasleduje výstupná vrstva s 10 jednotkami. Tato sieť obsahuje asi 17,000 voľných parametrov. Chyby tejto siete sú uvedené v grafe Skombinovaná LeNet-4 Páni R.Schapire [Schapire, 1990] a Drucker [Drucker et al., 1993] vynašli boostovaciu metódu na skombinovanie viacvrstvových klasifikátorov. 3 LeNet-4 boli skombinované do jednej: 1. je trénovaná obyčajnou cestou 2. je trénovaná na tom, čo vydá prvá sieť(50% správnych riešení, 50% nesprávnych riešení) 3. je trénovaná na novom vstupe, ktorý tvoria nesúhlasy prvej aj druhej siete. Pretože chyba LeNet-4 je veľmi malá, bolo potrebné použiť umelo upravené vstupné obrázky na dostatočné trénovanie druhej a tretej siete. Ako vidno z grafu 9, tento klasifikátor má najmenšiu chybu zo všetkých porovnávaných klasifikátorov a to 0.7%. 3.4 Vyhodnotenie Výsledky sú popísané na obrázkoch 9 až 12. Na obrázku 9, ako som už spomínal, sú zobrazené chyby, kde najlepšie výsledky dosiahola Boosted LeNet-4. Na obrázku 10 je zobrazená závislosť chyby v % od počtu vstupných vzoriek, kde bolo potrebné zistiť, koľko vstupných vzoriek testovacej sady je potrebných, aby aspoň jeden systém dosiahol chybu 0.5%. Na obrázku 11 je zobrazené, koľko multiply-accumulate operácií je potrebných na rozpoznanie jedného znaku začínajúcom v normalizovanom obrázku. Neurónové siete sú menej náročné na pamäťovo založené metódy. Takéto systémy sú ľahko implementovateľné do hardvéru. V roku 1992 bol vyskúšaný LeNet-5 predprocesor, ktorý rozpoznával 1000 znakov za sekundu. Technika sa stále zdokonaľuje a preto aj výkony budú stále stúpať vyššie a vyššie. Obrázok 12 ukazuje pamäťové potreby v počte symbolov. Väčšina systémov potrebuje len 1 byt na symbol.

11 3.5 Nemennosť a odolnosť Na obrázku 13. je ukázané, aká odolná má sieť LeNet-5, keďže sa neodporúča normalizácia(normálne používaná pri metódach na vstupe), pretože znaky nie sú dokončené, poprípade pri znaku sú metúce čiarky. LeNet-5 rozlišuje aj takéto nezrozumiteľne napísané znaky a podľa pravdepodobnosti výskytu znaku zobrazí ten znak s určitou svetlosťou. Pri svetlo napísanom znaku je najmenšia pravdepodobnosť, že to určil správne a naopak pri úplne čiernom je tá pravdepodobnosť dosť vysoká. Viac príkladov so sieťou LeNet-5 je na stránke

12

13 4. Viacmodulové systémy a Graph transformer networks V predošlých kapitolách bola popísaná jednoduchá forma Gradient-based learning. V tejto kapitole bude popísaný všeobecnejší systém ako predchádzajúci. Na obrázku 14. vidíme trénovateľný systém pozostávajúci z rôznorodých blokov(modelov). Viacmodulový systém je definovaný funkciou implementujúcou každým blokom a grafom spojenie modulov. Klesajúce funkcie, ktorými je myslené uskutočnenie systému sú v bloku 4. Moduly môžu mať (ale nemusia) tréningové parametre. Všeobecne, nie je tu kvalitatívny rozdiel medzi tréningovými parametrami(w1,w2), externými vstupmi a výstupmi(z,d,e) a symbolmi(x1,x2,x3,x4,x5). 4.1 Objektovo orientovaný prístup Objektovo orientované programovanie ponúka čiastočne vhodnú cestu implementácie viacmodulových systémov. Každý modul je inštanciou triedy. Triedy modulov majú forward propagation metódu nazývanú fprop, ktorej argumenty sú vstupy a výstupy modulu. Tento algoritmus je zrealizovateľný pre hocijakú sieť zloženú z modulov(blokov). Výpočet derivácií je taktiež jednoduchý. Všetky derivácie môžu byť vypočítané volaním bprop metódy na všetkých moduloch v spätnom poradí. 4.2 Špeciálne moduly Neurónové siete a veľa techník rozpoznávania môžu byť formulované vo vzťahu k viacmodulovým systémom trénovaným pomocou Gradient-based learning. Je viac špeciálnych modulov, niektoré z nich teraz popíšem. Prvým modulom je viackanálový modul. Ide o nediferencovateľný model, ktorý má dva alebo viac pravidelných vstupov, jeden výstup a jeden prepinateľný vstup. Modul označí jeden vstup, závisí na prepínateľnom vstupe a skopíruje ho na výstup. Ďalším modulom je min modul. Tento má dva alebo viac vstupov a jeden výstup. Výstup z modulu je priamo úmerný minimám vstupu. 4.3 Graph transformer networks Viacmodulové systémy sú veľmi flexibilné zariadenia pre budovanie veľkých trénovateľných systémov. Ak však máme vektory s pevnou veľkosťou, vektory znižujú flexibilitu pre úlohy, v ktorých stav pravdepodobného rozdelenia na sekvencie vektorov, alebo symbolov je zapúzdrené v jazykovom procese. Takéto rozdelenia na sekvencie sú najlepšie reprezentované náhodnou gramatikou, alebo všeobecnejšie riadenými grafmi. Pri zostavovaní systémov na rozpoznávanie s veľkou škálou znakov, systémy môžu byť objavené oveľa jednoduchšie a rýchlejšie, keď sú brané ako siete zostavené z modulov. Takéto moduly sa nazývajú Graph transformers a kompletný systém sa volá Graph transformer networks alebo jednoducho GTN. Na obrázku 15. máme tradičnú neurónovú sieť. Gradient-based

14 learning procedúry nie sú limitované jednoduchými modulmi, ktoré medzi sebou komunikujú pomocou vektorov s pevne stanovenými veľkosťami, ale môžu byť zovšeobecnené aj na GTN. Gradient-based learning môže byť používané tak dlho, ako dlho sú používané diferencovateľné funkcie na vytváranie numerických dát na výstupe grafu z numerických dát na vstupe grafu a funkčných parametrov. 5. Viacnásobné rozpoznávanie objektu: Heuristická presegmentácia Jedným z najťažších problémov pri rozpoznávaní rukou písaného písma nie je odizolovať znaky, ale reťazce, ako napríklad poštové smerové číslo na obálkach. Je potrebné rozdeliť najprv reťazce do jednotlivých vstupných obrázkov. Je však nepravdepodobné nájsť techniku na analýzu obrázkov, ktorá by celé reťazce oddelila a pekne sformovala bez jedinej chyby. V ďalších podkapitolách bude popísaný jednoduchý príklad GTN, ktorá sa dá použiť napríklad na oddeľovanie slov na poštovej obálke, alebo na šeku. 5.1 Segmentový graf Jednou z aktuálnych metód na rozpoznávanie slov od seba je Heuristická presegmentácia. Problém je zobrazený na obrázku 16. Najprv je rozdelené číslo na odseky. Pre dosiahnutie správnych odsekov musíme nájsť minimum v zvislom navrhovanom profile, alebo minimum vzdialenosti medzi hornou a spodnou kontúrou slova. Takto sa bude slovo rozdeľovať až sa dosiahnu správne odseky. Alternatívna segmentácia je najviac reprezentovaná ako graf, ktorý sa nazýva segmentation graph. Segmentový graf je Directed acyclic graph (DAG) s počiatkom a koncom.

15 5.2 Rozpoznávací transformer a Viterbiho transformer Na obrázku 17. je zobrazená jednoduchá GTN na rozpoznávanie reťazcov. Pozostáva z dvoch grafických transformérov a to rozpoznávacieho transformeru Trec a Viterbiho transformeru T vit. Cieľom rozpoznávacieho transformeru je vytvorenie grafu nazývaného rozpoznávacím grafom G int, ktorý obsahuje všetky možnosti segmentov na vstupe. Každá cesta grafu reprezentuje jedno možné riešenie. Úlohou Viterbiho transforméru je vybrať najlepšie riešenie z už vytvoreného grafu. Viterbiho transformer vytvára graf G vit s jednou cestou. Táto cesta je najmenšia naakumulovaná chyba interpretovaného grafu. V grafe máme T rec, čo je čas potrebný na vytvorenie prvého grafu, a T vib, čo je podobne čas potrebný na vytvorenie druhého grafu. Pre Viterbiho chybu platí:, kde, c i je chyba spojená s oblúkom i s zdrojovým oblúkom s i a cieľovým oblúkom d i.

16 6. Všeobecný tréning pre Graph transformer networks V tejto kapitole je vysvetlené, ako trénovať systém na úrovni reťazcov. Tento tréning bude vykonaný s GTN, ktorej architektúra je trochu inakšia, ako architektúra rozpoznávania popísaná v predchádzajúcej časti. Nasledujúca časť popisuje rozdielne gradient-based metódy pre trénovanie klasifikátorov rukou písaného písma založené na GTN a to: Viterbiho tréning a selektívny Viterbiho tréning. 6.1 Viterbiho tréning Počas rozpoznávania označujeme cestu v Interpretation grafe, ktorý má najmenšie chyby s Viterbiho algoritmom. Cieľom tréningu je nájsť množinu parametrov klasifikátora, ktorá minimalizuje priemerné chyby tejto najmenej chybovej cesty. Ako vidno na obrázku 19., tréningová architektúra je skoro identická s rozpoznávacou architektúrou popísanou v predošlej časti až na extra graph transformer nazývaný path selector, ktorý je pridaný medzi Interpretation graph a Viterbiho transformér. Gc je nazývaný constrained interpretation graph a obsahuje všetky cesty, ktoré korešpondujú so správnym označením sekvencie. Zapisovač cesty transformera zoberie G cvit a jednoducho vypočíta jeho nahromadenú chybu C cvit spočítaním chýb počas cesty. Výstupom GTN je klesajúca funkcia pre danú vzorku: Z toho všetkého vidno, že Viterbiho transformér nie je nič viac, len kolekcia miním funkcií a ich spojenie dohromady. 6.2 Selektívny Viterbiho tréning Všeobecne je potrebné nie len minimalizovať nahromadenú chybu, ale taktiež nejako zvýšiť chybu konkurencie a snáď vylúčiť cesty, ktoré majú veľmi malú chybu. Typ tohto kritéria sa nazýva selektívny( discriminative ), pretože hrá dobré odpovede oproti zlým. Procedúry selektívneho trénovania možno vidieť ako pokus o privlastnenie miesta medzi triedami radšej, ako vytvoriť individuálne triedy nezávisle na sebe. Jedným z príkladov selektívneho kritéria je rozdelenie medzi chybou Viterbiho cesty vo viazanom grafe a chyby Viterbiho cesty v

17 Interpretation grafe. Príslušná GTN tréningová architektúra je zobrazená na obrázku 20. Ľavá strana je totožná s GNT používanou pre neselektívne Viterbiho trénovanie. Klesajúca funkcia znižuje riziko kolapsu. Selektívne trénovanie môže byť zobrazené ako ďalší príklad chyby correction procedure smerujúce k minimalizácii rozdielu medzi požadovaným výstupom počítaným v ľavom strede GTN a aktuálneho výstupu počítaného v pravej časti stredu obrázku 20. Môžeme označiť klesajúcu funkciu ako E dvit, pre ktorú bude platiť:, kde C cvit je chyba Viterbiho cesty vo viazanom grafe a C vit chyba v Interpretation grafe. E dvit je stále kladné práve vtedy, keď viazaný graf je podmnožinami ciest Interpretation grafu a Viterbiho logaritmus a označuje cesty s najnižšou chybou. V ideálnom prípade by chyby boli navzájom rovné a teda E dvit = 0.

18 7. On-line systémy pre rozpoznávanie rukou písaného textu Prirodzený text obsahuje mix rôznych štýlov písma. Spoľahlivý rozpoznávač sa musel veľmi prispôsobiť k rukou písanému textu. Izolované znaky môžu mať rôzny význam, ale podstatná informácia je poskytnutá z významu celého slova. Nižšie predstavovaný systém pre rozpoznávanie znakov písaných perom sa skladá zo štyroch hlavných modulov: 1.preprocessor, ktorý normalizuje slovo, alebo skupinu slov zistením geometrického modelu štruktúry slova 2.model, ktorý vytvára annotated image z normalizovanej trajektórie pera 3.opakovaná Konvolučná neurónová sieť, ktorá označí a rozpozná znaky 4.GTN, ktorá interpretuje výstup siete GTN a sieť sú súčasne trénované na zníženie chyby. Ďalej bude popísané porovnanie systémov založených na Heuristickej presegmentácii a na SDNN( Space Displacement Neural Network). SDNN je zobrazená na nasledujúcom obrázku: 7.1 Preprocessing Vstupná normalizácia redukuje intra-charakter premenlivosť, čo zjednodušuje rozpoznávanie znakov. Ako už bolo hore spomenuté, bola použitá schéma založená na zistení geometrického modelu štruktúry slova. Tento model má 4 flexibilné línie: línia vzostupnosti(znakov), hlavná línia, základná línia a descenders línia(presahujúca základné línie). Línie sú dané do lokálneho minima, alebo maxima trajektórie pera. Ich parametre sú odhadované upravenou verziou EM algoritmu na maximalizáciu pravdepodobnosti plnenia bodov a hodnôt parametrov použitím predchádzajúcich parametrov, ktoré vedú línie z kolapsu navzájom. Cieľom pisateľa je písať čo najzrozumiteľnejšie, je prirodzené zachovávať obrázky textu čo najkvalitnejšie, pokiaľ v tom istom čase využijeme postup informácií v trajektórii. Kvôli tomu bola vybraná schéma nazvaná AMAP, keď trajektórie pera sú predstavované obrázkami s malými rozmermi, v ktorých každá časť obrázku obsahuje informáciu o daných vlastnostiach trajektórie.

19 Obrázok Architektúra siete Jednou z najlepších sietí, ktorá sa dá použiť pre on-line aj off-line rozpoznávanie je päť vrstvová konvolučná sieť podobná LeNet-5, ale s viacnásobnými rovinami vstupu a rozdielnym počtom jednotiek na posledných dvoch vrstvách. Vrstva 1: konvolúcia s 8 jadrami s veľkosťou 3x3, vrstva 2: 2x2 sub-sampling, vrstva 3: konvolúcia s 25 jadrami o veľkosti 5x5, vrstva 4: konvolúcia s 84 jadrami s veľkosťou 4x4 a vrstva 5: 2x1 subsampling a klasifikačná vrstva: 95 RBG jednotiek. Výstupné znaky sú totožné so znakmi pri

20 LeNet-5. Pri porovnaní bol použitý ako vstup siete AMAP s 5 rovinami, 20 radov a 18 kolóniek. Pri SDNN verzii je počet rôzny podľa dĺžky slova. V tomto prípade boli zvolené Obrázok 23. veľkosti sub-sampling čo najmenšie a to 2x2 a jadrá taktiež tak malé, aké len mohli byť v prvej vrstve (3x3) pre zmenšenie počtu spojení. 7.3 Trénovanie siete Trénovanie prebieha v dvoch fázach. Pri prvej sa nechajú centrá RBF pevné a trénuje sa sieť až do dosiahnutia minima výstupného rozdielu RBG jednotky korešpondujúcej s správnou triedou. To je ekvivalentom minimalizácie mean-squared chýb medzi predchádzajúcou vrstvou a centrom správnej triedy RBG. Táto zavádzacia fáza bola prevedená na izolovaných

21 znakoch. V druhej fáze všetky parametre, šírky siete a RBF centrá boli trénované všeobecne na minimalizáciu selektívneho kritéria na stupni slova. S Heuristickou presegmentáciou bola GTN zložená zo štyroch hlavných Graph transformers : 1. The Segmentation transformer uskutočnila Heuristickú presegmentáciu a vytvorila graf segmentov. AMAP je potom vypočítaná pre každý obrázok pripútaný k oblúku daného grafu. 2. The Character recognition transformer používa rozpoznávač konvolučnej neurónovej siete na každý segment a vytvorí rozpoznávací graf s chybami a triedami na každý oblúk(spoj). 3. The Composition transformer skladá rozpoznávací graf s gramaticky reprezentovaným grafom a jazykovým modelom získaným z použitých slov 4. The Beam search transformer ukazuje dobré interpretácie interpretation grafu. Táto časť môže byť dokončená s použitím obyčajného Viterbiho transformeru. S SDNN sú nasledovné Graph transformers : 1. The SDNN transformer opakuje konvolutúrnu neurónovú sieť nad každým obrázkom slova a vytvára rozpoznávací graf, ktorý je lineárnym grafom s chybami tried pre každé okno obsiahnuté v intervale na vstupnom obrázku 2. The Character-level composition transformer spája rozpoznávací graf zľava do prava s HMM(Hidden Markov Model) pre každú triedu znaku(obrázok ďalej). 3. The Word-level composition transformer spája výstup predchádzajúceho transformeru s jazykovým modelom a vytvára interpretation graf. 4. The Beam search transformer ukazuje dobré interpretácie interpretation grafu. Pri tejto aplikácii jazykový model jednoducho obsiahne finálny výstupný graf na reprezentovanie sekvencií znakov z daného slovníka.

22 7.4 Výsledky experimentu V prvej časti experimentov sme hodnotili všeobecnú schopnosť klasifikátora neurónovej siete spojeného s procesom normalizácie a AMAP reprezentáciou vstupu. Výsledky boli brané s ohľadom na to, že na vstupe pri každom teste boli iní pisatelia. Prvý tréning bol na databáze izolovaných rukou písaných znakov s veľkosťou 100,000 znakov. Testy na databáze izolovaných znakov boli vykonané oddelene na štyroch rôznych typoch písma: veľké písmená(2.99% chyba na 9122 vzorkách), malé písmená(4.15% chyba na 9201 vzorkách), číslice(1.4% chyba na 2938 vzorkách) a interpunkcia(4.3% chyba na 881 vzorkách). Druhý a tretí test bol založený na rozpoznávaní slov písaných malým písmom. Testy boli prevedené na 881 vzorkách. Najprv sa dával dôraz na zlepšenie, ktoré priniesla normalizácia slov. S Heuristickou presegmentáciou sa získalo s character-level normalizáciou 7.3% a 3.5% chyby slova a chyby znakov, pričom bolo použitých slov slovníka. Keď však bola použitá namiesto toho normalizácia predspracovania, chyby klesli na 4.6% a 2% pre slovo a znaky. V treťom teste boli merané zlepšenia dosiahnuté trénovaním neurónovej siete a post-processor s word-level kritériom. Na obrázku sú znázornené chyby SDNN/HMM a Heuristického systému. Záver Osobne si myslím, že rozpoznávanie písma je ešte potrebné zdokonaľovať, hoci už dnes máme celkom dobré výsledky. Rozpoznávanie je veľmi dôležité napríklad na poštách, kde podstatne urýchľuje posielanie a evidovanie poštových zásielok, v bankách, kde taktiež dochádza k urýchlenie a možnosti ukladania napr. šekov do počítača, v knižniciach a zariadeniach, kde sa robí so starými spismi, textami, článkami, knihami a novinami, aby došlo k ich sprístupnenie a zachovaniu. V súčasnosti už je mnoho programov na rozpoznávanie písma cez napríklad skener, kameru, alebo fotoaparát, ktoré sa vedia učiť a sú založené na princípe neurónových sietí. Ich cena sa pohybuje od niekoľko tisíc Sk po niekoľko stovák(tisícok) $. Samozrejme, že cena sa odráža od kvality. V budúcnosti bude toto rozpoznávanie určite použité v mnohých ďalších odvetviach pre urýchlenie a spresnenie práce a taktiež vznikne veľa e-kníh, pretože s textom v počítači sa dá robiť mnoho operácií. Použitá literatúra: - článok od: Yann Lecun, León Bottou, Yoshua Bengio a Patrick Haffner GRadient-Based Learning Applied to Document Recognition - prednášky z umelej inteligencie