Systém HTK-GUI a rozpoznávanie reči

Transcription

1 Sekcia: Xxxx Systém HTK-GUI a rozpoznávanie reči Juraj Kačur, Róbert Schreter, Ján Procháska ABSTRAKT Článok je venovaný problematike rozpoznávania reči pomocou skrytých markovových modelov, jeho jednotlivým fázam realizovaných pomocou systému HTK ako aj návrhu a opisu jeho grafickej nadstavby nazvanej HTK-GUI. Rozpoznávanie reči zložené na štatistickom prístupe v sebe zahŕňa množstvo krokov a dát, ktorých príprava a správa môžu nešpecializovaným užívateľom na konkrétny systém spôsobovať značné problémy. Preto bolo vytvorené užívateľsky príjemné a funkčné grafické rozhranie k jednému z celosvetovo najpoužívanejších systémov pre rozpoznávanie reči HTK. Toto rozhranie je spolu s možnosťami samotného HTK dokumentované na príklade realizovaného systému rozpoznávania izolovaných slov slovenského jazyka v rôznych kombináciách prostredí a trénovacích vzoriek. KĽÚČOVÉ SLOVÁ Automatické rozpoznávanie reči, skryté Markovove modely, HTK, HTK-GUI, CD-HMM Kontakt: Katedra telekomunikácií, FEI STU Ilkovičová 3, Bratislava 4 tel.: fax: kacur@ktl.elf.stuba.sk 1. Úvod Nástupom masívnej automatizácie v minulom storočí sa čoraz častejšie stretávame s problémom interakcie človek- stroj. V súčasnosti sa táto komunikácia odohráva skoro výhradné pomocou klávesnice, čo nie je veľmi prirodzené a z hľadiska väčšiny používateľov aj neefektívne. Dlhodobou túžbou preto bolo a je naučiť stroje komunikácií, ktorá je človeku vlastná. Z tohto hľadiska sa rozpoznávanie reči pokladá za jednu z najsľubnejších technológií budúcnosti. Hlasom ovládané zariadenia sa už pomaly začínajú presadzovať vo veľmi jednoduchých zariadeniach zvyčajne riadených len niekoľkými kľúčovými slovami. Do budúcnosti sa však plánuje ďalekosiahlejšie rozšírenie, ktoré má za cieľ pokryť všetky žiaduce oblasti.

2 Reč a jazyk sa počas vývoja dlhého niekoľko tisíc rokov stali veľmi komplexnými. Preto ich zvládnutie a pochopenie vyžaduje úzku kooperácie veľkej množiny vedných odborov počnúc jazykovedou a fonetikou končiac umelou inteligenciu. Výskumom v oblastiach číslicového spracovania signálov a reči boli za posledných 40 rokov navrhnuté mnohé algoritmy, ktoré viedli k prvým jednoduchým systémom rozpoznania. Navrhnuté postupy sa dajú rozdeliť do dvoch základných skupín. V prvej sa nachádzajú systémy, ktoré sú založené na množine zvyčajne veľmi komplikovaných pravidiel odpozorovaných expertmi na jazyk. Tie majú za cieľ na základe zvyčajne spektrogramu určiť o aké prehovorenie išlo. Nevýhodou tohto prístupu je, že ním nie je možné dostatočne pokryť vplyv možného rušenia ako aj typy rôznych prenosových kanálov. Druhá skupina metód vychádza zo štatistických vlastností rečových dát, ktoré teda sú orientované na konkrétne dáta a nie sadu všeobecných pravidiel. Tieto metódy v súčasnosti predstavujú vrchol v oblasti rozpoznávania a to najmä s využitím spojitých skrytých Markovových modelov (CD- HMM). Je nimi možné úspešne realizovať systémy rozpoznania izolovaných slov, súvislej reči s obmedzenou gramatikou a slovníkom radové o veľkosti niekoľko desiatok tisíc slov a to či už závisle alebo nezávisle na hovoriacom. 2. Rozpoznávanie reči založené na HMM a systém HTK 2.1 Skryté Markovove modely (HMM) a rozpoznávanie reči Rozpoznávanie reči založené na jej štatistickom modelovaní s využitím skrytých Markovových modelov je v súčasnosti najúspešnejšou metódou spomedzi všetkých známych tried automatických systémov rozpoznania reči (ARR). Je schopné efektívne modelovať nestacionárne stochastické procesy, medzi ktoré patria práve rečové signály. HMM pomocou svojich skrytých stavov, ktoré spĺňajú vlastnosti diskrétneho homogénneho Markovového reťazca dokáže modelovať miesta odlišných štatistických vlastnosti a ich vývoj v čase. Na jeho úplný opis je potrebné poznať iba vektor počiatočných rozdelení π o rozmere N stavov, ktorý hovorí s akou pravdepodobnosťou sa na začiatku modelovania nachádzame vo zvolených stavoch a prechodovú maticu A. Táto matica A má rozmer NxN a jej prvok a ij vyjadruje pravdepodobnosť prechodu zo stavu i do stavu j v ľubovolnom čase. Tým sa dá i keď len v obmedzenej miere modelovať časová súslednosť stavov, ktoré sa stotožňujú so stacionárnymi úsekmi rečového signálu s podobnými vlastnosťami, napr. jednotlivými fonémami. Ako je však známe aj tieto vykazujú isté fluktuácie (v závislosti od pohlavia, veku, dialektu, atď.) a teda sú tiež stochastickými procesmi, ktoré sa ale dajú pomerne dobre postihnúť. V závislosti od spôsobu modelovania práve týchto zmien sa Markovove modely delia na: Diskrétne: existuje konečný počet vstupných vektorov príznakov reči. Potom sa pre každý stav oddelene odhadne pravdepodobnosť výskytu každého vektora príznakov. Spojité: Výskyt vstupných príznakov reči je modelovaný hustotou pravdepodobnosti nejakého rozdelenia. Zvyčajne sa používa zmes viacrozmerných Gaussových funkcií. Polospojité: priestor výskytu vektora príznakov reči je modelovaný konečným počtom spojitých funkcií hustoty pravdepodobnosti. Na obr. 1 je zobrazený 4-stavový diskrétny skrytý Markovov model, ktorý patrí do skupiny ľavo-pravých, tj. je možný prechod len z nižších stavov do vyšších, čiže sa zachováva časová súslednosť reči, čo je jej dôležitá vlastnosť.

3 b 1 (O 1 ),..b 1 (O L ) b 2 (O 1 ),..b 2 (O L ) b 3 (O 1 ),..b 3 (O L ) b 4 (O 1 ),..b 4 (O L ) a 12 a 23 S 1 S 2 S 3 S 4 a 34 a 22 a 11 a 33 a 13 a 24 a 44 Obr. 1 a 14 Ľavo-pravý, diskrétny, 4 stavový, skrytý Markovov model. Vstupom je pozorovaná postupnosť kvantovaných vektorov do L stavov. Samotnému rozpoznávaniu reči predchádza fáza trénovania, kde sa voľné parametre jednotlivých modelov nastavia tak, aby najviac zodpovedali trénovacím vzorkám, tj. požaduje sa splnenie nasledujúcej podmienky (1): max P( O1, O2, K On λ) (1) π, A, pdfs ( o) Kde O 1 až O n predstavujú vstupné rečové príznaky prislúchajúce k danému modelu λ, pričom pdf s (o) označuje funkciu hustoty pravdepodobnosti výskytu vektora príznakov v stave s. Treba poznamenať, že analytické riešenie (1) neexistuje, a preto sa musí riešiť iteračne pričom nie je zabezpečené nájdenie globálneho maxima. Existuje viacero kritérií nastavovania parametrov (napr. MAP, MMI, trénovanie korigujúce chybu, atď.), ale (1) vedie na veľmi jednoduchý a pritom štatisticky konzistentný postup z literatúry známy ako Baum-Welche reestimation. Potom samotné dekódovanie prehovorenia sa vykonáva vo fáze rozpoznávania a to tak, že sa vyberie ten model prehovorenia (slova), ktorý má najvyššiu pravdepodobnosť. Táto situácia je graficky ilustrovaná na obr. 2. Zvyčajne sa na urýchlenie výpočtu pravdepodobnosti generovania danej postupnosti pozorovaní na danom modeli λ používa aproximácia hľadaním cesty (postupnosť stavov) s maximálnou pravdepodobnosťou s využitím efektívneho Viterbiho algoritmu, tj hľadá sa nasledujúca pravdepodobnosť a zároveň sa určí aj postupnosť stavov: t1 max P( O1, O2, KOnSt, S,, 1 t K S 2 S, S t2, K, S t n t n λ) (2) HMM modelmi sa dajú modelovať celé slová, kde sa aj dosahuje najvyššia úspešnosť a to vďaka dobrému postihnutiu, tzv. koartikulačného efektu. Tento spôsob sa používa pre rozpoznávanie izolovaných povelov o veľkosti do niekoľko stoviek. V prípade súvislej reči, alebo veľkého slovníka tento spôsob nie je veľmi efektívny a preto sa modelujú iba časti slov, najčastejšie sú to však fonémy a to buď kontextovo závislé alebo nie, čim sa značne zredukuje počet modelov. Pri trénovaní je okrem zvukových nahrávok prehovorení potrebné vlastniť aj ich ortografický prepis, aby bolo možné stotožniť pozorované príznaky so správnymi modelmi. Sú dve základné situácie, a to: Existujú časové informácie o polohe jednotlivých modelov v reči. Táto situácia je zriedkavá lebo si vyžaduje namáhavé, zvyčajne manuálne označenie každej nahrávky. V takomto prípade je možné použiť klasické trénovanie s využitím základného Baum- Welche algoritmu, pričom tento spôsob sa zvykne označovať ako single model training, teda sa jedná o postupné trénovanie vždy len jedného modelu.

4 Časové informácie neexistujú a je k dispozícií len ortografický prepis. Toto je bežný stav, pri ktorom nie je možné jednoduché aplikovanie spôsobu trénovania z predchádzajúceho prípadu. Spôsob používaný tu sa označuje ako embedded training, čiže vnorené trénovanie. To je založené na tom, že každé prehovorenie sa vyskladá pomocou dielčích modelov a tie sa potom trénujú ako jeden celok, čiže všetky naraz. To si však vyžaduje zavedenie, tzv. neemitujucích stavov, ktoré slúžia ako spojovacie články medzi jednotlivými modelmi, čo následne vyústi k modifikácií pôvodného postupu. Keďže sa však vždy jedná o iteratívny spôsob, bez zaručenia dosiahnutia globálneho maxima, pred samotným trénovaním je potrebné správne inicializovať parametre modelov, čo môže mať za následok rýchlejšiu konvergenciu ako aj vyšší predpoklad dosiahnutia väčšieho lokálneho maxima. Existuje viacero spôsobov počiatočnej inicializácie, ktoré sa líšia v závislosti od obsahu popisných súborov (existujú časové značky alebo nie), tak ako to bolo pri samotnom trénovaní. V prípade ich existencie sa jednotlivé úseky zodpovedajúce modelom vyseknú z celého vyhovorenia, následne sú rovnomerne rozdelené podľa počtu stavov toho- ktorého modelu a na koniec sú pre jednotlivé stavy na základe týchto dielčích častí vypočítané priemerné hodnoty. Takáto zavádzacia procedúra sa zvykne označovať ako boot strap. V prípade neexistencie časových zarovnaní modelov a prehovorení sa používa nastavenie všetkých parametrov modelov ma globálne určené priemerné hodnoty z predložených pozorovaní čo sa označuje ako tzv. flat start (plochý štart). Problematika trénovania rozpoznávania je veľmi široká a to v závislosti od typu úlohy, prostredia a dostupných dát. Podrobnejšie je možne sa s ňou oboznámiť napr. v [HUA90], [BEC99] a [YOU02] Parametre Markovových modelov Reč O (x) P(O (x) λ 1 ) Akustická analýza P(O (x) λ 2 ) Max ω x*. P(O (x) λ R ) Obr. 2 Princíp rozpoznávania izolovaných slov založený na HMM 2.2 Systém HTK Tento systém je veľmi rozšírený vďaka svojim rozsiahlym možnostiam a to najmä na akademickej pôde. Je to prenositeľný nástoj na manipuláciu s HMM modelmi a okrem rozpoznávania reči sa dá využiť aj v iných oblastiach štatistického modelovania. HTK sa skladá zo sady modulov a knižníc v zdrojovom C kóde.

5 I keď možnosti nasadenia HTK sú pestré jeho prvoradé zameranie je však na spracovanie reči, takže poskytuje široké spektrum nástrojov na úpravu, extrakciu príznakov rečového signálu a celkovú správu rečových dát ako aj opisných súborov. Podporuje aj priamy vstup z mikrofónu, čim sa dá využiť ako systém automatického rozpoznávania reči pracujúci v reálnom čase. Okrem základných funkcií trénovania pre rôzne typy modelov a opisných súborov poskytuje množstvo nástrojov na ich inicializáciu, adaptáciu ako aj validáciu. Niektoré základné funkcie a črty podporované v HTK sú: Typy modelov: diskrétne, spojité a polospojité HMM s využitím viacrozmerných Gaussových pdf a možnosťou zviazania parametrov Typy vstupných súborov: NIST,AIFF, HTK, ESIG, TIMIT, SCRIBE, SDES1, SUNAU8, OGI, WAV, HTK interný Typy opisných a riadiacich súborov: LAB, MLF, hmm, MMF, SLF, BNF Typy príznakov reči: banka filtrov, MFCC, LPC, CLPC, PLP, reflexné koeficienty, diferenčné a akceleračné koeficienty, energia, normalizovaná energia. Trénovanie a inicializácia: Baum-Welche algoritmus, vnorené trénovanie, trénovanie viacnásobnými postupnosti, inicializácia typu flat start a aj boot strap Rozpoznávanie: Modifikovaný Viterbiho algoritmus s možnosťou sledovania viacerých najpravdepodobnejších hypotéz Typy gramatík: regulárna zadaná vo formáte SLF alebo BNF a stochastické modelovanie pomocou bi-gramov Validácia: confucion matrix (matica chybných rozpoznaní), počty: vložení, vynechaní a nahradení; presnosť rozpoznania viet a slov Systém HTK je koncipovaný ako súbor nástrojov, ktoré majú podobu vykonateľných súborov. Každý z nich plní určitú funkciu alebo skupinu logicky súvisiacich operácií. Pri jednotlivých nástrojoch je zároveň poskytnutá veľká variabilita jednotlivých nastavení s množstvom vhodných kombinácií pre tú- ktorú úlohu. Postavenie jednotlivých súborov v hierarchii HTK spolu s fázami rozpoznávania ako aj ich použitie je ilustrované na obr.3. Na zreteľné odlíšenie programov a dát nad ktorými sú Obr. 3 Štruktúra a funkcie programového balíka HTK, pri rozpoznávaní reči

6 vykonávané, sú programy v schéme uvedené v obdĺžnikoch, pričom dáta sú v blokoch s oblými hranami. Je zrejmé, že na prechod celým procesom je potrebné riadenie vykonávania jednotlivých programov, ktorých funkcia je nastavená pomocou príkazového riadku a dodatočných konfiguračných súborov. To sa preto najčastejšie vykonáva pomocou skriptov napr. v Perle, alebo s využitím bat súborov. 3. Grafické rozhranie HTK, HTK- GUI Jednotlivé nástroje HTK sú,,ovládané príkazovým riadkom, čo je pre rýchlu a efektívnu prácu dosť nevýhodné, najmä ak užívatelia nie sú ochotní tráviť veľa času učením sa konkrétnych inštrukcií a ich nastaveniami, prípadne sa chcú vyhnúť syntaktickým a konštrukčným chybám. Systém okrem príkazového riadku s množstvom riadiacich prepínačov buď lokálneho alebo globálneho charakteru využíva aj dodatočné riadiace a konfiguračné súbory. Nastavovanie a opätovné prestavovanie jednotlivých parametrov je jednak nepohodlné a neprehľadné a zároveň zaberá značný čas. To je v procese testovania malých a jednoduchých systémov dosť obmedzujúce, najmä ak užívateľ nemá rozsiahlejšie skúsenosti z konkrétnym vývojovým balíkom. Organizácia súborov ako aj zmena vstupných súborov napr. pre testovanie je pri počte desiatkach či stovkách súborov príliš obtiažna a preto je ju lepšie zastrešiť jednotnými konvenciami, ktoré budú pred užívateľmi skryté. Z uvedených skutočností pramení potreba mať vhodné grafické prostredie, ktoré by prácu s HTK zrýchlilo, zefektívnilo, spríjemnilo a umožnilo tak využívať tento výkonný systém aj ľudom, ktorý nemajú skúsenosti práve s daným prostriedkom a nepotrebujú sa ho hlbšie učiť vohľadom na rozsah zamýšľanej aplikácie. Obr. 4 Princíp spolupráce užívateľ HTK GUI - HTK HTK GUI je grafické rozhranie pre balík programov HTK. Z veľkej časti potláča horeuvedené nedostatky ovládania HTK a robí používanie HTK jednoduchším. Pri návrhu bolo treba riešiť niekoľko problémov. V prvom rade bolo treba zabezpečiť, aby sa užívateľom požadované príkazy zvolené v grafickom prostredí vykonali prostredníctvom HTK (bez toho, aby si to užívateľ

7 ,,uvedomoval ) a aby sa výsledky tejto operácie opäť prezentovali užívateľovi v prijateľnej forme. Okrem toho bolo treba zabezpečiť takú organizáciu dát potrebných pre činnosť HTK, ktorá by bola pre užívateľa nielen prehľadná, ale ktorá by aj celkovo urýchlila zostavenie funkčného ARR. Komunikácia grafického prostredia s balíkom HTK je znázornená na obr. 4. Ako vidieť užívateľ požaduje vykonanie príkazu od HTK GUI (1). HTK GUI volá program balíka HTK (2), aby vykonal príslušnú činnosť. Výstup programu je presmerovaný do súboru (3) a následne je spracovaný (4). Spracovaný výstup je pomocou grafického rozhrania (5) ponúknutý užívateľovi (6). Všetky údaje sú organizované (v prípade, že si to užívateľ praje) tak, aby jednotlivé fázy vývoja ARR na seba,,inteligentne nadväzovali, t.j. aby program ako výstupné dáta predošlej fázy ponúkal ako vstupné dáta v ďalšej fáze. Užívateľ je tak odbremenený od nutnosti viesť organizáciu dát a nastavovať znova a znova napr. vstupné súbory pre určitú činnosť. 3.1 Práca s HTK GUI Po spustení aplikácie sa v hornej časti zobrazí ponuka pre prácu s programom. Jadrom aplikácie je tzv. projekt, ktorý zastrešuje tvorbu systému rozpoznávania ako aj organizáciu dát potrebných pre testovanie resp. rozpoznávanie. Po vytvorení projektu je užívateľovi ponúknutý sprievodca, pomocou ktorého je možné rýchlo a jednoducho pripraviť dáta, modely, podporné položky a následne netrénovanie a validáciu systému rozpoznávania. Užívateľ je sprievodcom vedený cez jednotlivé fázy vývoja celého systému, ktoré sú realizované formulármi (napr. formulár pre parametrizáciu vstupných dát, vektorové kvantovanie dát atď.), čo zabezpečuje pohodlné ovládanie. Vzhľad sprievodcu pre celú fázu tvorby ARR systému je zobrazený na obr. 5. Skúsenejší užívateľ môže používať jednotlivé časti projektu samostatne a teda nie je nutné využívať služieb sprievodcu. To je vhodné napr. pri testovaní vplyvu rôznych nastavení na celkové výsledky, ktoré sa pri rozpoznávaní dajú dosiahnuť, alebo len na samotnú prípravu rečových dát, atď. Tieto voľby sú užívateľovi prístupné v podobe,,utilít v hlavnom menu, bez nutnosti otvárať Obr. 5 Sprievodca tvorbou systému rozpoznávania projekt. 3.2 Možnosti HTK GUI Účelom grafickej nadstavby bolo zjednodušenie práce so systémom a to najmä pre ľudí úzko nešpecializovaných na systém HTK a pre aplikácie menšieho rozsahu. Ďalej bola kladená požiadavka na zachovanie enormnej flexibility, ktorú HTK samo o sebe poskytuje. To samozrejme nebolo vždy úplne možné, hlavne kvôli schodnosti programového riešenia. Systém sa však

8 vyvíja a je preto stále možne jeho rozšírenie. V nasledovnom preto budú stručne uvedené plne a aj čiastočne podporované funkcie. Príprava rečových súborov Táto časť je plne podporovaná a je obsiahnutá jedným formulárom, pre spracovanie a konverziu rečových signálov. Okrem uvedených typov základných príznakov (banka filtrov, MFCC, LPC, CLPC, reflexné koeficienty) a ich počtu je možné meniť spôsob predspracovania reči (preemfáza, okonovanie, atď.) ako aj ich následnú úpravu, tj. diferenčné a akceleračné koeficienty, normalizácia a váhovanie, atď. Diskrétne systémy, vektorové kvantovanie Je možná tvorba diskrétnych systémov vytvorením kódovej knihy a následným vektorovým kvantovaním vstupných vektorov. Táto možnosť je obslúžená na samostatnom formulári. Sú k dispozícií nasledovné metriky: Euklidova, diagonálna a úplná Mahalanobisova vzdialenosť. Sú podporované kódové knihy so stromovou a lineárnou štruktúrou ako aj sa dá nastaviť maximálny počet iterácií, resp. zastavovacie kritérium. Konštrukcia modelov Definovanie HMM modelov je v HTK dosť pracnou záležitosťou náchylnou na množstvo syntaktických chýb, keďže HTK podporuje veľa druhov modelov s množstvom dodatočných informácií, z ktorých ma každý špecifickú štruktúru a syntax. Definície modelov sú uložené v textových súboroch s opisom štruktúry modelu. HTK GUI poskytuje formulár na vytvorenie diskrétnych a spojitých modelov, s plnou a diagonálnou kovariančnou maticou, rôznym počtom zmesí Gaussových pdf na stav a viacero prúdov. Sú tiež preddefinované niektoré z bežných tvarov prechodových matíc (ľavo pravé s a bez možnosti Obr. 6 Formulár pre definovanie HMM modelov

9 preskočenia susedného stavu ako aj ergogický model). Samozrejme je ponechaná voľba užívateľovi na ľubovolnú editáciu. Tvar dialógového formuláru pre konštrukciu modelov je na obr. 6. V súčasnej dobe nie je ešte priamo podporovaná práca s makrami a teda nie je možné robiť automatické zviazanie parametrov prostredníctvom HTK-GUI, alebo zdieľať globálne nastavenia pre všetky modeli. Trénovanie modelov K dispozícií sú oba typy trénovania, tj. single model training a embedded training, ktoré sa automaticky použijú v závislosti od vstupných a popisných dát. Pri klasickom trénovaní je automaticky zaradená aj inicializácia typy boot strap. Vo formulári sa vyberú modely, ktoré sa majú trénovať a ku každému sa zvolí aj príslušný zoznam súborov, z ktorých sa bude daný model trénovať. V prípade použitia aj opisných súborov, bude vykonané vnorené trénovanie pomocou programu HERest, inak sa vykoná jednoduché trénovanie pomocou HInit a HRest. Ďalej je možne stanoviť konvergenčný faktor ako aj maximálny počet iterácií, čo môže byť dôležité na zamedzenie pretrénovania. Tvorba gramatiky Gramatika je potrebná vo fáze rozpoznávania preto aby systém vedel, aké kombinácie slov sú povolené atď. To má okrem urýchlenia celého postupu aj značný vplyv na zvýšenie úspešnosti rozpoznania. Notácia pomocou BNF je veľmi flexibilná a umožňuje realizáciu skoro všetkých možných kombinácií. V grafickom prevedení, kvôli jednoduchej a prehľadnej práci bola obmedzená na rámcovú gramatiku, ktorá ale bohate postačuje na tvorbu väčšiny úloh. Vzhľad formulára pre tvorbu rámcovej gramatiky je na obr. 7. Obr. 7 Formulár pre zadefinovanie rámcovej gramatiky, spolu s preddefinovanými typmi. Tvorba slovníka

10 Slovník slúži na prepojenie modelov z jednotlivými slovami, ktoré sa majú rozpoznať. To je dôležité najmä ak sa modelujú len častí slov, alebo v prípade ak slovo ma viacero vyhovorení. Vtedy je potrebné zadefinovať postupnosť modelov, z ktorých sa dané slovo skladá. Pri rozpoznaní, resp. už vo fáze trénovania pomocou opisných súborov sa potom, každé prehovorenie, či už pri dekódovaní alebo trénovaní vie opísať ako postupnosť HMM modelov. Táto položka je tiež obsahom samostatného formuláru. Tvorba opisných súborov Zvyčajne sú opisné súbory dodávané k trénovacej databáze. Sú dôležité pre obe fázy tvorby systému rozpoznávania. V prípade ak neboli dodané pričom sa požaduje komfortné vyhodnotenie kvality rozpoznávania pomocou prostriedkov HTK je potrebné ich vytvoriť. Jedná sa o jednoduché priradenie textu (slov zo slovníka) ku každému súboru, čo sa komfortne deje prostredníctvom na to určeného formulára. Rozpoznávanie Pri rozpoznávaní pomocou HTK je nutné zadať adresár, v ktorom máme uložené natrénované modely ako aj zoznam súborov, ktoré chceme rozpoznať. Taktiež je nutné zadať ako parameter názov slovníka a gramatiky, ktorá sa bude používať. Z toho vyplýva povinnosť napísať textový súbor obsahujúci zoznam súborov, ktoré sa majú rozpoznať. Tieto nedostatky rieši voľba Rozpoznávanie, ktorá je prístupná v rovnomennej ponuke. Užívateľovi stačí v tomto prípade vybrať len názvy natrénovaných modelov,,,neznámych súborov, názov slovníka a gramatiky a rozpoznávanie sa môže vykonať. Pri rozpoznávacej sekvencii je najprv,,textová definícia gramatiky preložená do tvaru vhodného pre rozpoznávanie a následne je rozpoznávanie realizované programom HVite. O priebehu a výsledku rozpoznávania je užívateľ informovaný informačným dialógom. V prípade, že si užívateľ vybral voľbu Analýzy výsledkov, je hneď po rozpoznávaní vykonaná aj analýza výsledkov dosiahnutých pri rozpoznávaní a táto analýza je užívateľovi ponúknutá. Analýza výsledkov je možná buď prostredníctvom matice chybných rozpoznaní, alebo prostredníctvom parametra presnosti rozpoznania slov a viet s využitím počtu zámien, vynechaní a vložení, čo zabezpečuje program HResult. 4. Realizácia systému rozpoznávania príkazov s využitím HTK-GUI Na overenie spolupráce a správnej činnosti HTK a HTK-GUI bol zrealizovaný systém rozpoznávania povelov. Jeden z hlavných problémov pri rozpoznávaní je degradácia signálu aditívnym šumom. Preto boli v rámci realizovaného rozpoznávania uskutočnené merania vplyvu veľkosti šumu na úspešnosť rozpoznania, čo má veľký význam pre praktické nasadenie takých to systémov. Dostupné vzorky a postup experimentu Experimenty boli založene na slovníku izolovaných slov o veľkosti 36. Každé slovo bolo umelo zašumené reálnymi šumami domácich zariadení (4 rôzne šumy) pričom SNR boli nastavené na nasledovné hodnoty: 0, 3, 7, 10, 13, 17dB, pričom boli k dispozícii aj nezašumené verzie, kde sa SNR pohybovalo nad 30dB. Z každého slova existovalo 23 rôznych vyhovorení. Vzorky sa rozdelili na trénovaciu a testovaciu množinu, pričom pri trénovaní bolo k dispozícií 15 vzoriek s každého nezašumeného slova. Rozpoznávanie sa potom vykonávalo nad všetkými zašumenými slovami ako aj nezašumenými, ktoré ale neboli použité pri trénovaní. Úprava rečových dát

11 Ako vhodné príznaky reči bolo použitých 13 MFCC koeficientov s normalizovanou energiou ako aj delta a akceleračné koeficienty. Tento spôsob je vo svete veľmi rozšírený i keď priamo neposkytuje potlačenie aditívnych šumov. Typy modelov Na daný typ úlohy boli použité spojité HMM modely, ktoré modelovali celé slová, pričom počet stavov bol volený tak, že na jednu hlásku pripadali 3 stavy (nábeh, ustálená časť a dobeh). Výskyt vektora príznakov reči bol v každom stave vyjadrený kombináciou 3 zmesí Gaussových pdf. Nakoniec, prechodové matice slov boli ľavo- pravé s možnosťou vynechania jedného stavu. Okrem modelov slov bol použitý aj model šumu, ktorý kvôli lepším modelovacím schopnostiam mal ergodický tvar prechodovej matice. Trénovanie a inicializácia Keďže existovali presné časové údaje o polohe modelov(slov), bolo možne použiť klasické trénovanie single model training s viacnásobnými trénovacími postupnosťami. Vzhľadom na to bola pred trénovaní každého modelu vykonaná inicializácia typu boot strap. Je dôležité poznamenať, že v procese trénovania sa vyskytovali len niektoré realizácie originálnych vzoriek. Rozpoznávanie a vyhodnotenie Rozpoznávanie bolo vykonané s využitím Viterbiho algoritmu, ktorý hľadal, len jednu a to najpravdepodobnejšiu hypotézu. Dekóder pracoval nad rámcovou gramatikou tvaru šum-slovo-šum, čo je bežná prax pre systémy izolovaných povelov. Rozpoznávanie bolo vykonané nad všetkými dostupnými realizáciami slov, tj. v rôznych typoch šumov ako aj hodnôt SNR. Ako parametre úspešnosti rozpoznania bola použitá presnosť rozpoznania slov vrátená programom HResult. Namerané výsledky sú obsahom grafu na obr.8, kde jednotlivé výsledky sú pre rôzne typy šumov a slov spriemerované a to oddelene pre každú hodnotu SNR. Z grafu je preto dobre vidno ako nepriaznivo vplýva prítomnosť šumu na správne rozpoznanie. Z neho je ďalej zrejmé, že v prípade neexistencie kvalitných metód odhadujúcich a potláčajúcich šumu, nie je vhodné uskutočniť Úsešnosť rozpoznania [%] Snr [db] Obr. 8 Úspešnosť rozpoznania v závislosti od veľkosti prítomného šumu v db. trénovanie len na čistých dátach. Je preto treba vždy použiť reálne prostredie nasadenia konkrétneho systému. Preto je bežnou praxou konštrukcia rozsiahlych databáz nahraných za rôznych podmienok. 9. Literatúra [YOU02] S. YOUNG, G. EVERMANN, T. HAIN, The HTK Book V.3.2.1, Cambridge University Engineering Department, Dec [BEC99] C. BECHETTI, L. RICOTTI, Speech Recognition Theory and C++ Implementation, JONH WILEY & SONS, West Sussex, England, 1999 [DEL93] JOHN R. DELLER, JOHN G. PROAKIS, JOHN H. HANSEN : Discrete-Time Processing of Speech Signals, Macmillan Publishing Company, Englewood Cliffs, 1993

12 [HUA90] X. D HUANG, Y. ARIKI, M. A. JACK, Hidden Markov Models for Speech recognition, Edinburg university press, 1990 [KEL93] E. KELLER : Fundamentals of speech synthesis and speech recognition, John Wiley & sons, 1994 [RAB93] L. RABINER, BIING-HWANG JUAN : Fundamentals of speech recognition, Prentice Hall PTR, 1993