PV030 Textual Information Systems

Transcription

1 PV030 Textual Information Systems Petr Sojka Faculty of Informatics Masaryk University, Brno Spring 2010 Đ Ý Petr Sojka PV030 Textual Information Systems

2 Osnova(Týden šestý) ü Vyhledávání s předzpracováním textu; indexové metody. ý Metody indexování. þ Automatické indexování, konstrukce tezauru. Způsoby implementace indexu. Písemka. Đ Ý Petr Sojka PV030 Textual Information Systems

3 Why information retrieval? Inverted index Query processing Outlook Part I Indexové metody Đ Ý Petr Sojka PV030 Textual Information Systems

4 Why information retrieval? Inverted index Query processing Outlook Vyhledávání s předzpracováním textu Velké množství textů? Předzpracování textu! index, indexové metody, indexový soubor, indexsekvenční soubor hierarchické členění textu, znaˇckování textu, hypertext otázky uložení seznamu slov (lexikon) a seznamu výskytů (hitů), jejich aktualizace Đ Ý Petr Sojka PV030 Textual Information Systems

5 Why information retrieval? Inverted index Query processing Outlook Vyhledávání s předzpracováním textu granularita položek indexu: dokument odstavec věta slovo slovo1 slovo2 slovo3 slovo4 dok dok dok invertovaný soubor, transpozice dok1 dok2 dok3 slovo slovo slovo slovo Đ Ý Petr Sojka PV030 Textual Information Systems

6 Why information retrieval? Inverted index Query processing Outlook Vyhledávání v indexu Uspořádání slov (primární klíč) v indexu binární vyhledávání Časová složitost vyhledávání jednoho slova v indexu: n délka indexu, V délka vzorku O(V log 2 (n)) Vyhledávání kslov, vzorekp=v 1,...,v k k n opakované binární vyhledávání s průměrná délka vzorku, složitost? O(s k log 2 n) Pokud k a i srovnatelné: metoda dvojitého slovníku. Hašování. Rychlost O(n) ani O(log n) však obvykle nedostačuje, je třeba O(1). Đ Ý Petr Sojka PV030 Textual Information Systems

7 Why information retrieval? Inverted index Query processing Outlook Implementace indexových systémů I Pro implementaci indexu je klíčová volba vhodných datových struktur a algoritmů. Použití invertovaného souboru: slovo slovo slovo slovo Použití seznamu dokumentů: slovo1 1, 3 slovo2 1, 2 slovo3 2, 3 slovo4 1, 2, 3 Souřadnicový systém s ukazateli má 2 části: slovník s ukazateli do seznamu dokumentů a zřetězený seznam ukazatelů na dokumenty. Petr Sojka PV030 Textual Information Systems Đ Ý

8 Why information retrieval? Inverted index Query processing Outlook Metody indexování ruční vs. automatické, pros/cons stop-list (slova s gramatickým významem spojky, předložky,...) 1 neřízené 2 řízené(speciální slovník slov: stanovení indexovacího jazyka) pass-list, tezaurus. synonyma a slova příbuzná. flektivní jazyky: vytváření rejstříku s jazykovou podporou lemmatizace. Đ Ý Petr Sojka PV030 Textual Information Systems

9 Why information retrieval? Inverted index Query processing Outlook Analýzatextu výběrslov doindexu Frekvence výskytu slov je při identifikaci dokumentu významná. Frekvenční slovník angličtiny: 1 the in of that and is to was a he Zipfův zákon(princip nejmenšího odporu) pořadí frekvence = konstanta Npořadí=1 frekvence pořadí Kumulativní podíl pouˇzívaných slov KPS = počet slov textu Pravidlo 20 80: 20% nejfrekventovanějších slov tvoří 80% textu [MEL, obr. 4.19]. Đ Ý Petr Sojka PV030 Textual Information Systems

10 Why information retrieval? Inverted index Query processing Outlook Metoda automatického indexování Metoda automatického indexování je založená na odvození významnosti slov z jejich frekvencí(cf. Collins-Cobuild dictionary); slova s nízkou a vysokou frekvencí jsou vyloučena: VSTUP: n dokumentů VÝSTUP: seznam slov vhodných pro vytvoření indexu 1 Spočteme frekvencifreq ik prokaždý dokument i 1,n a každé slovo k 1,K [K je početrůznýchslov vevšech dokumentech]. 2 Spočteme TOTFREQ k = n i=1 FREQ ik. 3 Vytvoříme frekvenční slovník pro slova k 1, K. 4 Stanovíme práh pro vyloučení velmi frekventovaných slov. 5 Stanovíme práh pro vyloučení slov s nízkou frekvencí. 6 Zbývající slova zařadíme do indexu. Problematika určení prahů [MEL, obr. 4.20]. Đ Ý Petr Sojka PV030 Textual Information Systems

11

12

13 Why information retrieval? Inverted index Query processing Outlook IR using the Boolean model Queries are Boolean expressions, e.g., Caesar AND Brutus The seach engine returns all documents that satisfy the Boolean expression Does Google use the Boolean model? Đ Ý Petr Sojka PV030 Textual Information Systems

14

15

16

17

18

19

20

21

22

23

24

25 term docid freq ambitious 2 1 be 2 1 brutus 1 1 brutus 2 1 capitol 1 1 caesar 1 1 caesar 2 2 did 1 1 enact 1 1 hath 2 1 I 1 2 i 1 1 it 2 1 julius 1 1 killed 1 2 let 2 1 me 1 1 noble 2 1 so 2 1 the 1 1 the 2 1 told 2 1 you 2 1 was 1 1 was 2 1 with 2 1 = term coll. freq. postings lists ambitious 1 2 be 1 2 brutus capitol 1 1 caesar did 1 1 enact 1 1 hath 1 2 I 2 1 i 1 1 it 1 2 julius 1 1 killed 2 1 let 1 2 me 1 1 noble 1 2 so 1 2 the told 1 2 you 1 2 was with 1 2

26

27

28

29

30

31 Why information retrieval? Inverted index Query processing Outlook Intersecting( merging ) two postings lists MERGE(p, q) 1 answer 2 while p NIL andq NIL 3 do ifdocid[p] = docid[q] 4 then ADD(answer, docid[p]) 5 else if docid[p] < docid[q] 6 then p next[p] 7 else q next[q] 8 return answer Đ Ý Petr Sojka PV030 Textual Information Systems

32

33

34

35

36

37

38 Why information retrieval? Inverted index Query processing Outlook Optimized intersection of a set of postings lists MERGE( t i ) 1 terms SORTBYFREQ( t i ) 2 result postings[first[terms]] 3 terms rest[terms] 4 while terms NIL andresult NIL 5 do list postings[first[terms]] 6 terms rest[terms] 7 MERGEINPLACE(result, list) 8 return result Đ Ý Petr Sojka PV030 Textual Information Systems

39

40

41

42

43

44

45

46

47