Пословна интелигенција (ПИ)

Transcription

1 Универзитет у Београду Факултет организационих наука Пословна интелигенција (ПИ) Откривање законитости у подацима - завршна разматрања

2 Циљеви предавања Разумевање сложености процеса ОЗП Разумевање итеративног процеса ОЗП Коришћење техника визуализације код: Разумевања података Разумевање и унапређивање модела 2

3 CRISP-DM Cross Industry Standard Process for Data Mining Разумевање пословања Разумевање података Припрема података Развој модела Евалуација процеса ОЗП Примена процеса ОЗП 3

4 Слојевитост процеса ОЗП 4

5 Референтни модел и корисничко упутство Референтни модел даје брзи увид у цео процес Корисничко упутство даје детаљан преглед за вођење ОЗП пројеката 5

6 Откривање законитости у подацима Законитост је основна јединица коју тражимо у подацима. Постоје различити модели који говоре из различитог угла о истој законитости. Визуални алати су најједноставнији алати за уочавање законитости. 6

7 Визуализација података Део припреме података? Може да се користи и за визуализацију података, али и за визуализацију модела. Разлика између визуелизације података и визуализације модела. Алати су исти Разлика између података и модела? 7

8 Визуализација података Једнодимензионална (униваријабилна) Distribution, Box Plot Дводимензионална (бибаријабилна) Scatter Plot, Sieve Diagram Вишедимензионална (мултиваријабилна) Mosaic Display, Linear Projection 8

9 Визуализација модела Визуализација кластера Визуализација ОЗП модела Стабло одлучивања Линеарна, логистичка регресија (параметри модела) Визуализација асоцијативних правила 9

10 Расподела променљиве 10

11 График кутија 11

12 График распршености Приказује корелацију између двe променљиве 12

13 Левак дијаграм 13

14 Мозаик дијаграм 14

15 PCA (Principal component analysis) АГК (Анализа главних компонената) Техника која прави компоненте од линеарне комбинације атрибута тако да: Су компоненте међусобно некорилисане Имају појачан варијабилитет (сигнал) Компоненти има колико и атрибута, али прва компонента узима највише варијабилитета, па друга, итд. (Постоји хијерархијско устројство) Очекује се да се уз помоћ свега пар компоненти може успешно представити цео скуп података Компоненте могу да имају и значење. 15

16 АГК 16

17 Линеарна пројекција 17

18 Визуализација кластера Помоћу стабла одлучивања Визуализација центроида Визуализација мере квалитета кластеровања График силуета 18

19 Кластери + стабла одлучивања Сваки кластер модела производи атрибут припадности кластеру, који може да се посматра као излазни атрибут. Потом може да се примени класификација (асоцијативна правила, стабло одлучивања, логистичка регресија, итд.) са циљем да се боље објасни добијени кластер. 19

20 Визуализација мера квалитета кластера s(i) = b(i) - w(i) max(b(i), w(i)) 20

21 График силуета 21

22 Кластеровање може и да се поправи 22

23 Кластери + стабла одлучивања Кластер се описује преко атрибута DayMins. 23

24 Визуализација центроида 24

25 Визуализација линеарних модела Логистичка регресија Визуализација параметера модела Визуализација целог модела преко стабла одлучивања 25

26 Визуализација преко номограма 26

27 Фреквентни скупови података 27

28 А приори правило Сваки надскуп {јабука, банана} има мању или једнаку подршку (фреквенцију заступљености) у скупу као његови подскупови {јабука}, {банана} Нпр. Ако је P({јабука, банана}) = 50%, тада или {јабука} и/или {банана} има већу или једнаку подршку од 50%. Исто тако сваки надскуп {јабука, банана, јагода} има мању или једнаку подршку од 50%. 28

29 Фреквентни скупови и асоцијативна правила Асоцијативна правила АКО => ТАДА се рачунају из фреквентних скупова података. За разлику од фреквентних скупова података, они намећу релацију импликације => између подскупова. За претрагу асоцијативних правила дефинисане подршке, потребно је дефинисати и поузданост тј. P(ТАДА АКО). 29

30 Асоцијативна правила 30

31 Да ли је асоцијативно правило заиста статистички значајно? 31

32 Универзитет у Београду Факултет организационих наука Пословна интелигенција (ПИ) Откривање законитости у подацима - завршна разматрања