DATA MINING DATA KNOWLEDGE DECISION ACTION. Data. Decision. Data mining (analysis) Business modeling (using data mining software) Business hypothesis

Size: px

Start display at page:

Download "DATA MINING DATA KNOWLEDGE DECISION ACTION. Data. Decision. Data mining (analysis) Business modeling (using data mining software) Business hypothesis"

Anthony Rose
5 years ago
Views:

1 1 DATA MINING Data Mining software ก ก ก software ก ก ก ก ก ก Executive Information System ( EIS ) ก ก ก ก ก ก ( Decision Support System) ก 1 DATA KNOWLEDGE DECISION ACTION 1 ก 1. ก ก ก data mining ก ก user ก 3. ก ก user ก Data Business knowledge Business hypothesis Business modeling (using data mining software) Data mining (analysis) Validation of hypothesis Decision 2. data mining tools user model ก ก ก ก ก

2 2 ก ก ก ก ก ก ก DBMS ( Database Management System ) ก ก ก ก ก Data Mining ก ก 30 ก ก ก ก KDD ( Knowledge Discovery in Database ) ก ก Data Mining Philippe Nieuwbourg ( CXP Information ) ก Data Mining ก ก ก ก ก ก ก ก ก Data Mining ก ก ก ก ก ก Data Mining ก ก ก 1960 ก file processing ก 1970 ก ก ก ( Ralational Database System ) ก ก ก ก ก ก ก ก ก ก ก ( Query Language ) 1980 ก ก ก ก ก ก hardware 30 ก ก ก 1990 ก ก ก ก ก ก ก ก

3 3 ก ก Data Warehouse ก ก ก Data Warehouse Data Cleansing, Data Integration On-Line Analytical Processing ( OLAP ) ก ก ก ก ก ก ก ก ( data rich but information poor ) ก ก ก ก ก ก ก ก ก ก Data Mining Data Collection ( 1960 s and earlier) - primitive file processing Database management system ( 1970 s ) - network and relational database management system - data modeling tools, query language Advanced database management system ( 1980 s - present) - advanced data model - object-oriented database management system - object relational database management system Data Warehousing & Data mining ( 1990 s present ) 2 ก

4 4 Data Mining 1. ก ก ก ก ก ก ก ก ก ก ก ก ก ก 2. ก 3. ก ก ก ก ก ก ก ก ( Data Warehouse) Data Mining ก ก ก Data Mining ก ก ก ก Internet, ก, ก ก ก ก ( Decision Support System) ก ก ก ก ก ก ก ก ก ก ( Operational System ) ( Data Warehouse ) ก ก ก computer Data Mining ก Algorithm ก ก ก computer computer microcomputer ก ก ( PC Cluster ) computer

5 5 ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก Data Mining Relational Database ก ก entity-relationship ( ER ) model Data Warehouses ก ก ก ก ก ก Transactional Database ก ก ก ก ก ก ก Advanced Database ก objectoriented, text file,, web ก Data Mining ก ก ก Database Management System ( DBMS ) ก ก ก ก ก DBMS Oracle, DB2, MS SQL, MS Access ก ก Mining ก ก ก ก ก Mining ก ก ก Mining

6 6 ก Mining ก Mining ก ก Data Mining Data Mining 1. Association rule Discovery Data Mining ก ก กก ก ก ก ก ก ก กก ก ก ก Market Basket Analysis ก ก ก ก ก ( Association Rule ) ก ก ก ก ก ก Amazon ก Amazon ก ก ก ก ก กก ก ก ก ก buys ( x, database) -> buys ( x, data mining ) [ 80%, 60% ] database ก data mining 60 % ก database data mining ก 80 % ก ก ก 1 ก ก ก ( Virtual store ) web ก ก ก ก ก ก ก ก ก ก ก ( itemset ) ก ก ก {, }, { กก, ก} {, } ก ก ก ก ก ก ก ก ก 5 ก ก ก ก ก (query ) ก ก ก

7 7 { ก, A}, { ก, B}, { ก, C }, {, B} ก DBMS query SQL SELECT P.custid, P.item, SUM( P.qty ) FROM Purchases P GROUP BY P.custid, P.item HAVING SUM(P.qty ) > 5 ก DBMS SQL ก ก ก query ก ก ก query iceberg query ก 2. Classification & Prediction Classification ก ก model ก ก ก ก ก ก ก ก ก ก ก ก ก classification ก 3 3 Training Data Model Construction Classifier Model Testing Data Model Evaluation Classifier Model Unseen Data Classification 3 ก ก Classification

8 8 - Model Construction ( Learning ) ก model ก ก ก ( training data ) model 1. ( Decision Tree) 2. ( Neural Net) 1) Decision Tree ก ก ก ก ก ก ก attribute ก ก ก ก ก 50 ก ก ก ก ก ก ก ก ก ( Branch ) ก ( Staff ) ( Propety) ก ( Client ) ก ( Relationship) ก ก ( Customer_rental ) ก ( Rentals ) ก ( Sales ) ก ก ก 40 % ก ก ก 25 ก ก 35 % ก 4 Decision Tree ก ก ก ก ก

9 9 Customer renting property > 2 years? NO Yes Rent property Customer age > 25 years? NO Yes Rent property Buy property 4 Decision Tree ก ก ก ก ก ก Business_Info ก ก ก ก ก ก ก ก Business_Info Age Rent_Period Buy No No No Yes No Yes No Yes no

10 10 SQL Decision Tree 2 1. SQL root node SELECT B.Rent_Period, B.Buy, COUNT(*) FROM Business_Info B WHERE B.Rent_Period > 2 GROUP BY B.Rent_Period, B.Buy SQL Rent_Period Buy Yes No SQL node child root SELECT B.Age, B.Buy, COUNT(*) FROM Business_Info B WHERE B.Age > 25 GROUP BY B.Age, B.Buy SQL Rent_Period Buy Yes No ก Decision Tree ก AVC set ( Attribute Value, Class label ) ก 2 AVC sets ก ก ก

11 11 2) ก ( Neural Net) ก Artificial Intelligence:AI ก ก กก ก ( ก Artificial Neural Networks ANN ) ก ก ก ( train ) ก ก ก ก ( node ) Input Output ก ก ก input layer, output layer hidden layers ก ก ก layer 5 ก ก 4 Customer renting property > 2 years? Customer age > 25 years? 0.4 Input Hidden processing layer 5 ก ก Output Class (Rent or buy property - Model Evaluation ( Accuracy ) ก ก ( testing data ) ก ก ก model ก - Model Usage ( Classification ) Model ก ( unseen data ) ก ก ก object ก ก Prediction ก ก ก ก ก ก

12 12 3. Database clustering Segmentation ก ก ก ก ก ก กก ก ก 3 ก 1. ก (>$80,000) 2. ก ก ($25,000 to $ 80,000) 3. ก (less than $25,000) ก ก ก - Have Children - Married - Last car is a used car - Own cars First Segment (High income) Second Segment (Middle income) Third Segment (Low income) Have Children Married Last car is a used car Own cars 6 Clustering ก ก ก ก 4. Deviation Detection ก ก ก ก ก ก ก ก (Visualization)

13 13 ก ก ก ก 5. Link Analysis Link Analysis ก link ก associations recode ก recode link analysis ก 3 -associations discovery -sequential pattern discovery -similar time sequence discovery Data Mining Data Warehouse ก Data Mining ก ก ก ก mining Data mining ก ก ก Data warehouse ก ก ก mining ก - Data warehouse ก ก ก ก mining ก predictive models - Data warehouse ก mining ก ก Data warehouse ก - ก ก record fields Data mining ก ก query Data warehouse - ก ก กก Data mining ก ก ก Data warehouse ก ก Data mining Data warehouse ก ก Data mining Data warehouse ก ก ก Data Mining

14 ก ก Data Mining ก ก ก ก Midas ก ก ก ก ก ก ก ก Bouygues Telecom ก ก ก ก ก ก ก ก ก ก ก ก ก ก France Telecom ก ก ก ก ก ก ก Data Mining ก ก - ก ก ก ก ก - ก ก - ก ก ก ก - ก ก ก ก - ก ก ก ก 6 ก ก - 70 % ก ก ก ก ก - ก - ก Text Mining ก Data Mining ก SDP Infoware ก ก ก e-commerce 14

15 15 - ก ก ก ก web ก - ก web site web ก กก ก ก Data Mining ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก (Mining Objective) ก กก ก ก ก ก ก ก 10 ก ก ก ก ก ก ก (knowledge) กก ก ก ก ก ก ก 2 ID Sex Address SchoolGPA Major GPA 1 ก 86/ /

16 16 ก 1 ก ก ก ก ID Subject Section Term Year Grade C D B+ 2 ก ก 2 ก ก ก ก ก ก 1. ก (data cleaning) ก ก ก ก ก ก ก ก ก 1 ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก 1 ก ก ก ก ก ก ก ก

17 17 ก ก ก ก ก ก ก ก (NULL) ก ก 2 Grade ก ก ก ก ก ก Bangkok Non-Bangkok ก ก ก ก (Binning Data) ก ก ก ก 10 ก {A,B+,B,C+,C,D+,D,F,W,I} ก ก ก ก ก ก ก 3 ก ก {A,B+,B} High, ก {C+,C} Meduim ก {D+,D,F,W,I} Low ก 1 ก - ก ก ก - ก ก ก ก ก ก 2 ก ก ก 6 ก School = 0 ก ก ก ก 6 School = 1 - ก ก กก ก 1 3 ID Sex Term School Major GPA 1 Female Bangkok 1 ELEC Male Non-Bangkok 0 CIVIL 3.2 3

18 18 ก 2 ก ก - ก ก ก - ก ก ก ก กก 2 4 ID Subject Term Year Grade Meduim Low High 4 ก 2. ก ก (Data Selection) ก - ก ก ก ก 10 ก ก ก ก ก ก ก ก - ก ก 6 ก ก ก ก ก ก ก ก ก ก ก 6 ก 6 ก ก ก ก ก ก ก ก ก 3. ก (Data Transformation)

19 19 ก 4 ก ก ก ก ก ก 3 4 ก ก ก 5 ID Sex Address Major GPA 1 Male Bangkok Meduim Low ELEC Female Non-Bangkok High High CIVIL ก 5 ก ก Web Mining ก ก Application Data Mining ก Web Mining Web Data Mining ก Data Mining e-commerce e-research ก ก ( Mass market technology ) Web mining ก ก ก Web Mining ก ก กก Data Mining ก ก ก Web Mining ก web ก ก ก Data Mining ก

20 ก ก web ก ก ก ก Web Mining ก ก ก ก web web ก ก ก ก ก ก Web Mining ก ก web ก Web Mining ก ก web ก ก ก ก (Text ) ก ก กก ก ก ก web ก ก Web Mining ก ก ก ก ก Links web web page ก ก ก Search Engines ก ก ก ก ก Link ก web ก ก ก ก ก ก ก ก ( Image ) ก ก Search Engines ก ก Web Mining ก ก ก e-commerce ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก กก ก log file ก ก web กก ก ก (user tracking ) web ก ก กก ก ก ก ก ก ก 3 ก 1. Demographics ก ก ก web ก ก 20

21 21 2. Phychographics ก กก ก ก web 3. Technolographics ก ก 3 ก ก ก ก ก ก ก ก ก ก ก ก ก Web Mining ก Data Mining ก ก ก ก ก กก ก ก ก Data Mining ก ก ก ก (pattern recognition technology) ก ก ก ก (machinelearning & genetic algorithms) ก ก ก (Netural & Polynomial networks) ก ก Data Mining ก ก ก ก ก (Who) ก ก ก (What) (Where) (When) ก ก ก (Why) ก ก ก ก ก ก ก Data Mining ก ก ก ก ก ก ก ก ก ก ก Data Mining ก (Data warehouse) ก (Data marts) ก ก (Customer information file) ก ก กก ก ก ก ก ก ก ก

22 ก ก (electronic commerce) ก ก Data Mining ก ก ก ก ก ก ก ก ก ก ก ก ก Data Mining ก ก ก ก ก ก ก ( ก ) ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก กก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก กก ก ก กก (Site cookie file) ก (Registration form) ก (Web site traffic report) ก ก ก ก ก ก ก ก ก ก Accure sight, DoubleClick NetCount ก ก web tracking software ก / ก ก ก ก ก ก ก ก ก IP address ก ก IP address ก ก ก ก ก ก ก IP address dynamic Ips ก ก ก proxy server IP address ก ก IP address ก กก 22

23 กก ก ก (web browser) ก ก ก ก ก กก (cookies) ก (serail number) ก ก ก ก กก ก ก ก กก ก ก กก ก ก ก ก ก ก ก ก กก ก ก ก ก ก! ก ก ก ก ก ก ก ก - กก ก ก ก ก ก กก ก ก ก ก ก กก ( ก ก Netcape 3.0 ก ก ก Option ก Protocol ก Networked Preferences ก ก Show An Alert Before Accepting A Cookie) ก ก กก ก ก ก กก ก ก ก ก ก ก dynamic Ips Proxy server ก กก ก ก ก ก (ISPs) ก ก ก ก กก proxy server ก.netcom.ibm.byu.aol ก ก ก ก ก (Registry form) ก ก ก ก ก ก ก ก ก ก ก ก ก 23

24 24 ก ก ก ก ก ก ก ก ก ก 5%-10% ก ก กก ก ก ก ก ก ก ก ก ก ก ก ก ก ก กก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก กก ก ก ก ก ก ( address) ก ก ก ก ก ก ก ก ก ก ก ก ก ( ก ก ก ก ) ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก Site-tracking software

25 ก ก ก ก กก ก ก ก ก (Log file) ก ก ก ก ก ก ก ก ก Internet Protocaol (IP) ก ก ก ก ก( ก ก IP address ก ก ก ) ก Accure Insight ก ก Accure ก ก (several databases) ก (single entiry report) ก ก ก ก ก ก ก ก ก ก ก กก ก ก ( ก ก Accure Insight ก hrad Count netcount ก ก ) ก ก ก Customer loyalty ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก 25

26 ก ก ก กก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก CACI Marketing System ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก กก ก ก ก (ZIP code) 55114, 01103, ก ก ก ก ก ก ก ก ก, ก ก ก ก ก, ก ก กก ก ก ก ก ก ก ก ก ก ก 30% ก ก 30% ก ก ก กก 20% ก ก ก ก ก ก ก ก ก (lifestyle) ก ก ก ก ก ก ก,,, ก ก ก ก ก ก Data Mining ก ก ก ก ก ก ก ก กก ก ก Data Mining ก ก ก ก (pattern) ก (cluster) ก ก ก ก ก ก ก ก ก ก 26

27 ก ก ก ก ก ก ก ก (loyalty) ก ก ก ก Data Mining ก 2 ก ก (statistics) (Artificial Intelligence) ก ก ก ก ก (machine-learning) ก ก ก Data Mining ก ก ก ก ก Data Mining ก ก ก ก ก Data Mining ก ก ก ก database query program, report generators, statistical packages ก ก ก ก Data Mining ก ก ก ก ก ก ก ก ก ก ก Data Mining ก ก ก ก ก กก ก Data Mining ก :- ก ก ก ก ก ก $1500-$3300 ก ก ก ก ก ก $900 ก Data Mining ก ก ก ก ก ก ก Data Mining ก CART, CHAD, ID3, C4.5 ก ก c ก ก n ก ก ก Data mining ก ก ก ก ก ก ก ก ก ก ก ก 27

28 ก ก ก ก ก ก ก ก IF ZIP CODE ( ) AND REGISTRATION NO.( ) AND USER ID NO. (4566jk dl01) THEN /WEBSELL/PRODUCT8.HTM 87% ก Data Mining ก กก ก ก (Reg NO ) ก 87% ก ก ก ก ก ก ก ก ก ก ก ก ก ก Data mining ก ก ก ก produc8.htm ก ก Data mining ก ก ก ก ก produc8.htm ก ก ก produc5.htm order_form.htm ก ก ก ก order_form.htm ก produc8.htm ก 83% ก ก ก order_form.htm :- IF ZIP CODE ( ) AND REGISTRATION NO. ( ) AND PRIOR PAGE /WEBSELL/PRODUCT8.HTM THEN /WEBSELL/PRODUCT5.HTM 73% IF ZIP CODE ( ) AND REGISTERATION NO. ( ) AND PRIOR PAGE /WEBSELL/PRODUCT8.HTM THEN /WEBSELL/ORDER_FORM.HTM 83% ก ก 28

29 Data mining ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ( ก ก ก ก ) ก ก Rulebased tools ก Data mining ก ก ก ก ก ก ก,, ก ก, ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก ก Data mining กก ก ก ก ก ก ก ก ก ก ก ก ก Data Mining ก ก ก ก ก ก ก ก (Customer loyality) 29

30 30 Demo Demo Software ก ก Data Mining Isoft Alice Alice version 6 ก Decision Tree demo ก ก ก ก ก ก ก ก field ก ก ก ก ก field ก ก Success

31 ก ก - Relational Database - SPSS,SAS - Ole DB and Ole DB for OLAP - Microsoft Access - Microsoft Excel 31

32 32 ก filed ก ก ก ก Alice ก decision tree

33 root node ก ก 188,400 ก ก ก 2 ก Housing ก ก ก ก ก, ก 33

34 34 ก ก ก ก ก ก ก

35 35

Data Mining. Ryan Benton Center for Advanced Computer Studies University of Louisiana at Lafayette Lafayette, La., USA.

Data Mining. Ryan Benton Center for Advanced Computer Studies University of Louisiana at Lafayette Lafayette, La., USA. Data Mining Ryan Benton Center for Advanced Computer Studies University of Louisiana at Lafayette Lafayette, La., USA January 13, 2011 Important Note! This presentation was obtained from Dr. Vijay Raghavan