我们应该做什么? 告知性分析 未来会发生什么? 预测性分析 为什么会发生 诊断性分析 过去发生了什么? 描述性分析 高级分析 传统 BI. Source: Gartner

Transcription

1

2

3

4 价值 我们应该做什么? 告知性分析 未来会发生什么? 预测性分析 为什么会发生 诊断性分析 过去发生了什么? 描述性分析 传统 BI 高级分析 Source: Gartner 困难

5 常见方案

6 Cortana 高级分析套件 SQL Server 2016 或者 Microsoft R Server Machine Learning 或者 Microsoft R Server

7

8 1. 业务理解 2. 数据理解 3. 数据准备 ( 清洗 / 准备 ) 4. 利用数据创建 / 训练模型 5. 测试 / 验证模型 6. 使用模型得出预测的输出 7. 与业务应用集成 8. 周期性的更新模型

9

10

11 开源软件 全球范围的社区 良好的生态 大数据支持 分析, 计算, 建模 数百万用户 9,000+ 包 扩展性

12 $? 开源带来了额外的成本开销缺少企业级支持服务 将 R 与现存的不断变化的数据架构进行集成 有限的扩展性在大数据量下的性能瓶颈 数据移动带来额外的成本和安全隐患

13 7*24 支持企业级的平台包含在 SQL Server 中 在多个数据平台上的统一分析应用 更智能的决策更快的得到分析结果 支持混合云开源 R 代码直接复用不用考虑内存数据量的限制

14 US flight data for 20 years Linear Regression on Arrival Delay Run on 4 core laptop, 16GB RAM and 500GB SSD

15 开源社区企业用户 Revolution R R Enterprise Open R Open R Server

16 R+CRAN Open source R interpreter R Freely-available huge range of R algorithms Algorithms callable by RevoR Embeddable in R scripts 100% Compatible with existing R scripts, functions and packages RevoR Performance enhanced R interpreter Based on open source R Adds high-performance math library to speed up linear algebra functions R Open Microsoft R Server DevelopR DeployR ScaleR Ready-to-Use high-performance big data big analytics Fully-parallelized analytics Data prep & data distillation Descriptive statistics & statistical tests Range of predictive functions User tools for distributing customized R algorithms across nodes Wide data sets supported thousands of variables ConnectR High-speed & direct connectors Available for: High-performance XDF SAS, SPSS, delimited & fixed format text data files Hadoop HDFS (text & XDF) Teradata Database & Aster EDWs and ADWs ODBC DistributedR Distributed computing framework Delivers cross-platform portability

17 Data step Data import Delimited, fixed, SAS, SPSS, OBDC Variable creation & transformation Recode variables Factor variables Missing value handling Sort, merge, split Aggregate by category (means, sums) Descriptive statistics Min/max, mean, median (approx.) Quantiles (approx.) Standard deviation Variance Correlation Covariance Sum of squares (cross-product matrix for set variables) Pairwise cross tabs Risk ratio & odds ratio Cross-tabulation of data (standard tables & long form) Marginal summaries of cross tabulations Statistical tests Chi Square Test Kendall Rank Correlation Fisher s Exact Test Student s t-test Sampling Subsample (observations & variables) Random sampling Predictive models Sum of squares (cross-product matrix for set variables) Multiple linear regression Generalized linear models (GLM) exponential family distributions: binomial, Gaussian, inverse Gaussian, Poisson, Tweedie. Standard link functions: cauchit, identity, log, logit, probit. User defined distributions & link functions. Covariance & correlation matrices Logistic regression Classification & regression trees Predictions/scoring for models Residuals for all models Custom parallelization PEMA-R API rxdatastep rxexec Simulation Simulation (e.g., Monte Carlo) Parallel random number generation K-Means Cluster analysis Classification Decision trees Decision forests Gradient-boosted decision trees Naïve Bayes

18 不用移动数据就可以实时的分析交易数据 数据科学家 交互式分析数据 扩展到 R R 集成? 例如 : 销售额预测 库存优化 预测性维护 信用卡交易保护 分析库 R 结合 SQL 的内存数据库 SQL 开发者 /DBA 管理数据 / 分析数据 T-SQL 接口关系型数据 内置于 SQL Server 2016

19

20 数据科学家 交互式直接访问数据并发布算法在整个数据集上执行 R 执行和测试都在数据库中部署到本地数据库中 SQL 开发者 更轻松的同时管理和分析数据轻松调用 R 脚本或者模型使用 T-SQL 调用 R 代码 DBA 更方便的管理数据统一的管理性能可以安全的管理 R 的执行

21

22

23

24

25

26 select from on where o.name, o.description sys.dm_xe_objects o join sys.dm_xe_packages p o.package_guid = p.guid o.object_type = 'event' and p.name = 'SQLSatellite' order by o.name;

27

28 Data Sources Analytics Consumers Machines Sensors Data Suppliers Legacy Sources EDW ERP/MRP Events Ingest Scored Data Edge Computing Stream Processing Structured Data Models SQL Server Azure Data Platform Big Data Transformation Aggregation Exploration Modeling Model Evaluation Data Scoring Data Models Execution Math Servers and Clusters Data Models Execution Visualization Scores Line of Business users (Analytic Apps, Rules Engines, etc.) Business Analysts Power Analysts (R Studio, DevelopR, etc.) 29

29 金融服务 保险 制造 & 高科技 医疗 & 制药数字公司分析服务提供商

30

31