دکتر محمد کاظم اکبری مرتضی سرگلزایی جوان

Size: px

Start display at page:

Download "دکتر محمد کاظم اکبری مرتضی سرگلزایی جوان"

Shavonne Norton
6 years ago
Views:

1 به نام خدا مدل برنامه نویسی نگاشت-کاهش دکتر محمد کاظم اکبری مرتضی سرگلزایی جوان 1

Memory مروری بر روشهای موازی سازی Programming models Shared memory (pthreads) Message passing (MPI) Design Patterns Master-slaves Producer-consumer

2 Memory مروری بر روشهای موازی سازی Programming models Shared memory (pthreads) Message passing (MPI) Design Patterns Master-slaves Producer-consumer flows Shared work queues master producer Shared Memory P 1 P 2 P 3 P 4 P 5 consumer Message Passing P 1 P 2 P 3 P 4 P 5 work queue slaves producer consumer

3 (MPI) چالش های مدل های سنتی برنامه نویسی موازی MPI gives you MPI_Send, MPI_Recieve Deadlock is possible Blocking communication can cause deadlock "crossed" calls when trading information Proc1: MPI_Receive(Proc2, A); MPI_Send(Proc2, B); Proc2: MPI_Receive(Proc1, B); MPI_Send(Proc1, A); There are some solutions - MPI_SendRecv() Large overhead from comm. mismanagement Time spent blocking is wasted cycles Can overlap computation with non-blocking comm. Load imbalance is possible! Dead machines? 3

4 4

5 مشکل عمومی مسائل با داده های زیاد Iterate over a large number of records Extract something of interest from each Shuffle and sort intermediate results Aggregate intermediate results Generate final output Provide a functional abstraction using Map Reduce 5

6 مدل نگاشت - کاهش )LISP ایده کلی آن مشابه زبان های functional )نظیر است (map square `( )) Output: ( ) جمع مربعات: (reduce + `( )) (+ 16 (+ 9 ( + 4 1) ) ) Output: 30 6

7 <script> یک نمونه مثال عملی در جاوا اسکریپت var myarray = [10, 20, 30, 40]; function mymap(value, index){ return Math.pow(value,2); } function myreduce(total, sum){ return (total+ sum); } </script> var sum = myarray.map(mymap).reduce(myreduce, 0); document.write(sum); 7

8 موازی سازی توابع نگاشت کاهش در جاوا اسکریپت <script src="parallel.js"></script> <script> var p = new Parallel([10, 20, 30, 40]); var log = function(){ console.log(arguments); }; function mymapfun(n) { return Math.pow(value,2); }; function myreducefun(n) { return n[0] + n[1]; }; p.map(mymapfun).reduce(myreducefun).then(log); </script> 8

9 9 شمای کلی از روند اجرای مدل نگاشت-کاهش در حالت توزیع شده

10 WordCount مثال : مجموعه داده ای عظیم )نظیر ویکیپدیا( را در نظر بگیرید و و تعداد تکرار هر کدام را به ازای هر سند چاپ کنید. لیستی از کلمات موجود در آن 10

11 MAP پردازش هر رکورد برای تولید جفت key/value های میانی بصورت موازی 11

12 MAP پردازش تعداد زیادی های میانی رکوردها از بصورت موازی برای تولید جفت کلید/مقدار 12

13 REDUCE پردازش و ادغام همه مقادیر میانی مرتبط با هر کلید 13

14 REDUCE مجموعه همه مقادیر میانی هر کلید به یک Reduce داده میشود. بصورت موازی همه مقادیر میانی با استفاده از Partitioning Key پردازش و ادغام میشوند. یک روش رایج hash partitioning است: reduce # = hash(key) % number of reduce servers 14

15 شبه کد mapper (filename, file-contents): for each word in file-contents: emit (word, 1) reducer (word, values): sum = 0 for each value in values: sum = sum + value emit (word, sum) 15

16 کد MAP public static class MapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { private Text word = new Text(); public void map(longwritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) { String line = value.tostring(); StringTokenizer itr = new StringTokenizer(line); while (itr.hasmoretokens()) { word.set(itr.nexttoken()); output.collect(word, one); } } } 16

17 کد REDUCE public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> { } public void reduce(text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output) { } int sum = 0; while (values.hasnext()) { } sum += values.next().get(); output.collect(key, new IntWritable(sum)); 17

18 بدنه اصلی برنامه )Driver( public void run(string inputpath, String outputpath) throws Exception { } JobConf conf = new JobConf(WordCount.class); conf.setjobname("wordcount"); // the keys are words (strings) conf.setoutputkeyclass(text.class); // the values are counts (ints) conf.setoutputvalueclass(intwritable.class); conf.setmapperclass(mapclass.class); conf.setreducerclass(reduce.class); FileInputFormat.addInputPath(conf, new Path(inputPath)); FileOutputFormat.setOutputPath(conf, new Path(outputPath)); JobClient.runJob(conf); 18

19 برخی موارد کاربرد Distributed Grep: Input: large set of files Output: lines that match pattern Map Emits a line if it matches the pattern Reduce Copies the intermediate data to output 19

20 برخی موارد کاربرد Reverse Web-Link Graph Input: Web graph: tuples (a,b) where (page a -> page b) Output: For each page, list of pages that link to it Map Process web log and for each input <source, target>, it output <target, source) Reduce Emits <target, list(source)> 20

21 برخی موارد کاربرد Count of URL access frequency Input: Log of accessed URLs, e.g., from proxy server Output: For each URL, % of total access for that URL Map process web log and output <URL, 1> Multiple reducers Emits <URL, URL_count> Map Processes <URL, URL_count> and output <1, <URL, URL_count>)> 1 Reducer Sums up URL_count s to calculate overall_count. Emits multiple <URL, URL_count / overal_count>!? 21

22 برخی موارد کاربرد Map task s output is sorted (e.g., quicksort) Reduce task s input is sorted (e.g., mergesort) Sort Input: Series of (key, value) pairs Output: Sorted <values>s Map - <key, value> -> <value, _> (identity) Reducer - <key, value> -> <key, value> (identity) Partitioning function partition keys across reducers based on ranges Take data distribution into account to balance reducer tasks 22

23 Shuffle and Sort Mapper merged spills (on disk) intermediate files (on disk) Combiner Reducer circular buffer (in memory) Combiner spills (on disk) other reducers other mappers

24 مالحظات طراحی الگوریتم L1 cache reference Branch mispredict L2 cache reference Mutex lock/unlock Main memory reference Send 2K bytes over 1 Gbps network Read 1 MB sequentially from memory Round trip within same datacenter Disk seek Read 1 MB sequentially from disk Send packet CA Netherlands CA 0.5 ns 5 ns 7 ns 25 ns 100 ns 20,000 ns 250,000 ns 500,000 ns 10,000,000 ns 20,000,000 ns 150,000,000 ns * According to Jeff Dean (LADIS 2009 keynote)

25 User Program (1) submit 100A ms >> 0.1B ms for small datasets Master (2) schedule map (2) schedule reduce worker split 0 split 1 split 2 split 3 split 4 (3) read worker (4) local write (5) remote read worker worker (6) write output file 0 output file 1 worker Input files Map phase Intermediate files (on local disk) Reduce phase Output files > 25 ms > 20 ms > 25 ms > 25 ms

26 partition (k, number of partitions) partition for k Often a simple hash of the key, e.g., hash(k ) mod n Divides up key space for parallel reduce operations combine (k, v ) <k, v >* Mini-reducers that run in memory after the map phase Used as an optimization to reduce network traffic

27 تجمیع محلی اطالعات در Map ها In-mapper combining Fold the functionality of the combiner into the mapper by preserving state across multiple map calls Advantages Speed Why is this faster than actual combiners? Disadvantages Explicit memory management required Potential for order-dependent bugs

28 Word Count: Baseline

29 Word Count: Version 1

30 Word Count: Version 2

31 Cluster size: 38 cores Data Source: Associated Press Worldstream (APW) of the English Gigaword Corpus (v3), which contains 2.27 million documents (1.8 GB compressed, 5.7 GB uncompressed)

33 Computing the Mean: Version 1

34 Computing the Mean: Version 2

35 استفاده از مدل نگاشت کاهش در ابر 1. Scp data to cluster 2. Move data into HDFS 3. Develop code locally You 4. Submit MapReduce job 4a. Go back to Step 3 Hadoop Cluster 5. Move data out of HDFS 6. Scp data from cluster

36 مثالی از استفاده از مدل نگاشت کاهش در ابر 0. Allocate Hadoop cluster 1. Scp data to cluster 2. Move data into HDFS 3. Develop code locally EC2 4. Submit MapReduce job 4a. Go back to Step 3 You Your Hadoop Cluster 5. Move data out of HDFS 6. Scp data from cluster 7. Clean up!

37 مثالی از استفاده از مدل نگاشت کاهش در ابر Copy from S3 to HDFS EC2 (The Cloud) S3 (Persistent Store) Your Hadoop Cluster Copy from HFDS to S3

38 زمان بندی منابع در هادوپ برای استفاده از مدل نگاشت کاهش 38

39 چالش های مربوط به زمان بندی منابع 1 Gbps between any pair of nodes in a rack Switch 2-10 Gbps backbone between racks Switch Switch CPU CPU CPU CPU Mem Mem Mem Mem Disk Disk Disk Disk Each rack contains nodes 39

40 نیازمندی های رایج پردازش داده های با مقیاس باال Many tasks composed of processing lots of data to produce lots of other data Large-Scale Data Processing Want to use 1000s of CPUs But don t want hassle of managing things MapReduce provides User-defined functions Automatic parallelization and distribution Fault-tolerance I/O scheduling Status and monitoring 1/31/12 40

41 چالش انتقال داده به نودهای محاسباتی NAS Master SAN Compute Nodes What s the problem here? Storage Nodes

42 نیازمندی های سیستم ذخیره سازی First order problem: if nodes can fail, how can we store data persistently? Answer: Distributed File System Provides global file namespace Google GFS; Hadoop HDFS; Kosmix KFS Typical usage pattern Huge files (100s of GB to TB) Data is rarely updated in place Reads and appends are common 42 1/31/12

43 سیستم فایل توزیع شده Chunk Servers File is split into contiguous chunks Typically each chunk is 16-64MB Each chunk replicated (usually 2x or 3x) Try to keep replicas in different racks Master node a.k.a. Name Nodes in HDFS Stores metadata Might be replicated Client library for file access Talks to master to find chunk servers Connects directly to chunkservers to access data 43 1/31/12

HDFS Architecture HDFS namenode Application

range) block data datanode state HDFS datanode

44 HDFS Architecture HDFS namenode Application HDFS Client (file name, block id) (block id, block location) File namespace /foo/bar block 3df2 instructions to datanode (block id, byte range) block data datanode state HDFS datanode Linux file system HDFS datanode Linux file system

45 Putting everything together namenode job submission node namenode daemon jobtracker tasktracker datanode daemon Linux file system slave node tasktracker datanode daemon Linux file system slave node tasktracker datanode daemon Linux file system slave node

46 زمان بندی MapReduce بیرونی )از دید کاربر(: نوشتن یک برنامه Map نوشتن یک برنامه Reduce ثبت درخواست جهت اجرا تقریبا به دانشی برای موازی سازی یا برنامه نویسی توزیع شده نیازی نیست! داخلی )از دید پلت فرم(: موازی سازی Map انتقال داده از Map به Reduce موازی سازی Reduce پیاده سازی حافظه مورد نیاز برای داده های ورودی Map خروجی Map ورودی Reduce خروجی Reduce اطمینان از اینکه هیچ Reduce ای قبل از اتمام همه Map ها اجرا نمیشود barrier( بین دو فاز Map و )Reduce 46

47 موازی سازی همه انتقال داده از همه زمان بندی داخلی در MapReduce :Map هر وظیفه رکوردهای خروجی map Map مستقل از دیگران است. با کلید یکسان به Reduce به Map رکوردهای خروجی استفاده از تابع موازی سازی حافظه ذخیره سازی: :Reduce Map با کلید یکسان به وظیفه یکسان تخصیص داده شود. Reduce partitioning )نظیر :Reduce هر وظیفه )hash reduce ورودی خروجی ورودی خروجی :Map :Map از سیستم فایل توزیع شده دیسک محلی در هر نود Map :Reduce :Reduce از دیسک های مختلف بصورت به سیستم فایل توزیع شده مستقل از دیگران است. یکسان تخصیص داده شود. راه دور و استفاده از دیسک محلی 47

48 زمان بندی داخلی در MapReduce Resource Manager (assigns maps and reduces to servers) 48

49 زمان بند YARN از هادوپ نسخه به بعد 2 Yarn = Yet Another Resource Negotiator هر سرور به عنوان مجموعه ای از حامل ها )containers( در نظر گرفته میشود Container = some CPU + some memory سه بخش اصلی: : Global Resource Manager (RM) : Node Manager (NM) Application Manager (AM) مذاکره با RM و NM ها زمان بندی : سرویس داخلی به به ازای هر برنامه ازای هر سرور )کار( پیدا کردن وظیفه های دارای خطای مربوط به هر برنامه )کار( 49

50 : چگونگی تشکیل حامل برای هر کار YARN 50

51 خطاهای سرور: ارسال ارسال NM از heartbeats تحمل در برابر خطا به RM اگر سرور با خطا مواجه شود RM همه AM ها را مطلع میکند آمار مربوط به هر وظیفه اجرا شده در آن سرور را دارد اگر وظیفه ای قبل از اجرا با خطا مواجه شود آن وظیفه را مجدد راه اندازی میکند RM به AM از heartbeats در زمان خطا AM توسط RM NM 51 خطای RM استفاده از مجدد راه اندازی میشود RM های قدیمی و باال آوردن checkpoint ثانویه

52 سرورهای با سرعت پایین )Stragglers( ماشین با کمترین سرعت کل کار را کند میکند. در صورت کند بودن در هر کدام از بخش های دیسک شبکه پردازنده یا حافظه ثبت کردن نسبت کارهای inprogress و کارهای انجام شده : در صورتیکه اولین تکرار تمام شد فرض بر این )speculative execution( تکرار اجرای کارهای straggler است که کار تمام شده است 52

53 مالحظات موازی سازی map توابع map() بصورت موازی اجرا میشوند. توابع reduce() بصورت موازی اجرا میشوند. همه مقادیر مستقل از هم پردازش میشوند. گلوگاه: مرحله reduce نمیتواند قبل از پایان کامل مرحله شروع شود. 53

54 Locality ساختار مراکز داده سلسله مراتبی است بر اساس پیکربندی انجام شده GFS / HDFS داده را )معموال 64 مگابایت( ذخیره میکند مثال در راک های مختلف )2 زمان بندی کارهای Map روی: ماشینی که شامل نسخه ای از داده متناظر هر جای دیگر! دو یا سه نسخه از هر بخش تا در همان راک و یکی در یک راک دیگر( ماشین دیگری در همان راک که شامل داده ورودی باشد یا در صورت خطا متناظر باشد یا در صورت خطا 54

55 مزایا و معایب مدل نگاشت کاهش Now it s easy to program for many CPUs Communication management effectively gone I/O scheduling done for us Fault tolerance, monitoring machine failures, suddenly-slow machines, etc are handled Can be much easier to design and program! Can cascade several (many?) MapReduce tasks But it further restricts solvable problems Might be hard to express problem in MapReduce Data parallelism is key Need to be able to break up a problem by data chunks 55 1/31/12

56 نیرمت ' '), count( ), count( ) count( ), count( ) ( B B A B A A B A A B P B u v v L v PR u PR ) ( ) ( ) ( 1) 2)

57 PageRank PageRank value for a page u is dependent on the PageRank values for each page v out of the set B u (all pages linking to page u), divided by the number L(v) of links from page v PR( u) v B u PR( v) L( v) 57

58 ابر و باران 58

مرتب سازی. (sort) : ویرایش احمدرضا غدیرزاده دانشجوی رشته ی مهندسی کامپیوتر

مرتب سازی. (sort) : ویرایش احمدرضا غدیرزاده دانشجوی رشته ی مهندسی کامپیوتر مرتب سازی (sort) : ویرایش احمدرضا غدیرزاده دانشجوی رشته ی مهندسی کامپیوتر تعریف کلید بخشی از هر رکورد که مرتبسازی بر اساس آن انجام میگیرد. به طور کلی الگوریتمهای مرتبسازی را میتوان به دو گروه تقسیم کرد: