Σύντομο Tutorial του προγράμματος MPPTEST στα Linux. 1. Γενικά περί μέτρησης και αξιολόγησης της απόδοσης του ΜΡΙ με τη χρήση του MPPTEST

Transcription

1 Σύντομο Tutorial του προγράμματος MPPTEST στα Linux 1. Γενικά περί μέτρησης και αξιολόγησης της απόδοσης του ΜΡΙ με τη χρήση του MPPTEST Το mpptest είναι ένα πρόγραμμα MPI, που μπορεί να εξετάσει πολλά στοιχεία απόδοσης μιας αρχιτεκτονικής και εγκατάστασης MPI και ως τέτοιο κτελείται όπως όλα τα άλλα προγράμματα MPI. Συγκεκριμένα, παρέχει ελέγχους για point-to-point και collective λειτουργίες σε ένα προσδιορισμένο αριθμό επεξεργαστών. Επιπλέον η εκτέλεση του είναι σε μεγάλο βαθμό παραμετροποιημένη. Στο παρόν tutorial θα εξετάσουμε τις βασικότερες παραμέτρους του point-topoint communication. Θα ξεκινήσουμε με ένα απλό παράδειγμα εκτέλεσης του mpptest. Εκτελέστε το αρχείο mpptest προσθέτοντας -gnuplot > out.gpl Θα δημιουργηθούν δύο αρχεία. Το out.gpl, το οποίο περιέχει τις απαραίτητες gnuplot εντολές και το αρχείο mppout.gpl, το οποίο περιέχει τα δεδομένα του γραφήματος. Χρησιμοποιήστε το πρόγραμμα gnuplot, για να δείτε τα δεδομένα ως γράφημα: gnuplot out.gpl. Κατεβάζετε το gnuplot για linux, windows, mac από 2. Επισκόπηση των παραμέτρων του mpptest Εκτελέστε το αρχείο mpiexec mpptest -help για να εμφανιστούν οι πιθανοί παράμετροι με εξηγήσεις. Η εκτέλεση θα πρέπει να σας δώσει το αποτέλεσμα το οποίο ακολουθεί mpptest - test individual communication speeds. Test a single communication link by various methods. The tests are combinations of Protocol: -sync Blocking sends/receives (default) -async NonBlocking sends/receives -ssend MPI Syncronous send (MPI_Ssend) and MPI_Irecv -force Ready-receiver (with a null message) -persistant Persistant communication -put MPI_Put (only on systems that support it) -get MPI_Get (only on systems that support it) -vector Data is separated by constant stride (only with MPI,using UBs) -vectortype Data is separated by constant stride (only with MPI,usingMPI_Type_vector) Message data: -cachesize n Perform test so that cached data is NOT reused -vstride n For -vector, set the stride between elements Message pattern: -roundtrip Roundtrip messages (default) -head Head-to-head messages -halo Halo Exchange (multiple head-to-head; limited options) Special options for -halo: -npartner n - Specify the number of partners -waitany - Use a loop over waitany instead of a single waitall -periodic - Use periodic mesh partners -debug - Provide some debugging information -touch - Touch the data on the target end to check for cache effects on shared-memory systems -memcpy Memory copy performance (no communication) -memcpy -int Memory copy using a for-loop with integers -memcpy -double Memory copy using a for-loop with doubles -memcpy -longlong Memory copy using a for-loop with long longs Message test type:(if not specified, only communication tests run) -overlap Overlap computation with communication (see -size) -overlapmsgsize nn Size of messages to overlap with is nn bytes. If the size is negative, only perform the computation. -bisect Bisection test (all processes participate)

2 -bisectdist n Distance between processes Message sizes: -size start end stride (default ) Messages of length (start + i*stride) for i=0,1,... until the length is greater than end. -sizelist n1,n2,... Messages of length n1, n2, etc are used. This overrides -size -logscale Messages of length 2**i are used. The -size argument may be used to set the limits. If -logscale is given, the default limits are from sizeof(int) to 128 k. -auto Compute message sizes automatically (to create a smooth graph Use -size values for lower and upper range -autodx n Minimum number of bytes between samples when using -auto -autorel d Relative error tolerance when using -auto (0.02 by default) Detailed control of tests: -quick Short hand for -autoavg -n_stable 5 this is a good choice for performing a relatively quick and accurate assessment of communication performance -n_avg n Number of times a test is run; the time is averaged over this number of tests (default 50) -autoavg Compute the number of times a message is sent automatically -tgoal d Time that each test should take, in seconds. Use with -autoavg -rthresh d Fractional threshold used to determine when minimum time has been found. The default is sample_reps n Number of times a full test is run in order to find the minimum average time. The default is 30 -n_stable n Number of full tests that must not change the minimum average value before mpptest will stop testing. By default, the value of -sample_reps is used (i.e.,no early termination) -max_run_time n Maximum number of seconds for all tests. The default is 900 Collective operations may be tested with -gop [ options ]: Collective Tests: -dsum : reduction (double precision) -isum : reduction (integer) -sync : synchronization (MPI_Barrier) -colx : collect with known sizes -colxex : collect with known sizes with exchange alg. -scatter : scatter -bcast : another name for -scatter -bcastalt : -bcast with a different measurement approach Collective test control: -pset n-m : processor set consisting of nodes n to m Output -cit Generate data for CIt -gnuplot Generate data for GNUPLOT (default) -gnuploteps Generate data for GNUPLOT in Encapsulated Postscript -gnuplotps Generate data for GNUPLOT in Postscript -givedy Give the range of data measurements -rate Generate rate instead of time -fname filename (default is stdout) (opened for append, not truncated) -noinfo Do not generate plotter command lines or rate estimate -wx i n windows in x, my # and total # -wy i n windows in y, my # and total # -title string Use string as the title instead of the default title -lastwindow generate the wait/new page (always for 1 window)

3 Pattern (Neighbor) choices: -nbrring - neighbors are +/- distance -nbrdbl - neighbors are +/- 2**distance -nbrhc - neighbors are hypercube -nbrshift - neighbors are + distance (wrapped) Miscellaneous -diagnostics Provide information on the test history, specifically how many tests were rejected because they were less that 1% of MPI_Wtick and how many were re-run because they failed the smoothness test with their neighbors. Παραδείγματα Χρήσης A. Blocking Επικοινωνία διεργασιών στον ίδιο κόμβο (shared memory) Παράμετροι size Παρατηρήστε latency και bandwidth στο mppout.gpl (αρχή και τέλος αρχείου) #p0 p1 dist len ave time (us) rate (latency) e e+6 (δεν φαίνονται ενδιάμεσες τιμές len ) e e e e+6 (bandwidth) Οι τιμές σε γράφημα Β. Blocking Επικοινωνία διεργασιών σε διαφορετικούς κόμβους (message over network) Παράμετροι size (διαφορά από Α: διεργασίες σε 2 κόμβους). Παρατηρήστε μεγαλύτερο latency και παρόμοιο bandwidth

4 Γ. Bandwidth για μεγάλα μηνύματα (> 4096) Δ. Non-Blocking Επικοινωνία διεργασιών σε διαφορετικούς κόμβους mpirun mpptest -async -size gnuplot > out.gpl

5 Ε. Non-Blocking 0-8k με μέσο όρο, μικρότερο και μεγαλύτερο mpirun mpptest -async -givedy -gnuplot -tgoal 0.1 -quick -size head > SRnB ΣΤ. Ίδιες Παράμετροι, αλλά με spike