Verifikacija softvera

Transcription

1 Simboličko izvršavanje (drugi deo) Matematički fakultet, Univerzitet u Beogradu

2 Pregled Modelovanje memorije 1 Modelovanje memorije 2 3 4

3 Pregled Modelovanje memorije 1 Modelovanje memorije 2 3 4

4 Modelovanje memorije Nizovi i pokazivači Primeri koje smo razmatrali su koristili jednostavnu memoriju koja sve podatke čuva kao skalare, tj bez redirekcije. Važan aspekt simboličkog izvršavanja je kako se memorija i rad sa memorijom modeluje tako da podrži programe sa pokazivačima i nizovima. To zahteva proširivanje memorije tako da preslikava ne samo promenljive u njihove simboličke vrednosti, već i memorijske adrese u simbličke izraze ili konkretne vrednosti.

5 Modelovanje memorije Simboličko skladište σ Simboličko skladište σ može se posmatrati kao preslikavanje koje adresama u memoriji (umesto samim promenljivama) dodeljuje konkretne ili simbolilke vrednosti. Na ovaj način i dalje možemo da podržavamo obične promenljive koristeći njihove adrese umesto imena u tom preslikavanju. Na primer, umesto da se x preslikava u izraz e (u zapisu x e) možemo da to razmatramo zapravo kao &x e gde je &x konkretna adresa promenljive x. Takode, ako je v niz i c konstanta, onda za v[c] e zapravo razmatramo &v + c e

6 Modelovanje memorije Symbolic memory address problem Za konkretne vrednosti to ne predstavlja problem (tj kada je indeks konstanta) ali izazov je obraditi situacija kada je indeks simbolički izraz - symbolic memory address problem Izbor modelovanja memorije je važan izbor za dizajn simboličkog izvršavanja jer utiče direktno i na ostvarenu pokrivenost koda istraživanjem putanja i na skalabilnost rešavača. Postoje različiti pristupi rešavanju ovog problema.

7 Simbolička memorija At the highest level of generality, an engine may treat memory addresses as fully symbolic. Dva osnovna pristupa, koja je još King opisao u svom radu iz 76. godine su 1 Pravljenje novih stanja 2 Pravljenje if-then-else formula Teorija nizova smt rešavači

8 State forking Pravljenje novih stanja Ako operacija čita ili piše na neku simboličku adresu, prave se nova stanja razmatranjem svih mogućih stanja koje mogu da rezultuju kao posledica te operacije. Uslovi putanje se dopunjavaju za svako novokreirano stanje. Primer: 1. void foobar ( unsigned i, unsigned j ) { 2. int a[2] = { 0 }; 3. if (i>1 j>1) return; 4. a[i] = 5; 5. assert (a [j]!= 5); 6. }

9 Pravljenje novih stanja primer

10 if-then-else formule ite formule Alternativni pristup se sastoji u enkodiranju neodredenosti mogućih vrednosti simboličkog pokazivača u izraze koji se čuvaju u okviru simboličkog skladišta i ograničenja putanja, bez pravljenja novih stanja. Osnovna ideja je da se iskoristi mogućnost rešavača da rezonuju o formulama koje sadrže if-then-else izraze, tj u formi ite(cond, trueexp, falseexp)

11 if-then-else formule ite(cond, trueexp, falseexp) Pristup radi drugačije za operacije čitanja i pisanja. Neka je α simbolička adresa koja može da ima konkretne vrednosti a 1, a 2... čitanje sa lokacije α podrazumeva izraz ite(α = a 1, σ(a 1 ), ite(α = a 2, σ(a 2 ),...)) pisanje izraza e na lokaciju α menja simboličko skladište σ tako što svaku vrednost promenljivih na adresama a 1, a 2... postavlja na sledeci način: σ(a i ) = ite(α = a i, e, σ(a i ))

12 if-then-else formule primer

13 SMT theory of arrays Teorija nizova When using a theory of arrays, operations can in fact be expressed as first-class entities in constraint formulas. Teorija nizova (eng. Theory of Arrays, skraćeno ARR) uvodi ternarni funkcijski simbol store i binarni funkcijski simbol select.

14 SMT theory of arrays Funkcija store vrši izmenu vrednosti na odgovarajućem mestu u nizu i ima tri argumenta: (i) niz, (ii) poziciju (indeks) u nizu na koju se smešta vrednost, (iii) vrednost koja se smešta u niz. Za zadati niz a, celobrojnu vrednost i i vrednost v tipa nad kojim je niz definisan, term store(a, i, v) označava niz koji je identičan sa nizom a, osim što je vrednost na poziciji i jednaka v.

15 SMT teorija nizova Funkcija select vrši čitanje vrednosti sa odgovarajućeg mesta u nizu i ima dva argumenta: (i) niz, (ii) poziciju (indeks) u nizu sa koje se čita vrednost. Za zadati niz a i celobrojnu vrednost i, term select(a, i) označava vrednost na poziciji i niza a.

16 Teorija nizova Aksiome Teorija nizova je teorija koja ima sledeće dve aksiome: a i v (select(store(a, i, v), i) = v) a i j v (i j select(store(a, i, v), j) = select(a, j)) (A1) (A2)

17 NP-kompletan problem Odlučiv i NP-kompletan Univerzalno kvatnifikovani fragment ove teorije je odlučiv i problem zadovoljivosti u ovom fragmentu teorije je NP-kompletan. Aksioma proširivanja Pored prethodne dve aksiome, ponekad se dodaje i aksioma proširivanja (eng. extensionality) a b (( i (read(a, i) = read(b, i)) a = b) (A3)

18 Primeri Modelovanje memorije Primer Naredna formula je primer zadovoljive formule teorije nizova: b = store(a, 5, select(a, 3)) select(a, 3) = select(b, 5). Primer Naredna formula je primer nezadovoljive formule teorije nizova: store(a, i, x) b select(b, i) = y select(store(b, i, x), j) = y a = b i = j Da bi se dokazala nezadovoljivost ove formule, potrebno je koristiti i aksiomu (A3).

19 Simbolička memorija Ograničenja Due to its generality, fully symbolic memory supports the most accurate description of the memory behavior of a program, accounting for all possible memory manipulations. In many practical scenarios, the set of possible addresses a memory operation may reference is small, allowing accurate analyses using a reasonable amount of resources. In general, however, a symbolic address may reference any cell in memory, leading to an intractable explosion in the number of possible states. For this reason, a number of techniques have been designed to improve scalability

20 Umesto simboličke memorije Kako puna simbolička memorija ne skalira dobro, potrebno je napraviti neki kompromis Otvoren problem

21 Konkretna memorija Konkretizacija simboličkih adresa Ukoliko je kombinatorna kompleksnost analize prevelika jer vrednosti pokazivača ne mogu da se ograniče na dovoljno male opsege, često se koristi strategija konkretizacije simboličke pokazivačke vrednosti u neku konkretnu vrednost. U ovom slučaju imamo Trading soundness for performance. This can reduce the number of states and the complexity of the formulas fed to the solver and thus improve running time, although may cause the engine to miss paths that, for instance, depend on specific values for some pointers.

22 Konkretna memorija Konkretizacija simboličkih adresa Concretization naturally arises in offline executors Konkretizacija pokazivačke vrednosti tipa T* u NULL ili u adresu novo-alociranog objekta veličine sizeof(t). Ovaj izbor može da ide random (DART) ili da imamo različita stanja za različite izbore (CUTE - prvo proba sa NULL, pa zatim sa konkretnom adresom). Ako je T struktura, ista konkretizacija se rekurzivno sprovodi na sva polja na koja pokazuje objekat.

23 Parcijalno modelovanje memorije Izmedu simboličke i konkretne memorije Da bi se prevazišli problemi skaliranja pune ismboličke memorije, a da bi se preskočio gubitak informacija koji nastaje konkretizacijom, jedan pravac je parcijalno modelovanje memorije. The key idea is that written addresses are always concretized and read addresses are modeled symbolically if the contiguous interval of possible values they may assume is small enough.

24 Parcijalno modelovanje memorije Izmedu simboličke i konkretne memorije This model is based on a trade-off: it uses more expressive formulas than concretization, since it encodes multiple pointer values per state, but does not attempt to encode all of them like in fully symbolic memory. A basic approach to bound the set of possible values that an address may assume consists in trying different concrete values and checking whether they satisfy the current path constraints, excluding large portions of the address space at each trial until a tight range is found. This algorithm comes with a number of caveats

25 Lenja inicijalizacija Kompleksne strukture podataka u C++-u i Javi Simboličko izvršavanje u prisustvu struktura podataka kao što su liste i drveta je značajno teže. A framework for software verification that combines symbolic execution and model checking to handle linked data structures such as lists and trees. Generalize symbolic execution by introducing lazy initialization to effectively handle dynamically allocated objects. Combine lazy initialization with user-provided method preconditions, i.e., conditions that are assumed to be true before the execution of a method.

26 Pregled Modelovanje memorije Odsecanje nedostižnih putanja Spajanje stanja Aproksimacije petlji 1 Modelovanje memorije 2 Odsecanje nedostižnih putanja Spajanje stanja Aproksimacije petlji 3 4

27 Eksplozija putanja Odsecanje nedostižnih putanja Spajanje stanja Aproksimacije petlji Osnovni izazov simboličkog izvršavanja One of the main challenges of symbolic execution is the path explosion problem: a symbolic executor may fork off a new state at every branch of the program, and the total number of states may easily become exponential in the number of branches. Keeping track of a large number of pending branches to be explored, in turn, impacts both the running time and the space requirements of the symbolic executor.

28 Odsecanje nedostižnih putanja Spajanje stanja Aproksimacije petlji Pruning Unrealizable Paths We can reduce the state space by invoking an SMT solver to detect unrealizable paths. For example, if (a > 0) {... } if (a > 1) {... } Eager evaluation calls an SMT solver at each branch. Lazy evaluation does not to reduce the burden on the solver.

29 Odsecanje nedostižnih putanja Spajanje stanja Aproksimacije petlji State Merging State merging is a technique that merges different paths into a single state. For example, 1. void foo(int x, int y) { 2. if (x < 5) 3. y = y * 2; 4. else 5. y = y * 3; 6. return y; 7. } without state merging with state merging

30 Odsecanje nedostižnih putanja Spajanje stanja Aproksimacije petlji State Merging Given two states (stmt, σ 1, π 1 ) and (stmt, σ 2, π 2 ), the merged state is (stmt, σ, π 1 π 2 ) where σ merges σ 1 and σ 2 with ite expressions. State merging has trade-offs: merging decreases the number of paths to explore but also put a burden on constraints solvers. State merging heuristics: See Query cost estimation, Veritesting, etc See also (Efficient State Merging in Symbolic Execution. PLDI 2012)

31 Odsecanje nedostižnih putanja Spajanje stanja Aproksimacije petlji Handling Loops Consider the program, where we do not know the loop bound: void f (unsigned int n) { i = 0; while (i < n) { i = i + 1; } } Symbolic execution would keep forking and running forever.

32 Odsecanje nedostižnih putanja Spajanje stanja Aproksimacije petlji Handling Loops A common solution in practice is to unroll the loop for a fixed bound, e.g., k = 2: void f (unsigned int n) { i = 0; if (i < n) { i = i + 1; } if (i < n) { i = i + 1; } } The resulting analysis compromises soundness.

33 Odsecanje nedostižnih putanja Spajanje stanja Aproksimacije petlji Handling Loops Another solution is to provide a loop invariant and let symbolic execution use it to skip the analysis of the loop: void f (unsigned int n) { i = 0; while (i < n) { // inv: i <= n i = i + 1; } } The resulting analysis is either semi-automatic or over-approximated.

34 Pregled Modelovanje memorije 1 Modelovanje memorije 2 3 4

35 Simboličko izvršavanje binarnog koda Na postojeće probleme i tehnike, dodaje se: Lifting to an Intermediate Representation VEX, LLVM Reconstructing the Control Flow Graph Code Obfuscation

36 Pregled Modelovanje memorije 1 Modelovanje memorije 2 3 4

37 Constraint Solving A key component of symbolic execution is a constraint solver. Two problems: Invoking an SMT solver is expensive. Symbolic execution maintains a mapping from formulas to satisfying assignments: e.g., x + y < 10 x > 5 {x = 6, y = 3} When we query a weaker formula, e.g., x + y < 10, we can reuse the previously computed solution, without invoking an SMT solver. When the formula is stronger, e.g., x + y < 10 x > 5 y 0, then we first try the solution in the cache. If it does not work, call the SMT solver. Constraints from real-world software are hard to solve. E.g., non-linear constraints

38 Tehnike smanjivanja opterećenja rešavača Reducing the demands on the solver On-the-fly expression simplification Incremental solving Solution caching Substituting concrete values for symbolic in complex path conditions

39 Literatura Literatura Tkest je zasnovan na radu A Survey of Symbolic Execution Techniques autori: Roberto Baldoni, Emilio Coppa, Daniele Cono D Elia, Camil Demetrescu, and Irene Finocchi