Klasikinių Web servisų našumas. Galimi sprendimai. Protocol Buffers. Bendros charakteristikos. XML paremtų Web servisų našumo problemos

Size: px

Start display at page:

Download "Klasikinių Web servisų našumas. Galimi sprendimai. Protocol Buffers. Bendros charakteristikos. XML paremtų Web servisų našumo problemos"

Christopher McKinney
6 years ago
Views:

1 Klasikinių Web servisų našumas XML paremtų Web servisų našumo problemos Greiti Web servisai Papildomi resursai reikalingi XML dokumentų apdorojimui (parse, serialize) Papildoma atmintis XML dokumento tekstinei reprezentacijai Efektyvumas apdorojant didelių apimčių XML dokumentus Vienas iš sprendimų: binarinė duomenų reprezentacija Binarinė serializacija Galimi sprendimai Fast Infoset (ITU/ISO standartai) EXI: Efficient XML Interchange (W3C) BiM: Binary MPEG format for XML (ISO)... Kiti sprendimai Binariniai servisai ir sprendimai Kompresija (GZIP) Binariniai servisai: Protocol Buffers, Thrift,... Standartas de facto neegzistuoja (?) Bendros charakteristikos IDL kalba pranešimų sintaksės aprašui Efektyvumas Pranešimų versijų palaikymas Binarinis serializavimas Karkasai/bibliotekos įvairioms kalboms ir platformoms Protocol Buffers...a language-neutral, platform-neutral, extensible way of serializing structured data for use in communications protocols, data storage, and more......think XML, but smaller, faster, and simpler......protocol buffers were initially developed at Google to deal with an index server request/response protocol... Google

2 Kas tai? Kalba aprašyti duomenų struktūrai Priemonės, generuoti kodui pasirinktoje programavimo kalboje Klasės, metodai (get/set), serializavimas,... Java, C++, Python (+plugins) Duomenų (kalbos objektų) serializavimo/deserializavimo priemonės Serializacija į binarinį formatą Protokolo versijų palaikymas Istorija Sukurta ir naudojama Google servisams nuo 2001 Atviro kodo nuo 2008 Intensyviai naudojama visuose Google servisuose BSD licenzija Principas Pranešimų struktūros aprašas MyMessage.proto message Person { required string name = 1; required int32 id = 2; optional string = 3;... protoc (compile) Java classes Person.java Person p = new Person(); p.setname("john Doe");... p.john.writeto(serverout); e package tutorial; option java_package = "com.example.tutorial"; option java_outer_classname = "AddressBookProtos"; message Person { required string name = 1; required int32 id = 2; optional string = 3; enum PhoneType { MOBILE = 0; HOME = 1; WORK = 2; AddressBook.proto Pranešimo laukai: pasikartojamumas/būtinumas, tipas, vardas, žymė (binarinis ID) Galimų reikšmių nurodymas...? C++ classes Person.cpp Network e DB message PhoneNumber { required string number = 1; optional PhoneType type = 2 [default = HOME]; repeated PhoneNumber phone = 4; message AddressBook { repeated Person person = 1; Apibrėžtų struktūrų naudojimas kaip duomenų tipai Kompiliatorius Pvz.: Naudojimas (Java) Konkretūs pranešimai kuriami atitinkamų Java/C++/Python klasių pagalba Generuojama protoc kompiliatoriumi protoc --java_out=gen/java \ --cpp_out=gen/cpp \ --python_out=gen/python AddressBook.proto package com.example.tutorial; public final class AddressBookProtos { private AddressBookProtos() { { public static void registerallextensions( com.google.protobuf.extensionregistry registry) { public static final class Person extends... OutputStream serveroutputstream =... Person john = Person.newBuilder().setId(1234).setName("John Doe").set ("jdoe@example.com").addPhone( Person.PhoneNumber.newBuilder().setNumber(" ").setType(Person.PhoneType.HOME)).build(); System.out.println(john.toString()); john.writeto(serveroutputstream);... InputStream inputstream =...; Person p = Person.parseFrom(inputStream); Tekstinis formatas name: "John Doe" id: "jdoe@example.com" phone { number: " " type: HOME Binarinis formatas a84a6f686e20446f6510ffffffd291 a106a646f d706c652e6 36f6d22ca d

3 Protocol Buffers vs. XML Paprastumas Kompaktiškumas (nuo 3 iki 10 kartų) Greitumas (nuo 20 iki 100 kartų) Tiesiogiai generuojamos lengvai naudojamos klasės Mime Types application/x-protobuf application/octet-stream Apache Thrift Kiti sprendimai: Thrift IDL (struktūros, servisai), protokolai, transportas, versijavimas Duomenų tipai (baziniai, Map, Set, konstantos) Java, C++, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk, OCaml RPC infrastruktūra Next generation PB Plačiai naudojama Facebook servisuose (nuo 2007) Apache licenzija include "shared.thrift" namespace cpp addrbook namespace java addrbook enum PhoneType { MOBILE = 0, HOME = 1, WORK = 2 struct PhoneNumber { 1: string number, 2: optional PhoneType type struct Person { 11: string name, 12: i32 id, 12: string , 13: PhoneNumber phone exception InvalidOperation { 1: i32 what, 2: string why Thrift pvz Apache Avro O taip pat... Avro Duomenų serializavimo sistema Duomenų schemos aprašomos JSON formatu Serializuojama kartu su duomenimis Panašu į Thrift/ProtoBuff, bet... Nenaudojami elementų ID Nenaudojamos elementų žymės (tag) Dinamiški pranešimų tipai - : sistemos stabilumas ir palaikymas (dok.?) service AddressBook extends shared.sharedservice { void ping(), i32 add(1:string name, 2:string , 3:string number, 4:PhoneType type ) Abstract Syntax Notation One ASN.1...Abstract Syntax Notation number One is a standard that defines a formalism for the specification of abstract data types... ITU-T ISO/IEC Abstrakti sintaksė hierarchinių duomenų tipų apibrėžimui Nepriklausoma nuo programavimo kalbų ir apdorojimo priemonių Duomenų kodavimo/dekodavimo taisyklės Kodavimas/dekodavimas atitinkantis aprašytą struktūrą skirtas siuntimui komunikacijos kanalu

4 Naudojimas ir veikimas ASN.1 duomenų tipai Gen. X C++ MyMessage.asn AsnAddressBook DEFINITIONS ::= BEGIN Person ::= SEQUENCE { name UniversalString, id INTEGER, Abstrakti sintaksė Gen. Y Java Baziniai BOOLEAN, INTEGER, REAL, BIT STRING, OCTET STRING, ENUMERATED Simbolių eilutės (ISO poaibiai) NumericString, VisibleString, UTF8String, ASCIIString,... C++ classes Sintimo sintaksė Java classes Objektai Struktūros Person.cpp Encoder (lib, dll,...) c 84a 6f 68 6e.. Network DB Encoder (jar) Person.java Kiti SEQUENCE/SEQUENCE OF, SET/SET OF ANY, NULL, UTCTime,... BER, PER, XER,... BER, PER, XER,... Pvz.: abstrakti sintaksė Pvz: abstrakti sintaksė su žymėmis AddressBook.asn AsnAddressBook DEFINITIONS AUTOMATIC TAGS ::= BEGIN END Person ::= SEQUENCE { name UniversalString, id INTEGER, UniversalString OPTIONAL, phone SEQUENCE OF PhoneNumber PhoneType ::= ENUMERATED{ mobile(0), home(1), work(2) PhoneNumber ::= SEQUENCE { number VisibleString, type PhoneType DEFAULT home AddressBook ::= SEQUENCE { person SET OF Person DEFAULT { Modulis: tipų apibrėžimų aibė (automatinis žymių generavimas) Pranešimo tipas ir laukai: pasikartojamumas/būtinumas, vardas,... Galimų reikšmių išvardijimas (reikšmes atitinkantys kodai) Apibrėžtų struktūrų naudojimas kaip duomenų tipai tag - gali būti automatiniai arba apibrėžti išreikštiniu būdu Naudojami koduojant/dekoduojant siunčiamų tipų reikšmes Lokalūs tag AsnAddressBook DEFINITIONS ::= BEGIN Person ::= [APPLICATION 1] SEQUENCE { name [1] UniversalString, id [2] INTEGER, [3] UniversalString OPTIONAL, phone [4] SEQUENCE OF PhoneNumber PhoneType ::= [APPLICATION 2] ENUMERATED{ mobile(0), home(1), work(2) PhoneNumber ::= [APPLICATION 3] SEQUENCE { number [1] INTEGER, type [2] PhoneType DEFAULT home AddressBook ::= [APPLICATION 4] SEQUENCE { person [1] SET OF Person DEFAULT { END Programos lygmens tag ASN.1 žymių tipai ( tags ) ASN.1 reikšmės UNIVERSAL ASN1 standartiniai tipai (UNIVERSAL 1 : boolean, UNIVERSAL 9 : real, ) APPLICATION Apibrėžti taikomojoje programoje PRIVATE Apibrėžti organizacijoje CONTEXT-SPECIFIC Apibrėžti lokaliai Basic ASN.1 Value Notation Reikšmės vardas myaddressbook AddressBook ::= { person { name "John Doe", id 2338, "john.doe@mail.server", phone { number " ", type work, person { name "Tadas Blinda", id 2300, phone { number " ", type mobile,... Reikšmės tipas Reikšmės turinys

5 Tipai ir reikšmės Kodavimo taisyklės Person ::= SEQUENCE { name UniversalString, id INTEGER, UniversalString Keywords ::= SET OF VisibleString Cities ::= SEQUENCE OF OF VisibleString addrpreson Person ::= { name "John Doe", id 54, "john.doe@example.com" someasn1keywords Keywords ::= {"INTEGER", "BOOLEAN", "REAL" ltcities Cities ::= {"Vilnius", "Kaunas", "Klaipeda", "Siauliai" Taisyklės koduoti duomenims į formatą, atitinkantį abstrakčią struktūrą Basic Encoding Rules (BER) Distinguished Encoding Rules (DER) XML Encoding Rules (XER) Packed Encoding Rules (PER) Generic String Encoding Rules (GSER)... Standartizuota atitinkamomis specifikacijomis BER kodavimas Reikšmė susideda iš keturių dalių (baitų): Typo kodas, reikšmės ilgis (baitais), reikšmė, reikšmės pabaigos kodas Reikšmė gali savo ruožtu būti sub-tipas,... Numatyti ilgų tipų kodų ir reikšmių atvejai Age ::= INTEGER(0..100) personage Age ::= 15 BER: Pvz.: kodavimo taisyklės App F App 2 Tag Ilgis Reikšmė PER: App App 2 Žymės tipas: 00 Universal 01 Application 10 Context 11 Private Struktūra: 0 Primityvus 1 Sudėtinis Tipo kodas Reikšmės ilgis Reikšmė XER: App 1 <Age>15</Age> App Panaudojimas LDAP žinynai Apsauga, autentifikaviams, kriptografija Bankų sistemos Mobili/bevielė komunikacija Tele/video-konferencijos, multimedia Transporto/mobiliosios sistemos... Organizacijos Specifikacijos ISO: International Organization for Standardization IEC: International Electrotechnical Commission ITU-T: International Telecommunication Union - Telecommunication Standardization Sector ASN.1 : 2002: ITU-T Rec. X.68x ISO/IEC 8824-x BER, CER, DER : ITU-T Rec. X.690 ISO/IEC

6 XML Infoset Visi elementai sudarantys XML dokumentą Fast Infoset Elementai, atributai, reikšmės, tarpusavio priklausomybė, komentarai... Visa informaciją, kurią apdorojanti programa gali pasiekti iš konkretaus XML dokumento XML Fast Infoset Kodavimas, leidžiantis efektyviau pateikti tą pačią informaciją, kaip ir klasikiniame XML Fast Infoset kodavimas Atitinka XML reikalavimus XML infoset (elementų) palaikymas (Seft-describing) Binarinis kodavimas Fast Infoset standartas ITU-T / ISO standartas 2005: ITU-T X.891 ISO/IEC Remiasi elementas-ilgis-reikšmė kodavimu Remiasi XML elementų žodynu (elementų vardai nekartojami) Tiesiogiai palaikomas binarinis turinys Žodynas Dico (XML tags/ids) Elem.ID1 Len Data (30311c...) ID2 Len2... Infoset Fast Infoset programinis palaikymas programa... Taikomoji programa Programos kodas XML Infoset SAX/StTA/DOM Infoset serializuoti analizuoti (parse) serializuoti parse XML Fast Infoset Kodavimas XML Fast Infoset Pvz (Java realizacija): SAX, StAX, DOM API su Fast Infoset serializacija

7 Optimizavimas Serializacija: ~ klasikiniai XML Parse : 3x - 5x greičiau Dydis: 30% - 70% mažiau Fast Web services ASN.1 ir XML? ASN.1 gali būti naudojamas XML dokumento struktūros aprašui <schema...> ASN.1 aprašas XML Schema XML Schema <complextype name="person"> <sequence> <element name="name" type="string"/> <element name="id" type="integer"/> <element name="phone" type="tns:phonenumber"/> </sequence> </complextype> <complextype name="phonenumber"> <sequence> <element name="number" type="string"/> </sequence> </complextype> </schema> AddressBook DEFINITIONS ::= BEGIN END ASN.1 Schema Person ::= SEQUENCE { name UniversalString, id INTEGER, phone SEQUENCE OF PhoneNumber PhoneNumber ::= SEQUENCE { number VisibleString ITU-T Rec. X.694 standartas ASN.1 encoding rules: Mapping W3C XML schema definitions into ASN.1 Standartizuotas XML Schema vaizdavimas į ASN.1 Vaizdavimas XML Schema Atitinka XML Projektuoja ASN.1 Schema Koduoja ASN.1 koduotė (pvz. PER) Fast Web Services ITU-T X ITU-T X.892: Fast Web Services (2006) ASN.1 Schema SOAP 1.2 pranešimams WSDL anotacijos SOAP elementų kodavimo taisyklės <env:envelope xmlns:env=" <env:body> </env:body> </env:envelope> envelope Envelope ::= { header { body-or-fault : body { Fast Web servisai: WSDL <wsdl:definitions... xmlns:fasts="urn:ohn:joint-iso-itu-t:asn1:generic-applications:fast-web-services:description"...> <wsdl:binding name="addrbookssoap" type="tns:addrbook"> <soap:binding style="document" transport=" <wsdl:operation name="getperson">... </wsdl:binding> <wsdl:binding name="addrbookfastwssoap" type="tns:addrbook"> <soap:binding style="document" transport=" <fasts:binding/> <wsdl:operation name="getperson">... </wsdl:binding> <wsdl:service name="addrbookfastws"> <wsdl:port binding="tns:addrbookfastwssoap" name="addrbookfastwssoap"> <soap:address location=" </wsdl:port> <wsdl:port binding="tns:addrbookssoap" name="addrbooksoap"> <soap:address location=" </wsdl:port> </wsdl:service> PER </wsdl:definitions>

8 Fast Web servisai: principai Realizacijos / Java Klasikinis SOAP binding <env:envelope...> <env:body> <u:person> <u:name>john Doe</u:name> <u: >john.doe@ .server</u: > </u:person> </env:body> </env:envelope> Palaiko visi pagrindiniai Java karkasai JAX-WS -Dcom.sun.xml.ws.client.ContentNegotiation=pessimistic Service (Application) getperson SOAP ((BindingProvider) port).getrequestcontext().put("com.sun.xml.ws.client.contentnegotiation", "pessimistic"); Axis2 ASN.1 SOAP (PER) Fase Web Services SOAP binding Axis2 Fast Infoset module Axis2 web app konfigūravimas (axis2.xml) Client.getOptions().setProperty( Constants.Configuration.MESSAGE_TYPE,"application/soap+fastinfoset"); Optimizavimas X.694 įgalina optimalų standartinį ASN.1 kodavimą Nebūtina self-describing savybė Kompaktiškas / binarinis SOAP 1.2 pranešimų kodavimas (PER) Rezultatai Efficient XML Interchange (EXI) Kodavimas: -4x Dekodavimas: -10x Dydis: -80% EXI Efficient XML Interchange (EXI) Format 1.0 W3C Recommendation, 2011 Efficient XML, Efficient Web Services (AgileDelta) Principai ir tikslai Universalumas platesnis ratas XML naudojančių programų ir sistemų Minimalus taikomas mobilioms ir pan. platformoms Efektyvus tinkamas efektyviam duomenų apdorojimui Lankstus taikomas ir su netiksliomis schemomis Interoperabilus integruojamas su turimomis technologijomis ir sprendimais

9 EXI Stream EXI Header Konceptai ir struktūra Dokumento antraštė, turinio kodavimo nustatymai EXI Body Turinys, susidedantis iš įvykių EXI Event : elementus atitinkantys įvykiai (~SAX, StAX) Start Document, Start Element, Attribute, End Element,... EXI Grammar Elementų kodai kodavimo efektyvumui XML ir EXI <?xml version="1.0" encoding="utf-8"?> <notebook date=" "> <note category="exi" date=" "> <subject>exi</subject> <body>do not forget it!</body> </note> <note date=" "> <subject>shopping List</subject> <body>milk, honey</body> </note> </notebook> Šaltinis: Kompaktiškumas Realizacijos Iki -100x < XML, -14x < GZIP/XML Realizacijos EXIficient (@sourceforge), Java OpenEXI (@sourceforge), Java Efficient XML (AgileDelta), Java,.Net, C++ Efficient Web Services: praplėtimai WS karkasams (JAX-WS, Axis2, CXF,...)

Trumpai-ilga istorija

Įvadas į Web Services Kas yra Web Service? Kas ką žino??? 70-ieji: Mainframe Trumpai-ilga istorija 80-ieji: Client-Server Istorijos 90-ieji: Web 2000: SOA 2010: Cloud Computing Šaltinis: Sergejus Barinovas,