Od virtualizácie po cloud. Ondrej Vaško

Transcription

1 Od virtualizácie po cloud Ondrej Vaško

2 Obsah Virtualizácia Typy virtualizácie a hypervízor Kontajnery Docker kontajnery Unikernel Cloud Prehľad Typy cloudu Openstack Zero deployment

3

4 Virtualizácia: Motivácia Zdieľanie zdrojov OS podporujúci viac používateľov a multitasking Zdroje používateľov nie su dedikované delia sa (podľa hodnoty nice) Izolovanie prostredia Bezpečnosť, dedikácia zdrojov, možnosť spravovať celý OS, efektívnejšie využitie zdrojov Flexibilita Migrácie Automatizácia nasadzovania služieb Možnosť mať ľubovoľný OS nad ľubovoľným hardvérom (nie úplne)

5 Virtualizácia: Príklady použitia Vývojové prostredie Testovacie prostredie Produkčné systémy Virtuálne sieťové prvky NFV Emulácia rôznych OS Infraštruktúra pre platformu (PaaS)

6 Virtualizácia: Rozdelenie Emulácia Schopnosť imitovať iný typ softvéru alebo hardvéru Android emulátor, DOSBox Plná virtualizácia Nemodifikovaný operačný systém Kompletne simuluje všetok hardvér. Softvérová virtualizácia Ak sa niečo nedá - TRAP Hardvérová virtualizácia Technológie VT-x (Intel) a AMD-V (AMD) (2005, 2006) cat /proc/cpuinfo grep -i "vmx\ svm" Virtual Machine Extensions (VMX) Paravirtualizácia Špeciálne upravený kernel Lepšia komunikácia a kooperácia s hypervízorom

7 Virtualizácia: Hypervízor Hypervízor alebo Virtual Machine Monitor (VMM) Softvér, ktorý umožňuje vytváranie virtuálnych strojov Zároveň zaručuje ich beh Pomáha vykonávať citlivé inštrukcie (paravirtualizácia)

8 Virtualizácia: Klasifikácia hypervízorov Goldberg (1972) Typ 1 alebo Bare metal hypervízor Operačný systém, ktorý priamo vykonáva virtualizáciu Xen, ESXi, HyperV, KVM Typ 2 alebo Hosted hypervízor Softvér, ktorý sa pri virtualizovaní spolieha na služby už bežiaceho operačného systému VmWare Workstation, VirtualBox

9 Typ 1 hypervízor: Bare metal lsmod grep kvm Od Linuxového jadra je KVM zakomponovaný ako kernel modul

10 Typ 2 hypervízor: Hosted

11 Virtualizácia: Zdroje vcpu Maximálne IPS / CPU čas CPU pinning Vyhradenie špecifických procesorov pre VM Preferovanie podľa CPU topológie Výhodné pri NUMA architektúrach Pamäť Disky Pomalé a rýchle disky (HDD, SSD) IO obmedzené podľa QoS pravidiel Sieť IO obmedzené podľa QoS pravidiel

12 Kontajnery: Popis Virtualizácia na úrovni operačného systému Nevytvárajú pre beh vlastný kernel Programy sú vykonávané v kerneli hosta Nemôžu importovať kernel moduly Poskytujú Izoláciu (samostatný namespace) Obmedzenie zdrojov (cgroups) LXC, Docker,...

13 Kontajnery: Implementácia Control Groups (cgroups) Od kernelu (2008) cgcreate, cgexec Namespace unshare Chroot chroot <newroot> [command [arg]]

14 Kontajnery: Porovnanie s VM sudo docker pull nginx sudo docker ps ps aux grep nginx sudo docker run --name nginx -d -p 80:80 nginx sudo docker ps ps aux grep nginx sudo docker rm -f nginx ps aux grep nginx

15 Unikernel: Motivácia Klasické OS sú príliš komplexné Veľa vrstiev, ktoré pri mikroslužbách nie sú potrebné Znížený performance Pomalé bootovanie Zložitý kód

16 Unikernel: Popis Špeciálny operačný systém s malým jadrom (mikrokernel) Možné si ho vystavať podľa potrieb (Library OS) Výhody Nízka záťaž Ľahšie dosiahnúť bezpečnosť Malý manažovateľný kód (10k lines) Rýchle bootovanie Určený na jednu aplikáciu Jazyky Rust, Go, OCaml, Haskell, Erlang Príklad: Rump kernels Budúcnosť cloud virtualizácie?

17 Zhrnutie: Virtualizácia Softvérová / hardvérová virtualizácia Hypervízor typ 1 a 2 Kontajnery a porovnanie s VM Unikernely a cloud

18 Cloud: Motivácia Virtualizácia bez orchestrácie je nepoužiteľná Pets vs Cattle Snaha vidieť infraštruktúru a všetky jej zdroje ako jeden celok Ako jeden celok ju aj používať Zabezpečiť možnosť izolácie používateľov a ich zdrojov (tenants) Flexibilita a manažovateľnosť

19 Cloud: Čo to teda je? Jednotný manažovateľný pohľad na infraštruktúru Je možné v ňom vytvárať virtuálne stroje a iné virtuálne zariadenia Spravovateľný zákazníkom a izolovaný Umožňuje používať API na automatizáciu práce Škálovateľné riešenie Spoplatnené najčastejšie meraním využitia prostriedkov

20 Cloud: Typy podľa vlastníctva Privátny cloud Hardvér je vlastnený a spravovaný organizáciou, ktorá ho používa Najväčšia voľnosť Verejný cloud Hardvér nie je vlastnený ani spravovaný organizáciou, ktorá ho používa Viac nájomníkov využíva rovnaký hardvér Právne implikácie Bezpečnostné implikácie Hybridný cloud Kombinuje privátny a verejný cloud Kritické služby (vyžadujúce bezpečnosť) zostávajú v privátnom cloude Škálovateľné nekritické služby do verejného cloudu

21 Cloud: Typy podľa virtualizovanej vrstvy IaaS Virtualizácia hardvéru Ponuka využitia výpočtových zdrojov na virtuálne stroje Openstack / VmWare Vcenter Google Cloud Engine, Amazon EC2, Azure PaaS Ponuka priestoru, kde si zákazník môže nasadiť softvér Kubernetes, OpenShift Google App Engine, AWS, Tesora SaaS Ponuka konkrétnej softvérovej služby bez nutnosti vlastniť hardvér a bez nutnosti spravovania služby Office 365, SAP

22 Cloud: Openstack (1) Open-source softvér Distribuovaná architektúra Škálovateľné Založený na moduloch Rozšíriteľnosť Spravovateľnosť Každý modul môže byť nasadený v HA režime Moduly komunikujú prostredníctvom siete cez Message Queue (RabbitMQ) Databáza uchováva aktuálny stav cloudu

23 Cloud: Openstack (2)

24 Cloud: Openstack (3)

25 Cloud: Openstack moduly (4) Nova-compute Nasadený na compute uzloch Prekladá príkazy z API do hypervízora Nova services Nasadený na controller uzloch Kvôli API a plánovaniu Glance Nasadený na controller uzloch Správa obrazov operačných systémov Horizon Nasadené na controller uzloch Administračné web rozhranie

26 Cloud: Openstack (5)

27 Cloud: Openstack Neutron (6) Modul Neutron Nasadzovaný na Network node DHCP Virtuálne smerovače NAT LBaaS (Load Balancer as a Service) Prideľovanie plávajúcich IP adries (Floating IPs) Podporuje viaceré fyzické sieťové technológie pre provider siete VLAN VXLAN GRE

28 Cloud: Openstack (7)

29 Cloud: Openstack Keystone (8) Modul Keystone Nasadený na controller uzle Identity service Autentifikácia nájomníkov (tenants) Autorizácia a zabezpečené prístupy k API Service discovery

30 Cloud: Openstack storage (9) Disky virtuálnych strojov Nemali by byť lokálne na Compute nodoch HA infraštruktúra potrebuje zdieľaný súborový systém (Live migrácie) Modul Cinder Poskytuje vytváranie a pripájanie volume-ov NAS

31 Cloud: Openstack fyzický pohľad (10)

32 Openstack: Deployment (11) Automatizovaný deployment IaaC nástroje Ansible Salt Puppet Openstack-Ansible

33 Openstack: Zero deployment (12) Foreman Administračný nástroj pre manažment virtuálnych a bare metal serverov Pluginy pre Salt, Puppet, Chef, Ansible Workflow pre bare metal so SaltStack provisioningom Pridať uzol Nastaviť ilo/idrac IP a prihlasovacie údaje Nastaviť požadovaný OS Nastaviť šablónu pre partície Nastaviť špecifiká uzla (rola, salt-master, repozitár na SaltStack) Run: Automaticky reštartuje stroj Nastaví PXE Inštaluje OS Pripraví prostredie pre Salt Spojí sa so salt-mastrom a podľa nastavenej roly aplikuje jeho konfiguráciu

34 Openstack: Openstack-Ansible (13) Inštalácia modulov Openstacku Podľa konfigurácie

35 Openstack: PaaS (14) Docker Kubernetes Orchestrácia pre Docker Openstack + Kubernetes / Openstack + OpenShift Backend Infraštruktúra pre vybudovanie PaaS OpenShift Nástroj na vybudovanie PaaS Používa ako orchestrátor Kubernetes CI/CD Life Cycle management Multitenancy, izolácia, autentifikácia, API Konkurent Heroku / Google App Engine

36 Zhrnutie: Cloud Čo je cloud Rozdelenia Openstack v HA logický pohľad Openstack v HA fyzický pohľad Zero deployment Openstack + Openshift

37 Zdroje Ansible - Docker - Foreman - Openstack Docs - Rump Kernels - SaltStack Denton J.: Learning OpenStack Networking (Neutron): Packt Publishing, ISBN-13: Tanenbaum, Andrew S. and Bos, Herbert: Modern Operating Systems 4 th edition: Prentice Hall Press, Pavlicek R.: Unikernels, Beyond Containers to the Next Generation of Cloud: O Reilly Media, Obr. č.1 Obr. č.2