Hrbtenično MPLS-IP omrežje Elektro Maribor Boštjan LENARČIČ Elektro Maribor d.d. bostjan.lenarcic@elektro-maribor.si Povzetek Služba za telekomunikacije Elektra Maribor je v letih 2011-2013 zgradila 10Gb/s hrbtenično MPLS-IP omrežje s katerim bo v prihodnje lahko sledila komunikacijskim zahtevam podjetja. Z izgradnjo je bila pridobljena poenotena komunikacijska platforma, ki omogoča virtualizacijo poslovnih, tehničnih, tržnih storitev in storitev zunanjih partnerjev na fleksibilen, zanesljiv in varen način. Referat obravnava fizično (L1) in logično (L2, L3) topologijo hrbteničnega MPLS-IP omrežja, podaja kratek opis in razloge za izbiro posameznih MPLS metod (L2-VPLS in L3-BGP/MPLS VPN) ki so bile uporabljene za virtualizacijo storitev, predstavitev nove IP naslovne sheme podjetja ter umestitev požarne pregrade v komunikacijsko omrežje Elektro Maribor. MPLS-IP Backbone Network Elektro Maribor Boštjan LENARČIČ Elektro Maribor d.d. bostjan.lenarcic@elektro-maribor.si Abstract The Telecommunication Department of Elektro Maribor has built a 10Gb/s MPLS-IP backbone network during 2011 and 2013 to meet the evolving communication requirements of the company. The company acquired a unified communication platform that allows virtualization of business, technical, market and external partner services in a flexible, reliable and secure manner. The paper deals with physical (L1) and logical (L2, L3) topology of an MPLS-IP backbone network, provides a short description of the reasons for selecting specific MPLS methods (L2-VPLS and L3-BGP/MPLS VPN) that have been used for service virtualization, and presents the company s new IP address scheme and the firewall placement within the Elektro Maribor communication network.
I. UVOD Elektro Maribor se je leta 2010 na podlagi analize obstoječega stanja komunikacijskega omrežja odločil za izgradnjo hrbteničnega MPLS-IP omrežja (MultiProtocol Label Switching - Internet Protocol), ki bo sledilo poslovno energetsko komunikacijskim zahtevam podjetja. Zahteve po komunikacijskih povezavah znotraj podjetja, med poslovnimi objekti podjetja, s hčerinskimi podjetji in zunanjimi partnerji (računalniško omrežje, govorna in video komunikacija, pametni telefoni/tablice, brezžično omrežje, podatkovni center, ), Zahteve po komunikacijskih povezavah med energetskimi objekti (RTP-Razdelilna Transformatorska Postaja, TP- Transformatorska Postaja, ), napravami (števci, videokamere, sončne elektrarne, polnilne postaje, ) oz. sistemi (SCADA- Supervisory Control And Data Acquisition, Smartgrids, ), Ponujanje komunikacijskih storitev (L2/L3 ethernet MPLS IP storitve, ) na trgu telekomunikacijskih storitev. MPLS-IP tehnologija je visoko zmogljiva tehnika posredovanja paketov, ki združuje prednosti L2 (Layer 2 ISO OSI modela) preklapljanja (zmogljivost, upravljanje prometa) s prednostmi L3 (Layer 3 ISO OSI modela) usmerjanja (skalabilnost, fleksibilnost), lastnikom IP omrežij pa omogoča možnost enostavnega uvajanja raznovrstnih storitev prihodnosti. V MPLS-IP usmerjevalniku se pregled vsebine IP glave izvede samo enkrat, nato pa se pred IP paket vstavi labela oz. oznaka fiksne dolžine. MPLS-IP usmerjevalniki se na podlagi MPLS label, ki je lahko ista za različne IP glave, odločajo o posredovanju IP paketov. II. L1 TOPOLOGIJA Hrbtenično MPLS-IP omrežje sestavlja sedem vozlišč, ki so geografsko porazdeljena na območju severovzhodne Slovenije in medsebojno povezana s parom enorodovnih optičnih vlaken (ITU-T G.652), tako da tvorijo topologijo dveh obročev (Slika 1). 10Gb/s obroč sestavljajo vozlišča Maribor-Uprava, Gornja Radgona, Murska Sobota, Ptuj in Slovenska Bistrica (Tabela 1). 2Gb/s obroč sestavljajo vozlišča Maribor-Uprava, Maribor-Mesto in Maribor-Radvanje (Tabela 2). Slika 1: Hrbtenično MPLS-IP omrežje OE-UP : OE-GR OE-GR : OE-MS OE-MS : RTP-PT RTP-PT : RTP-SB RTP-SB : OE-UP 52 km 21 km 66 km 53 km 36 km Tabela 1: Razdalje med 10Gb/s vozlišči OE-UP : OE-MO OE-MO : RTP-RD RTP-RD : OE-UP 3 km 3 km 5 km Tabela 2: Razdalje med 2Gb/s vozlišči MPLS-IP oprema vozlišč omogoča enostavno povezljivost, ne glede na proizvajalca opreme, s podobnimi omrežji na nivoju optičnih vlaken, valovnih dolžin, ethernet, MPLS, IP nivoju v mešani, obročni, zvezdasti ali verižni topologiji. MPLS-IP oprema posameznega vozlišča vsebuje tri napajalne module in dva management/switch/routing modula, ki delujejo redundančno (hot swappable). III. L2 TOPOLOGIJA MPLS-IP oprema 10Gb/s obroča je medsebojno povezana z 10Gb/s ethernet povezavami, oprema 2Gb/s obroča pa z 2Gb/s ethernet LAG povezavami (2 x 1Gb/s Link Aggregation Group). Z lokalnim hrbteničnim/agregacijskim ethernet stikalom je povezana z 2Gb/s ethernet LAG povezavo, ki deluje v trunk načinu za N x VLAN (Slika 2). N je število IP storitev v komunikacijskem omrežju Elektro Maribor. Objekti, kjer MPLS-IP opreme ni, so s hrbteničnim MPLS-IP omrežjem povezani z optičnimi vlakni oz. QinQ tehnologijo preko NGS (New Generation SDH) omrežja.
skupni komunikacijski infrastrukturi. Uporabljeni sta sledeči trusted-vpn tehnologiji: VPLS (Virtual Private LAN Services), BGP/MPLS VPN (Border Gateway Protocol). Slika 2: Hrbtenično/agregacijsko ethernet stikalo IV. MPLS/L3 TOPOLOGIJA Sosednja MPLS-IP oprema je medsebojno povezana s point-to-point povezovalnim /30 IP-segmentom in deluje kot LER usmerjevalnik (Label Edge Router). Za potrebe L3 povezljivosti LER usmerjevalnikov je uporabljen OSPF usmerjevalni protokol (Open Shortest Path First). Za izmenjavo MPLS label je uporabljen LDP protokol (Label Distribution Protocol), s pomočjo katerega so v hrbteničnem MPLS-IP omrežju vzpostavljene full-mesh LDPsignalled LSP poti (Label Switched Path) med LER usmerjevalniki. LDP protokol je sinhroniziran z OSPF protokolom. V primeru uporabe MPLS-TE (Traffic Engineering) bo za polnjenje TED podatkovne baze (Traffic Engineering Database), na podlagi katere se izračunavajo RSVP-signalled (Resource Reservation Protocol) LSP poti, uporabljen OSPF-TE. MPLS-TE se za enkrat v hrbteničnem MPLS-IP omrežju ne uporablja. LER usmerjevalnik je povezan z lokalnim hrbteničnim/agregacijskim ethernet stikalom z N x point-to-point povezovalnimi /30 IP-segmenti. Za potrebe L3 povezljivost med LER usmerjevalnikom in lokalnim hrbteničnim/agregacijskim ethernet stikalom je uporabljen OSPF protokol ali statično usmerjanje. Opisana L1, L2 in MPLS/L3 topologija omogoča implementacijo VPN omrežij (Virtual Private Networks, Slika 3), ki omogočajo: Varen prenos informacij, Nadzor dostopa do informacij, Logično ločevanje informacijskih tokov, Zasebnost. V hrbteničnem MPLS-IP omrežju Elektro Maribor so implementirana t.i. trusted-vpn omrežja, ki zagotavljajo integriteto in zasebnost podatkovnih prenosov brez enkripcije in avtentikacije informacij, saj se podatkovni prenosi izvajajo v komunikacijskem omrežju katerega lastnik je izključno Elektro Maribor. Trusted-VPN omrežja nam omogočajo gradnjo navideznih omrežij na V. VPLS Slika 3: VPN omrežja VPLS je tehnologija, ki omogoča point-to-multipoint povezljivost med geografsko porazdeljenimi lokacijami MPLS omrežja, tako da promet med njimi poteka, kot da bi bile povezane z L2 stikalom (L2-VPN omrežja, Slika 4). V hrbteničnem MPLS- IP omrežju Elektro Maribor uporabljamo VPLS tehnologijo opisano v IETF RFC 4762. Uporabljamo jo za storitve, ki zahtevajo L2 povezljivost: Prenos NGS ethernet prometa, Prenos DMR (Digital Mobile Radio) ethernet prometa, Zagotavljanje tržnih L2 komunikacijskih storitev. V okviru posamezne VPLS instance (npr. VPLS- DMR) so med vsemi LER usmerjevalniki, kjer so konfigurirani VPLS primerki te VPLS instance, vzpostavljene full-mesh VC (Virtual Circuit) LSP poti. Posamezen LER usmerjevalniki deluje kot L2 stikalo, ki se na podlagi vsebine VPLS-MAC tabele (povezave med MAC naslovi in VC LSP potmi) odloča kaj narediti z L2 okvirjem (learning, flooding, forwarding, split horizon). L2 okvir se v primeru posredovanja do oddaljenega LER usmerjevalnika enkapsulira v MPLS paket z dvema MPLS labelama: Zunanja tunnel-labela se uporablja za posredovanje MPLS paketa čez MPLS omrežje do oddaljenega LER usmerjevalnika, Notranja VC-labela (pregledajo jo samo VPLS primerki) določa kaj se zgodi z MPLS paketom, ko prispe do VPLS primerka
konfiguriranega na oddaljenem LER usmerjevalniku. Na LER usmerjevalniku je lahko konfiguriranih ~4.000 VPLS instanc. Slika 4: VPLS V okviru posamezne VRF instance (Virtual Routing and Forwarding) oz. VPN omrežja (npr. VRF-Števčne Meritve) so med vsemi LER usmerjevalniki, kjer so konfigurirani VRF primerki te VRF instance, vzpostavljene LSP poti. Posamezen LER usmerjevalnik se na podlagi vsebine VRF tabele (povezave med usmerjevalnimi potmi in LSP potmi) odloča kaj narediti z L3 paketom. L3 paket se v primeru posredovanja do oddaljenega LER usmerjevalnika enkapsulira v MPLS paket z dvema MPLS labelama (Slika 5): Zgornja top-labela se uporablja za posredovanje MPLS paketa čez MPLS omrežje do oddaljenega LER usmerjevalnika, Spodnja bottom-labela (pregledajo jo samo VRF primerki) določa kaj se zgodi z MPLS paketom, ko prispe do VRF primerka konfiguriranega na oddaljenem LER usmerjevalniku. VI. BGP/MPLS VPN BGP/MPLS VPN je tehnologija, ki omogoča nepovezavne storitve (L3-VPN omrežja) med geografsko porazdeljenimi lokacijami MPLS omrežja. Za prenos podatkovnega prometa uporablja MPLS omrežje, za distribucijo informacij o usmerjanju pa IBGP (Internal BGP). Tehnologija omogoča uporabo enakih IP naslovov v različnih VPN omrežjih implementiranih na skupni komunikacijski infrastrukturi. V hrbteničnem MPLS-IP omrežju Elektro Maribor uporabljamo BGP/MPLS VPN tehnologijo opisano v RFC 4364, RFC 4577, RFC 4576, RFC 1771, RFC 1997, RFC 2283, RFC 2842, RFC 2858, RFC 3107, RFC 4382, draft-ietf-idr-route-filter-11 in draft-ietf-idr-bgp-extcommunities-07. Uporabljamo jo za storitve, ki zahtevajo L3 povezljivost: Poslovne storitve (Strežniki, PC, PD, Telefonija, Tiskalniki), Guest omrežje, Števčne Meritve, Meritev Kakovosti Električne energije, Procesno Vodenje, Varnost (Videonadzor, Alarmi), Sončne Elektrarne, Polnilne postaje, Zagotavljanje tržnih L3 komunikacijskih storitev. Slika 5: Usmerjanje paketa v BGP/MPLS VPN LER usmerjevalnik si s CE opremo (Customer Edge) v okviru posamezne VRF instance izmenjuje usmerjevalne informacije s protokolom OSPF ali statičnim usmerjanjem, z ostalimi LER usmerjevalniki MPLS omrežja pa s protokolom IBGP (z BGP multiprotokol razširitvijo) (Slika 6). Izmenjava usmerjevalnih informacij med protokoli OSPF, statičnim usmerjanjem in IBGP poteka s pomočjo redistribucije usmerjevalnih informacij. Usmerjevalnim informacijam je pred oglasitvijo v MPLS omrežje dodana informacija o RD in RT: RD (Route Distinguisher) omogoča uporabo enakih IP naslovov v različnih VPN omrežjih implementiranih na skupni komunikacijski infrastrukturi, RT (Route Target, import/export) omogoča filtriranje usmerjevalnih poti.
Na LER usmerjevalniku je lahko konfiguriranih ~300 VRF instanc. 1Gb/s ethernet povezava za potrebe prometa med komunikacijskim omrežjem Elektro Maribor in komunikacijskim omrežjem Informatika d.d. oz. Internet-om. Slika 6: Izmenjava usmerjevalnih informacij v BGP/MPLS VPN VII. IP NASLOVNA SHEMA IN POŽARNA PREGRADA Vzporedno z izgradnjo hrbteničnega MPLS-IP omrežja smo v Elektro Maribor spremenili tudi IP naslovno shemo s katero je v komunikacijskem omrežju povečana: Varnost (logično ločevanje IP storitev in uporaba požarne pregrade), Fleksibilnost (vključevanje omrežne opreme in spreminjanje IP storitev), Zanesljivost (uporaba naprednih funkcionalnosti omrežne opreme za zagotavljanje visoko zanesljivega delovanja omrežja), Preglednost (geografsko definirana IP omrežja oz. storitve). Skrbno pripravljena nova IP naslovna shema omogoča uporabo vseh prednosti MPLS-IP tehnologije. Definiranih je sedem IP omrežij, kar sovpada s sedmimi vozlišči hrbteničnega MPLS-IP omrežja. Posamezno IP omrežje je razdeljeno na IP podomrežja oz. IP storitve, ki se uporabljajo na geografskem področju, ki ga pokriva posamezni LER usmerjevalnik (Poslovne storitve, Guest omrežje, Števčne Meritve, ). Ključno vlogo pri zagotavljanju varnosti v komunikacijskem omrežju Elektro Maribor ima požarna pregrada. Požarna pregrada je na lokaciji Maribor-Uprava povezana z MPLS-IP opremo (Slika 7): 10Gb/s ethernet povezava za potrebe prometa znotraj komunikacijskega omrežja Elektro Maribor, VIII. Slika 7: Požarna pregrada ZAKLJUČKI Elektro Maribor je z izgradnjo hrbteničnega MPLS- IP omrežja pridobil poenoteno komunikacijsko platformo, ki bo postopoma nadomestila TDM oz. PDH in SDH komunikacijsko platformo (Time Division Multiplexing, Plesiochronous Digital Hierarchy in Synchronous Digital Hierarchy). Hrbtenično MPLS-IP omrežje bo v prihodnje sobivalo s tehnologijami PDH, SDH, NGS, ethernet, FC (Fibre Channel), xwdm (x Wavelength Division Multiplexing), in tako sledilo poslovno energetsko komunikacijskim zahtevam podjetja. REFERENCE [1] Brocade MLX Series and NetIron Family Configuration Guide Release 05.4.00a. Brocade Communications Systems (2012).