Judesių gamtoje ir dirbtinėse sistemose mokymasis

Transcription

1 Vytautas Valaitis MIF, informatikos katedros, informatikos (09 P) doktorantas ( metai) Judesių gamtoje ir dirbtinėse sistemose mokymasis Ataskaita Darbo vadovas: prof. Habil. dr. Šarūnas Raudys Doktorantas: Vytautas Valaitis Vilnius 2013

2 Turinys 1.Santrauka Įvadas Atlikti tyrimai Atgalinės kinematikos problema Judesių valdymas gamtoje Vienasluoksnis perceptronas ir jo senėjimo problema Galimybė rinktis greitį arba tikslumą Naujas būdas atgalinės kinematikos problemai spręsti Daugiaagentės sistemos modeliavimas paskirstytų skaičiavimų tinkle Per metus gauti moksliniai rezultatai Literatūra...10

3 1. Santrauka Per ataskaitinius metus atlikti įvairūs tyrimai sprendžiant roboto rankos atgalinės kinematikos problemą, naudojantis neuroniniais tinklais. Tirtos galimybės rinktis sprendimo greitį arba tikslumą, pasiūlytas naujas būdas, atgalinės kinematikos problemos sprendimui, leidžiantis imituoti skirtingų tipų judesius, esančius gamtoje. Tirtas perceptrono senėjimas ir prisitaikymas prie staigiai pasikeitusio uždavinio. Toliau kuriama bandymų, duomenų generavimo bei rezultatų vizualizavimo sistema. Sistema pritaikyta paskirstytų skaičiavimų tinklui. Rezultatai pristatyti tarptautinėse bei respublikinėse konferencijose. Dabo tikslai gamta paremtų, judesio tikslo prognozavimo ir judesio atlikimo, algoritmų pritaikymas dirbtinėse sistemose, robotinės sistemos ir judesio stiliaus parametrų išmokimas remiantis natūralios evoliucijos principais. 2. Įvadas Gamtoje egzistuojantys judesiai yra plastiški, atliekami taupant energiją, dažnai net instinktyviai. Pirmųjų robotų kūrėjai pasuko kitu keliu, kurdami robotines sistemas neatsižvelgdami į gamtą. Paskutiniu metu pasirodo vis daugiau bandymų dirbtinėse terpėse pritaikyti gamtoje egzistuojančius principus. Siekiant panaudoti gamtoje egzistuojančius judesius dirbtinėje terpėje, svarbu išmokti judesius atlikti plastiškai. Tam turi būti naudojamas algoritmai, gebantys ne tik pakankamai tiksliai prognozuoti judesio kryptį, tačiau tai darantys greitai, judesio metu įvertinant naudojamą energiją, sistemos dalių greitį ir pagreitį. Judesiai turi būti atliekami, labiausiai energiją taupančia forma. Remiamasi dar 19 amžiuje atrasta ir aprašyta judesio reguliavimo sistema, pagal kurią pirmasis loginis žingsnis judesio atlikime yra galutinio tikslo nustatymas, toliau seka tikslo lyginimas su esama padėtimi, motorinės programos formavimas, sklandus skirtumo tarp esamos padėties ir tikslo mažinimas. Roboto rankos sąnarių kampų apskaičiavimas pagal žinomą tikslo tašką atgalinės kinematikos (angl. inverse kinematic) problema. Ši problema nėra paprasta, nes dažniausiai neina vienareikšmiškai apskaičiuoti rankos parametrų, kartais sprendimo apskritai nėra (ranka tikslo pasiekti negali). Problema dar pasunkėja į sistemą įvedant jėgas ir pagreičius tai nagrinėja dinamikos mokslas. Siūloma roboto rankos kinematikos ir dinamikos problemas spręsti pasitelkiant gamtą imituojančius algoritmus. Bus siekiama kuo didesnio uždavinio sprendimo greičio, išlaikant patenkinamą tikslumą. Kuriamas daugiapakopis algoritmas, judesio tikslinimą atliekant jo eigoje. Evoliucija per natūralią atranką yra dviejų žingsnių procesas ir tik pirmasis žingsnis yra atsitiktinis: mutacijos yra atsitiktiniai įvykiai, bet jų išlikimas dažniausiai būna visiškai neatsitiktinis. Tokiu pat principu atliekami bandymai dirbtinėse daugiaagentėse sistemose. Imituojant natūraliąją atranką ieškoma geriausių roboto rankos parametrų, tam tikroms užduotims atlikti. Patikrinamos kai kurios gamtos mįslės, - pavyzdžiui, kodėl žmogaus alkūnkaulis ir žastikaulis yra beveik vienodo ilgio? Taip pat dirbtinės evoliucijos būdu išmokstami įvairūs sistemos, valdančios roboto ranką, parametrai. Galiausiai bus atsižvelgiama į judesio žmogiškumą, kurį mokslininkams jau pavyko aprašyti skaitiniais įverčiais. Manoma, kad žmogiški judesiai sutaps su tais judesiais, kurie yra atliekami su mažiausiomis energijos sąnaudomis.

4 3. Atlikti tyrimai 3.1. Atgalinės kinematikos problema Robotikoje egzistuoja tiesioginės ir atgalinės kinematikos problemos. Tiesioginės kinematikos problema - rasti sistemos padėtį, kai žinomi jos parametrai. 1 pav. tai būtų (x, y, z), kai žinoma (θ 1, θ 2, θ 3 ). Paprastai ši užduotis yra linijinė, vienareikšmiškai išskaičiuojama iš turimų duomenų. Atgalinės kinematikos problema - rasti sistemos parametrus, kai žinoma jos padėtis. 1 pav. tai būtų (θ 1, θ 2, θ 3 ), kai žinoma (x, y, z). Ši užduotis dažniausiai būna ne linijinė, neturinti vienintelio sprendinio, taip pat sunku vienareišmiškai nustatyti, kuris sprendinys, ar sprendinių aibė yra geriausia. Šiame darbe dėmesys skiriamas atgalinės kinematikos problemai. Nors ją galima spręsti skaitiniu ar geometriniu būdu, tačiau vienintelio teisingo atsakymo nėra. Geriausiu atveju, gaunama galimų sprendinių aibė iš kurių reikia pasirinkti geriausią sprendinį. Sprendžiant problemą neuroniniu tinklu, yra ieškoma ne visų galimų sprendinių, bet išmokstami panašūs sprendiniai. Šis būdas įgalina išmokti ne tik atgalinės kinematikos sprendinį, tačiau ir judesio atlikimo stilių. Egzistuoja dvi koordinačių sistemos. Matoma koordinačių sistema (x, y, z), pagal 1 pav. ir sąnarių kampų koordinačių sistema (θ 1, θ 2, θ 3 ), pagal 1 pav. Ir tiesioginės ir atgalinės kinematikos problemas galima spręsti 1 pav. Tiesioginė ir atgalinė kinematika betkurioje sistemoje, tačiau transformacija iš vienos sistemos į kitą yra būtina kuriame nors sprendimo etape. Problemą sprendžiant neuroniniu tinklu, transformacija yra išmokstama ir jos išskirtinai atlikti nereikia Judesių valdymas gamtoje Anglų neurologas J. H. Jackson ( ) motorinę sistemą aprašė kaip hierarchiškai susiformavusią sistemą. Automatiškesnius judesius kontroliuoja žemesnieji CNS centrai (nugaros smegenys ir smegenų kamienas), o sąmoningus ir tikslingus - aukštesnieji centrai (smegenų žievė). Jo nuomone, aukštesnieji centrai valdo žemesniuosius per slopinimą ar palengvinimą. Didėjanti aukštesniųjų CNC centrų įtaka, būdinga aukštesniesiems gyvūnams. 2 pav. Judesių valdymas gamtoje

5 Derinant kiekybinę judesių analizę ir neuropsichologijos bei kibernetikos mokslų žinias, rusų neuropsichologui N. Bernstein ( ) pavyko apibrėžti kelias logines smegenų operacijas, vykstančias judesio reguliavimo metu (žr. 2 pav.) [1] Vienasluoksnis perceptronas ir jo senėjimo problema Vienasluoksnis perceptronas (VSP) biologiškai pagrįstas, adaptyvus informacijos apdorojimo vienetas (žr. 3 pav.). VSP susideda iš įvesčių aibės (x 1, x 2,..., x n ), vienos išvesties y, išmokstamų svorių (w 0, w 1,, w n ) bei aktyvavimo funkcijos, kuri paprastai būna sigmoidė arba tam tikros rūšies eksponentė klasifikavimo uždaviniuose, dažniausiai linijinė prognozavimo. 3 pav. Vienasluoksnis perceptronas su aktyvavimo funkcija VSP yra apmokomas iteracijomis, naudojantis delta, ar kitokia mokymo taisykle. Delta taisyklė naudoja gradiantinį nusileidimą svoriams atnaujinti. w ji = α(t j y j )g'(h j )x i, kur α yra mokymo žingsnis, g(x) aktyvavimo funkcija, t j trokštamas išėjimas, h j neurono įvesčių suma, padauginta iš svorių, y j išėjimas, x i i-tasis įėjimas. Tyrimuose pastebėta [2, 3], kad per ilgai mokant perceptroną, jo svoriai išauga, aktyvavimo funkcija įsisotina. Staigiai pasikeitus uždaviniui, perceptronas (ar neuroninis tinklas sudarytas iš perceptronų) nesugeba greitai persimokyti ir kurį laiką uždavinį sprendžia žemesniu tikslumu, nei mažesniu iteracijų kiekiu mokytas perceptronas. Eksperimentas buvo atliktas sprendžiant dviejų laisvės laipsnių roboto rankos atgalinės kinematikos problemą su neuroniniu tinklu sudarytu iš dviejų perceptronų. 4 pav. matosi besikeičianti užduotis. Iš pradžių neuroninis tinklas buvo mokomas spręsti pirmąją užduotį, paskui permokomas antrąjai ir trečiąjai. Pirma ir antra užduotys yra panašios, trečia kitokia (sprendžiant pagal svorių skirtumą). 5 pav. matosi, kad neuroninis tinklas nespėjo išmokti nei pirmos nei antros užduočių, perėjimas prie kitos užduoties klaidos nedidina. 6 ir 7 pav. matosi, kad klaida neišauga pereinant nuo pirmos į antrą užduotį (nes jos panašios), tačiau kuo ilgiau buvo mokomasi antros užduoties, tuo daugiau laiko prireikė persimokyti trečiąjai. Eksperimento rezultatai priimti į SCAI2013 konferenciją Danijoje.

6 4 pav. Mokymo duomenys 5 pav. 50 iteracijų kiekvienai užduočiai 6 pav. 100 iteracijų kiekvienai užduočiai 7 pav iteracijų kiekvienai užduočiai 3.4. Galimybė rinktis greitį arba tikslumą Iš gamtos pasiskolinti, neuroniniais tinklais paremti algoritmai, suteikia galimybę atrasti kompromisą tarp mokymosi greičio ir tikslumo. 8 ir 10 pav. matosi dviejų laisvės laipsnių roboto rankos klaida, sąnarių kampų koordinačių erdvėje, išmokstant sąnarių kampus tiesiogiai. Tam pakanka 20 iteracijų, tačiau išmokimas nėra idealus. 9 ir 11 pav. panaudota polinominė interpoliacija vietoje rankos sąnarių kampų, skaičiuojami trečio laipsnio polinominės funkcijos koeficientai (funkcijos laipsnis pasirinktas eksperimentiniu būdu). Šiuo atveju klaida yra artima nuliui, tačiau jai pasiekti prireikia iteracijų. Reikia pažymėti, kad šiuo atveju užduotis sprendžiama gan didelėje erdvėje (rankų kampai apriboti iki 90 laipsnių).

7 8 pav. 2 VSP be polinominės interpoliacijos 9. pav. 2 VSP su polinomine interpoliacija 10 pav. klaidos kitimas be polinominės interpoliacija 11 pav. klaidos kitimas su polinomine interpoliacija 3.5. Naujas būdas atgalinės kinematikos problemai spręsti Buvo pasiūlytas ir pristatytas (konferencijose NUMTA2013 Italijoje bei KODI2013 Šiauliuose) naujas atgalinės kinematikos sprendimo būdas, neuroninių tinklų pagrindu. Vietoje to, kad būtų išmokstama pasiekti konkretų tašką. Ši sistema leidžia imituoti skirtingų tipų judesius, egzistuojančius gamtoje. Žemiausių judėjimo (motorinių) funkcijų valdymo pakopą atspindi nesudėtingi refleksai, kurie apibūdinami kaip paprasti, pasikartojantys, dirgiklio sukelti judesiai. Jų stiprumas priklauso nuo dirgiklio intensyvumo, pavyzdžiui mirksnio reflekso metu, žiedinio akies raumens susitraukimo jėga priklauso nuo ragenos dirginimo stiprumo. Šis refleksas apima tik keletą tarpinių neuronų, kurių pakanka, kad aukštesnieji CNS centrai galėtų reguliuoti refleksą, jaudindamii ar slopindami tarpinius neuronus. Stereotipinius judesius sukelia dirgiklis arba jie prasideda valingai, tačiau prasidėjus tokiam judesiui, toliau jis vyksta automatiškai. Pavyzdys - rijimo reflekasas yra sukeliamas liečiant užpakalinę

8 ryklės sieną arba valingai, o jam prasidėjus, ryklės ir stemplės raumenys susitraukia automatiškai ir nuosekliai. Paprastus refleksus ir stereotipinius judesius jungia bendra savybė - neuroininis jų pagrindas yra genetiškai užprogramuotas ir nenumatyta galimybė mokytis juos atlikti. Tuo šie refleksai ir stereotipiniai judesiai skiriasi nuo sudėtingų ir tikslingų judesių, kuriuos reguliuoja aukštesnieji CNS centrai ir jiems atlikti reikia sąmoningo noro ir treniruotės. Neuroninis šių judesių pagrindas taip pat yra genetiškai užprogramuotas, tačiau suteikta beveik neribota laisvė atlikti naujus judesius [1]. 12 pav. Išmokstama trajektorija, o ne taškas 13. pav. Trajektorijos simuliacija 12 pav. pavaizduotos kelios trajektorijos, kurios mokant neuroninį tinklą, priskiriamos tokiam pačiam išėjimui Kitaip sakant, išmokstama trajektorija, o ne konkretus taškas. 13 pav. pavaizduota interaktyvi sistema, nustatanti trajektoriją, pagal norimą pasiekti tašką Daugiaagentės sistemos modeliavimas paskirstytų skaičiavimų tinkle Išlieka tie, kurie sugeba prisitaikyti. 14 pav. matome skirtingų gyvūnų galūnes. Visi jie turi panašaus ilgio du pagrindinius rankos kaulus. Buvo atlikti bandymai su daugiaagente sistema. Dviejų laisvės laipsnių robotinė ranka siekė taškus erdvėje. Robotinės rankos dalių ilgiai buvo generuojami 14 pav. Rankų dalių ilgiai gamtoje 15 pav. Išmokti rankos dalių ilgiai atsitiktinai. Po kiekviernos epochos išlikdavo geriausi. Nauji agentai paveldėdavo geriausiųjų savybes (ilgiai kistavo 10% ribose). 15 pav. matosi, kad po 100 epochų geriausiai prisitaikė agentai, turėję vienodo ilgio rankos dalis bei trumpiausią ranką, reikalingą užduočiai atlikti.

9 Rankos dalių ilgio evoliucijai modeliuoti, sistema buvo pritaikyta Vilniaus Universiteto paskirstytų skaičiavimų tinklui. Atlikti bandymai su Python multiprocessing moduliu (16 pav.), leidžiančiu vykdyti programą atskirose operacinės sistemos gijose. Spartinimo koeficientas siekė 8, būtent tiek kiek yra procersorių viename paskirstytų skaičiavimų tinklo mazge. 16. pav. Užduočių skaičius (x ašis) ir spartinimo koeficientas (y ašis),daug gijų. Sistema buvo pritaikyta darbui su OpenMPI, tai leido išnaudoti daugiau paskirstytų skaičiavimų tinklo galimybių programą vykdyti keliuose tinklo mazguose iš karto. Pasiektas spartinimo koeficientas iki 40, naudojant 64 branduolius vienu metu. Ši sistema bus naudojama ir kitiems eksperimentams. 17. pav. Užduočių skaičius (x ašis) ir spartinimo koeficientas (y ašis), MPI.

10 4. Per metus gauti moksliniai rezultatai 1. Tirtas perceptrono senėjimas, keičiantis uždaviniui, sprendžiant atgalinės kinematikos problemą. Rezultatai pristatyti mokslinėse konferencijose Italijoje ir Lietuvoje, parašytas straipsnis konferencijai Danijoje. 2. Pasiūlytas naujas būdas atgalinės kinematikos problemai spęsti. Pasiūlyta vietoje konkretaus taško, prognozuoti tik judesio kryptį, remtis grįžtamuoju ryšiu. Šiuo būdu galima simuliuoti skirtingų tipų judesius, esančius gamtoje. Rezultatai pristatyti mokslinėse konferencijose Italijoje ir Lietuvoje. 3. Tirti būdai, kuriais eitų rinktis tarp sprendimo greičio ir tikslumo. Panašumo požymiai, klasterizavimo algioritmai, polinominė interpoliacija. Rezultatai pristatyti konferencijose Italijoje bei Lietuvoje. 4. Toliau tobulinama ir tyrimams naudojama bandymų aplinka, leidžianti generuoti duomenis įvairių konfigūracijų roboto rankoms, jais apmokyti neuroninius tinklus, kurti daugiaagentes evoliucionuojančias sistemas, vizualizuoti rezultatus (Python ir Matlab). 5. Pradėta kurti interaktyvi aplinka, judesio vizualizacijai OpenGL priemonėmis. 6. Besiruošiant Optimizavimo metodai ir jų taikymai egzaminui, sukurta globalaus optimizavimo algoritmų tyrimo ir vizualizavimo aplinka (Java applet), su 12 globalaus optimizavimo algoritmų ir 6 optimizuojamomis funkcijomis. 5. Literatūra [1] Kėvelaitis, E., M. Illert, and H. Hultborn. "Žmogaus fiziologija." Kauno medicinos universiteto leidykla, Kaunas (1999): [2] Multi-agent system approach to react to sudden environmental changes, Raudys, S and Mitas unas, A., Machine Learning and Data Mining in Pattern Recognition, pages , 2007, Springer. [3] An adaptation model for simulation of aging process, Raudys, S, International Journal of Modern Physics C, volume 13, number 08, pages , 2002, World Scientific.