RECONSTRUCTION OF 3D OBJECT S SURFACE IMAGE USING LINEAR BEAM

Transcription

1 VILNIUS GEDIMINAS TECHNICAL UNIVERSITY Vilius MATIUKAS RECONSTRUCTION OF 3D OBJECT S SURFACE IMAGE USING LINEAR BEAM SUMMARY OF DOCTORAL DISSERTATION TECHNOLOGICAL SCIENCES, ELECTRICAL AND ELECTRONIC ENGINEERING (01T) VILNIUS 2011

2 Doctoral dissertation was prepared at Vilnius Gediminas Technical University in Scientific Supervisor Assoc Prof Dr Darius MINIOTAS (Vilnius Gediminas Technical University, Technological Sciences, Electrical and Electronic Engineering 01T). The dissertation is being defended at the Council of Scientific Field of Electrical and Electronic Engineering at Vilnius Gediminas Technical University: Chairman Prof Dr Dalius NAVAKAUSKAS (Vilnius Gediminas Technical University, Technological Sciences, Electrical and Electronic Engineering 01T). Members: Prof Dr Habil Arūnas LUKOŠEVIČIUS (Kaunas University of Technology, Technological Sciences, Electrical and Electronic Engineering 01T), Prof Dr Habil Romanas MARTAVIČIUS (Vilnius Gediminas Technical University, Technological Sciences, Electrical and Electronic Engineering 01T), Assoc Prof Dr Mečislavas MEILŪNAS (Vilnius Gediminas Technical University, Physical Sciences, Mathematics 01P), Prof Dr Habil Adolfas Laimutis TELKSNYS (Vilnius University, Technological Sciences, Informatics Engineering 07T). Opponents: Assoc Prof Dr Gintautas DAUNYS (Šiauliai University, Technological Sciences, Electrical and Electronic Engineering 01T), Assoc Prof Dr Šarūnas PAULIKAS (Vilnius Gediminas Technical University, Technological Sciences, Electrical and Electronic Engineering 01T). The dissertation will be defended at the public meeting of the Council of Scientific Field of Electrical and Electronic Engineering in the Senate Hall of Vilnius Gediminas Technical University at 2 p. m. on 1 February Address: Saulėtekio al. 11, LT Vilnius, Lithuania. Tel.: , ; fax ; doktor@vgtu.lt The summary of the doctoral dissertation was distributed on 30 December A copy of the doctoral dissertation is available for review at the Library of Vilnius Gediminas Technical University (Saulėtekio al. 14, LT Vilnius, Lithuania). Vilius Matiukas, 2011

3 VILNIAUS GEDIMINO TECHNIKOS UNIVERSITETAS Vilius MATIUKAS ERDVINIO OBJEKTO PAVIRŠIAUS ATVAIZDO REKONSTRAVIMAS APŠVIEČIANT LINIJINIU ŠVIESOS PLUOŠTU DAKTARO DISERTACIJOS SANTRAUKA TECHNOLOGIJOS MOKSLAI, ELEKTROS IR ELEKTRONIKOS INŽINERIJA (01T) VILNIUS 2011

4 Disertacija rengta metais Vilniaus Gedimino technikos universitete. Mokslinis vadovas doc. dr. Darius MINIOTAS (Vilniaus Gedimino technikos universitetas, technologijos mokslai, elektros ir elektronikos inžinerija 01T). Disertacija ginama Vilniaus Gedimino technikos universiteto Elektros ir elektronikos inžinerijos mokslo krypties taryboje: Pirmininkas prof. dr. Dalius NAVAKAUSKAS (Vilniaus Gedimino technikos universitetas, technologijos mokslai, elektros ir elektronikos inžinerija 01T). Nariai: prof. habil. dr. Arūnas LUKOŠEVIČIUS (Kauno technologijos universitetas, elektros ir elektronikos inžinerija 01T), prof. habil. dr. Romanas MARTAVIČIUS (Vilniaus Gedimino technikos universitetas, technologijos mokslai, elektros ir elektronikos inžinerija 01T), doc. dr. Mečislavas MEILŪNAS (Vilniaus Gedimino technikos universitetas, fiziniai mokslai, matematika 01P), prof. habil. dr. Adolfas Laimutis TELKSNYS (Vilniaus universitetas, technologijos mokslai, informatikos inžinerija 07T). Oponentai: doc. dr. Gintautas DAUNYS (Šiaulių universitetas, technologijos mokslai, elektros ir elektronikos inžinerija 01T), doc. dr. Šarūnas PAULIKAS (Vilniaus Gedimino technikos universitetas, technologijos mokslai, elektros ir elektronikos inžinerija 01T). Disertacija bus ginama viešame Elektros ir elektronikos inžinerijos mokslo krypties tarybos posėdyje 2012 m. vasario 1 d. 14 val. Vilniaus Gedimino technikos universiteto senato posėdžių salėje. Adresas: Saulėtekio al. 11, LT Vilnius, Lietuva. Tel.: (8 5) , (8 5) ; faksas (8 5) ; el. paštas doktor@vgtu.lt Disertacijos santrauka išsiuntinėta 2012 m. gruodžio 30 d. Disertaciją galima peržiūrėti Vilniaus Gedimino technikos universiteto bibliotekoje (Saulėtekio al. 14, LT Vilnius, Lietuva). VGTU leidyklos Technika 1980-M mokslo literatūros knyga. Vilius Matiukas, 2011

5 Introduction Problem under investigation. This dissertation investigates issues relevant to virtualization of a real 3D object that is, producing a model of the object from its image data, and then visualizing this model as an image seen on the computer screen. The topic of the dissertation can thus be seen within the scope of two scientific fields computer graphics and computer vision. Application areas of these two fields are very broad and diverse, including reverse engineering, industrial process and quality control, environmental modeling, medicine, and criminology. As a scientific discipline, computer graphics studies manipulation of visual and geometric information using computational techniques. Meanwhile, computer vision is concerned with methods for acquiring, processing, analysing, and understanding complex high-dimensional data from our environment for scientific and technical exploration. A theme in the development of this field has been to duplicate the abilities of human vision by electronically perceiving and understanding an image. Due to its broadly interdisciplinary nature, computer vision has tight links to many natural sciences, including artificial intelligence, physics, and neurobiology. Among engineering disciplines, a subfield of electronic engineering signal processing is also closely related to computer vision. This is evidenced by the fact that many methods for linear processing of onevariable signals, which is a standard topic in electronic engineering, can be naturally extended to two-variable and multi-variable signals that computer vision is concerned about. For instance, any computer vision system contains an imaging subsystem responsible for formation of objects images using sensors that convert radiation into analog electric signal (and further into digital signal that can be processed by a computer). This process is covered by theories of electronic engineering. Research object is methods and algorythms for reconstruction of a complex geometric shape from a number of unorganised point sets in to electronic form. Aim and tasks of the work. The aim of this work was to reconstruct the surface image of a 3D object using linear beam. This aim was sought by modifying the existing methods, or proposing new methods, and evaluating the accuracy of the reconstruction using statistical techniques. To attain the aim, the following tasks were put forward: 5

6 1. Developing a model for a source of linear beam (scanner) and generating an unorganized point set that approximates the object scanned. 2. Filtering the unorganized point set. 3. Aggregating the unorganized point set to build an entire image of the object and reconstruct its surface. Applied methods includes theories for processing 2D images and techniques of computational geometry. The computer models and the algorithms developed are implemented in C++ programming language using OpenCV, the open-source library of computer vision, and CGAL, the library of algorithms in computational geometry. The work studies both real objects and their 3D images. Scientific novelty of the work 1. An algorithm for extracting the center line of linear beam in 2D images. The algorithm allows achieving accuracies better than one pixel, which is superior to most of the algorithms reported elsewhere. 2. An algorithm for searching connected components in an unorganized point set. This algorithm is unique in its approach to use the hierarchical data structure of an octree for organizing the point set into groups of connected components that are subsequently filtered out to remove noisy isolated points and their clusters. 3. A method for connecting the unorganized point set to reproduce the entire surface of the object. The method is distinguished for its simplicity and uses special 2D marks to aggregate points. The procedure is based entirely on computer vision techniques without any need for sophisticated mathematical apparatus. Moreover, the proposed method is fully automated and allows computing real-time variations in the object s transform. 4. A survey of methods for reconstructing 3D objects and their implementation. Practical value of the work results 1. The algorithm for extracting the center line allows finding with subpixel accuracy the trace left by the plane of linear beam on the object being scanned. This algorithm can be easily extended to other applications that require obtaining center lines of curves or skeletons in 2D images. 2. The algorithm for searching connected components uses the hierarchical data structure of an octree for organizing the point set into groups. Such a data structure should be suitable for many problems in computer vision that require 6

7 efficient filtering and thinning of point sets as well as finding certain point clusters. 3. The method for connecting the unorganized point set can also be offered for solution of problems in computer vision that aim to reproduce the entire surface of a real object. Due to geometric features, the scanner is usually capable to generate only a partial image of the object. To obtain the entire image, the dissertation proposes producing images of separate object parts by varying the object s position with respect to that of the scanner. Using special marks developed by the author for computing the transform between the different positions, the entire image of the object s surface is reproduced. Statements presented for defence 1. Applying a nonlinear combination of the first Gaussian derivatives to an image, one can find the center of linear beam s trace with sub-pixel accuracy, which in turn enables accurate (with an error below 1%) formation of an unorganized point set that approximates the object s surface. 2. Using the hierarchical structure of an octal tree to divide the 3D space, one can find the connected components in the unorganized point set as well as effectively remove single points and their clusters not belonging to the object s surface. 3. The method developed for connecting separate parts of the unorganized point set that approximates the surface of a 3D object allows producing its entire image with a maximal error of 1 3%. The scope of the scientific work. The work consists of the general characteristic, four chapters, conclusions, list of literature and list of publications. The total scope of the dissertation 94 pages, 53 pictures, 6 tables and 102 references. 1. Object s surface image formation technology review In general, 3D image formation can be subdivided in two categories; by projecting and detecting (active) or only detecting (passive) propagation of electromagnetic waves from an object s surface. Electromagnetic reflection sensors can be classified in to optical and other, for example ultrasonic, microwave and etc. This dissertation analysis object s surface reconstruction by laser triangulation which is one of 3D image reconstruction techniques assigned to active methods. In other words, laser light is an inner source of information used to reproduce depth of the scanned object. 7

8 2. Formation of Unorganized Point Sets This chapter is dedicated to the first task of the dissertation. Firstly mathematical model of the camera is discussed, presenting its intrinsic and extrinsic parameters. These parameters are carried out during camera calibration process and they show the relationship between camera, image and world coordinate systems. Knowing these parameters any point p w in world coordinate system can be expressed by projection equation: w T ( ) ( ) p = RT + λr u, (1) here: u coordinates in image coordinate system, λ scale factor, T = R T centre of projection in world coordinate system, v=r u cw directional vector in world coordinate system. Eq. 1 describes the camera ray Λ from camera centre thru some point s projection u on image plane: Λ = c + λv. (2) w Considering Eq. 2 it is clear that knowing only object s projection coordinates on image plane it is impossible to reconstruct the 3D coordinates of its surface because of the scale factor λ which undetermined. Laser light source can be assumed as a point in world coordinate system and using special cylindrical lens its beam is extended in to a line. In 3d world coordinate system the source point and the line forms the laser plane, this plane intersects the object being scanned (Fig. 1). Point in 3D world coordinate system can be reconstructed using optical triangulation by intersecting camera ray with laser plane: here: (,, ) p x y z = Λ Π, (3) w Camera Laser p w object s surface point in world coordinate system, Λ Camera camera ray, Π Laser laser plane. According to Eq. 3 ray and plane intersects at a single point. The set of all such points forms the unorganised point set approximating given object s surface. 8

9 In this work, a technique suitable for detecting the center line of a laser beam with sub-pixel precision in 2D images is presented. The detected center line is to satisfy the following criteria: 1. Smoothness no scatter of the points allowed. 2. Continuity the center-line must be continuous along its region. 3. Centeredness no intersection with the line s edges allowed. Fig. 1. Camera ray and laser plane intersects at single point; the coordinates of that intersection correspond to object s point coordinates in world coordinate system The technique is based on the nonlinear multiscale line filtering method that uses two shifted kernels of the first order Gaussian derivatives combined in a nonlinear way. applied: First, the left and right edge detectors, ( ) l ( x) G ( x s), ( x) G ( x s), E x and ( x) E r, respectively, are E l = σ + (4) = σ (5) E r here: G σ ( x ± s) denote the shifted kernels of the first order Gaussian derivatives; σ is the data variation of the Gaussian distribution and σ = s, parameter s depends on the width of the line profile w. f x is given as The filter s response at location x for the line profile ( ) Φ ( ) = ( ) ( ) min Pos { l },Pos{ r ( ) ( )} x E x f x E x f x, (6) Pos is the positive part of x. here: ( x) 9

10 Fig. 2. The filter s response to a bar-shaped profile with a sharp peak at its center Fig. 2 displays the filter response to a bar-shaped line profile with a sharp peak at its center. Kernels of the left and right edge detectors depend on s that, in turn, is a function of w. Thus, both kernels are determined solely by the width of the line profile w. To reveal the relationship between s and w, the values of these parameters were varied experimentally, and the maximal filter response to the profile was calculated as shown in Fig. 3a. Since the filter response is relatively low for narrow profiles, detection of the center-line in this case is expected to deteriorate. (a) (b) Fig. 3. Maximal filter response to a bar-shaped profile: a) estimated by varying w and s and b) parameter s as a function of w and the approximating line The relationship between s and w is seen more clearly when the data is plotted in 2D (Fig. 3b). The relationship is rather linear and it is approximated 10

11 by the equation: ( ) 0,4482 s w = w. (7) This filter implementation uses 2D kernels; otherwise it is analogous to the 1D case. A scaled Gaussian function and its derivatives in x and y directions are used to implement the left and right edge detectors: E E ( x, y) Gsx ( x s, y), ( x, y) Gsy ( x, y s), ( x, y) Gsx ( x s, y), ( x, y) G ( x, y s), lx = + (8) ly = + (9) E E rx ry = (10) = sy (11) here: G sx and G sy are the first derivatives of the 2D Gaussian function in x and y directions, respectively. Filtering procedure is applied iteratively for a discrete number of directions followed by selection of the direction with the maximal value. Center line of the laser beam is detected by finding the local maxima in the filtered image. This is achieved by calculating the first and second derivatives of the filtered image. The condition F ( x, y) = 0 yields the points of local maxima and minima, whereas F ( x, y) < 0 ensures that the point under consideration is a local maximum. Approximating the points of local maxima by a smoothing spline extracts the center line of the laser beam with sub-pixel accuracy. Fig. 4 illustrates the results of centre-line extraction using suggested technique. Fig. 4a demonstrates that applied technique satisfies all requirements for centre-line extraction, that is, smoothness, continuity ant centeredness. In case of a real life images (Fig. 4b) presented technique is capable to determine centre-lines of several non continuous laser lines and Fig. 4c shows that properly selected parameter s extracts laser s centre-line while omitting reflected part. After centre-line extraction and applying Eq. 3, unorganized point set approximating object s surface is formed. Results of unorganized point set formation are presented in Fig. 5 where surface of elephant statue is approximated by unorganized points, average distance between 6 nearest neighbours in the set is 0,64 mm. 11

12 (a) (b) (c) Fig. 4. Centre-line extraction from 2d images: a) centre-line extracted in syntetic image compared with manualy marked line centre, b) centre-line when laser s line is not continuous and b) center-line when laser s line and it s reflection from object is presented (a) (b) Fig. 5. Uunorganized point set: a) approximating surface of elephant s statue and b) zoomed unorganized point set For accuracy evaluation, simple geometrical objects were used namely cube and cylinder. The best achieved results showed that unorganized point set approximating object s surface can be formed with average error varying in a range of 1%. 3. Filtering of Unorganized Point Sets This chapter is dedicated to the second task of the dissertation. In most cases, object s surface approximated with unorganized point set consists of hundreds of thousands of points and even more. Usually these point sets are dense and neighboring points lie very close to each other. A real life practice shows that huge number of points does not ensure the correct surface reconstruction and at the same time it is the high cost of time. Firstly unorganized point sets must be simplified. The easiest way to do that is to remove some amount of randomly selected points in the set. Practice 12

13 shows that good results are obtained removing about 10% of initial points in the point set. After simplifying unorganized point set its size significantly reduces, but still it contains lots of noisy points which do not belong to the surface of object being scanned. In this dissertation a technique is presented suitable to group points by labelling connected components. A hierarchical data structure of octree is used. Such structure allows subdividing of 3D space in to smaller regions recursively. Unorganized point set occupies a certain 3D space; this space can be approximated by the smallest bounding cube. This cube is subdivided in to eight equal parts followed by selecting and storing points from unorganized point set which are falling under subspace of each subdivision. This procedure is repeated recursively until some terminate criteria is reached. An example of 3d space subdivision using octree method is presented in figure 6a and figure 6b demonstrates a graph representation of corresponding subdivision. (a) (b) Fig. 6. a) subdividion of 3D space by octree algorithm and b) graph of octree Nodes of octree are labelled from 0 to 7 and that fits in 3 bit binary code. After each subdivision new nodes are added and labelled, so if hierarchical structure has depth of 10 every node can be coded in to 30 bit code which fits in 32 bit integer variable. Coding scheme of octree nodes is presented in Table 1. Table 1. Coding of an octree node position Depth h Bits b x b y b z b x b y b z b x b y b z... b x b y b z Comments Higher bits Lower bits Usage of such coding scheme has several advantages: 1. Easy implemented. 2. While increasing depth of the tree, the code increases lineary. 13

14 3. Nodes can be quickly sorted in one of the x y or z directions. 4. Easy to find neighbouring nodes. Connected components of unorganised point set can be labelled by finding isolated groups of octree nodes. This is done by looking for neighbours and neighbours of neighbours of particular node. Using coding scheme presented in Table 1, neighbours are found by analysing lower h and h 1 bits of the code adding and subtracting various b x b y b z combinations. (a) (b) (c) Fig. 7. Unorganized point set filtring by octree data structure: a) unorganized point set in octree datastructure of depth 4, b) unorganized point set in octree datastructure of depth 5, c) zoomed unorganized point set in octree datastructure of depth 8 Results of unorganised point set filtering using octree data structure are presented in Fig. 7. A tree of depth 4 shown in Fig. 7a, such depth for a given set of points is too small and all the points in this set are considered to be in the same group of connected components. Increasing depth of the tree till 5 (Fig. 7b) gives two gropes of connected components. Finally reaching optimal, for particular set of points, tree depth equal to 8, single noisy points or their gropes are separated from the object s surface. 4. Three-dimensional Surface Reconstruction This chapter is dedicated to the third task of the dissertation. Here, unorganized point set merging for complete 3D surface reconstruction and survey of surface reconstruction methods from unorganized point sets are presented. The input data is filtered and simplified multiply unorganized point sets 3 P = { p1,, pm } R approximating 3D object s surface in world coordinate system with different angles of view which are not priori known. 14

15 First step in point set merging process is to find initial rotation and translation between different point set views of the same object. The idea is to place the object on marker plane (Fig. 8a) and to transform all coordinates of the unorganized point set from world coordinate system, to markers plane coordinate system, which we will call objects coordinate system. Our marker plane is composed of several markers (Fig. 8b), to avoid cases where one of the markers is covered by the object. For marker detection and identification special coding presented in Table 2 is used. Marker is presented as 5 5 array of bits were 0 represents black and 1 white colours respectively. (a) (b) Fig. 8. a) an example of marker pattern and b) combination of 4 4 marker patterns Table 2. Marker pattern coding Decimal numb. Digital numb. Digital code Fig. 9 demonstrates marker tracking results when object is placed on composed marker patterns. Fig. 9a and Fig. 9b show object at different rotation and translation, applying marker tracking technique the pose changes between two views are estimated despite the fact that some of the markers are covered by the object. For the final object s surface reconstruction several algorithms were reviewed, namely CoCone, Tight CoCone and Super CoCone. In general, discussed techniques use complementary cones (shorter CoCone) for 3D triangulation and reconstruction. 15

16 (a) (b) Fig. 9. Detection and identification of marker pattern combination, markers are detected and identified with object placed on them (a) (b) (c) Fig. 10. Reconstruction of statue surface by a) cocone, b) tight cocone and c) super cocone algorithms Reconstruction results are presented in Fig. 10. CoCone (Fig. 10a) and Super CoCone (Fig. 10c) reconstruction methods shows similar results. Tight CoCone (Fig. 10b) was designed to reconstruct a watertight surface, and can reconstruct a continuous surface of the object filling all holes in final reconstruction. General Conclusions This doctoral dissertation investigates reconstruction of the surface image of a 3D object by using linear beam. The work discusses the main stages of reconstruction of the object s surface image: formation, filtering and combining of an unorganized point set that approximates the object s surface. To meet the goals of the work, the following results were obtained: 1. A method is proposed for finding the center line of linear beam s trace in 2D images. Applying the principles of differential geometry and nonlinear combinations of the first Gaussian derivatives, accuracy is achieved within one pixel. 16

17 Experimental data suggest that the estimated center line satisfies the requirements put upon it, i.e., smoothness, continuity and centeredness. The method allows obtaining a dense unorganized point set that approximates the object s surface. 2. A new algorithm is proposed for filtering the unorganized point set that approximate the object s surface. Space taken by the point set is recursively divided into sub-sets until a termination criterion is reached. Using the structure of an octal tree, the unorganized point set is grouped into separate clusters of connected components. Upon analysis of these clusters, structures not belonging to the object are removed. Using the structure of an octal tree in conjunction with other thinning methods (connecting adjacent points and removing random points), reduction of the point set by 20 30% is possible, while retaining the key geometric features of the object. 3. A method is proposed for aggregating separate parts of the unorganized point set. The method uses special marks in 2D images that can be detected and recognized to determine changes in the object s 3D position in real-time. It should be noted that the changes in position may be determined even when some marks are obscured by the object. Aggregating parts of the point set enables formation of a 3D unorganized point set with accuracy within 1%. Meanwhile, in the areas of sharp edges and high curvature accuracy of 2 3% is obtained. 4. Using the algorithms of CoCone, Tight CoCone and Super CoCone for the final reconstruction of the object s surface image, accuracy to within 1 mm is obtained. List of Author s sciendific publications on the topic of dissertation In the reviewed scientific periodical publications Matiukas, V.; Miniotas, D Detection of laser beam s centerline in 2d images, Elektronika ir elektrotechnika 95(7): ISSN IF = 0,44 (ISI Web of Science). Rokicki, J.; Matiukas, V.; Ušinskas, A.; Adaškevičius, R Extraction of centre line from curvilinear objects, Opto-electronics review 19(1): ISSN IF = 1,027 (INSPEC). Matiukas, V A survey on methods for reconstructing surfaces from unorganized 17

18 point sets, Science Future of Lithuania / Mokslas Lietuvos Ateitis 3(1): ISSN (IndexCopernicus). Matiukas, V.; Miniotas, D Point Cloud Merging for Complete 3D Surface Reconstruction, Electronics and Electrical Engineering 113(7): ISSN IF = 0,659 (ISI Web of Science). In the other editions Matiukas, V.; Paulinas, M.; Ušinskas, A.; Adaškevičius, R Survey of point cloud reconstruction methods, in proceedings of the 3rd international conference on Electrical and Control Technologies ECT 2008, Kaunas, vol. 3, (Thomson ISI Proceedings). Matiukas, V Erdvinio paviršiaus taškų rinkinio apdorojimas, iš 11-osios Lietuvos jaunųjų mokslininkų konferencijos Mokslas Lietuvos ateitis straipsnių rinkinio. Vilnius: Technika, t. 11, Rokickij, J.; Matiukas, V Kraujagyslių skeletavimo metodų bei jų panaudojimo būdų apžvalga, iš Respublikinės mokslinės-praktinės konferencijos VIRTUALŪS INSTRUMENTAI BIOMEDICINOJE 2008 pranešimų medžiagos. Klaipėda, t. 3, About the author Vilius Matiukas was born in Klaipėda, in First degree in Electronic Engineering, Faculty of Electronics, Vilnius Gediminas Technical University, Master of Science in Electronic Engineering, Faculty of Electronics, Vilnius Gediminas Technical University, In PhD student of Vilnius Gediminas Technical University. At present Assistant in Department of Electronic Systems of Vilnius Gediminas Technical University. ERDVINIO OBJEKTO PAVIRŠIAUS ATVAIZDO REKONSTRAVIMAS APŠVIEČIANT LINIJINIU ŠVIESOS PLUOŠTU Problemos formulavimas Šioje disertacijoje nagrinėjami klausimai, susiję su realaus trimačio objekto virtualizavimu t. y. objekto modelio sukūrimu iš skenuotų vaizdų aibės, po to vizualizuojant šį modelį atvaizdo kompiuterio monitoriaus ekrane pavidalu. Taigi disertacijos tema glaudžiai siejasi su dviem disciplinomis kompiuterine grafika ir kompiuterine rega. Šių disciplinų pasiekimai taikomi labai plačiai: atbulinėje inžinerijoje, gamybos procesų ir kokybės valdymui, aplinkos modeliavimui, medicinoje, kriminologijoje. 18

19 Kompiuterinė grafika tyrinėja vaizdinės ir geometrinės informacijos apdorojimą skaitiniais metodais. Tuo tarpu kompiuterinės regos tyrimų objektas visuma metodų, skirtų sudėtingos daugiamatės informacijos apie mus supančią aplinką išgavimui, apdorojimui, analizei ir suvokimui. Viena iš šiai disciplinai aktualių temų vaizdų suvokimas elektroninėmis priemonėmis, gebančiomis dubliuoti žmogaus regos sistemos funkcijas. Dėl savo tarpdisciplininės prigimties kompiuterinė rega glaudžiai siejasi su daugeliu gamtos mokslų pvz., dirbtiniu intelektu, fizika, neurobiologija. Iš taikomųjų mokslų galima išskirti signalų apdorojimą vieną iš elektronikos inžinerijos pakraipų irgi artimai susijusią su kompiuterine rega. Apie tai byloja vieno kintamojo signalų apdorojimo metodų, tradiciškai naudojamų elektronikos inžinerijoje, pritaikymas dviejų ir daugelio kintamųjų signalams, su kuriais susiduriama kompiuterinės regos uždaviniuose. Kaip pavyzdį galima paminėti ir vaizdų gavimo posistemę, reikalingą bet kuriai kompiuterinės regos sistemai. Ši posistemė formuoja objekto vaizdus, naudodama daviklius, kurie nuo objekto atsispindėjusią šviesą paverčia analoginiu elektriniu signalu (o po to skaitmeniniu signalu, tinkamu apdorojimui kompiuteriu). Šį procesą aiškina elektronikos inžinerijos teorijos. Darbo aktualumas Sparčiai vystantis kompiuterinės regos ir grafikos sritims, didėja poreikis trimačiams kompiuteriniams modeliams, aprašantiems realius objektus bei scenas. Nors kai kuriais atvejais pakaktų ir dvimačių vaizdų apdorojimo metodų, trimačiai modeliai įgalina įvairiau modeliuoti objektą veikiančius fizinius procesus. Todėl kartais kompiuteriu galima suskaičiuoti tai, ką sudėtinga išmatuoti realybėje. Šiame darbe ieškoma efektyvių būdų trimačiams erdvinių objektų kompiuteriniams modeliams kurti. Tyrimo objetas Tyrimų objektas sudėtingos geometrinės formos erdvinio objekto atkūrimo elektroniniu pavidalu iš keleto nestruktūrizuotų taškų rinkinių, gautų nuskaitant objektą skirtingomis apžvalgos kryptimis, metodai ir algoritmai. Sudėtinga objekto forma pasirinkta tam, kad jos nebūtų galima perteikti paprasta matematine išraiška. Darbo tikslas Pagrindinis šio darbo tikslas buvo rekonstruoti erdvinio objekto paviršiaus atvaizdą, objektą apšviečiant linijiniu šviesos pluoštu. Šio tikslo buvo siekiama tobulinant esamus metodus arba kuriant naujus, o taip pat statistiniais metodais vertinant rekonstrukcijos tikslumą. 19

20 Darbo uždaviniai Darbo tikslui pasiekti buvo sprendžiami šie uždaviniai: 1. Sudaryti linijinio šviesos pluošto šaltinio (skaitytuvo) maketą ir suformuoti nestruktūrizuotų taškų rinkinį, aproksimuojantį nuskaitytą objektą; 2. Išfiltruoti nestruktūrizuotų taškų rinkinį; 3. Sujungti nestruktūrizuotų taškų rinkinį į visumą ir rekonstruoti objekto paviršiaus atvaizdą. Tyrimų metodika Darbe taikomos dvimačių atvaizdų apdorojimo teorijos ir skaičiuojamosios geometrijos metodai. Kompiuteriniai modeliai ir sukurtieji algoritmai įgyvendinti programavimo kalba C++, naudojant atvirojo kodo kompiuterinės regos biblioteką OpenCV bei skaičiuojamosios geometrijos algoritmų biblioteką CGAL. Darbe nagrinėjami realūs objektai ir jų trimačiai atvaizdai. Darbo mokslinis naujumas 1. Sukurtas algoritmas linijinio šviesos pluošto centrinei linijai dvimačiuose vaizduose išskirti. Algoritmas įgalina pasiekti vaizdo elemento dalimis matuojamą tikslumą, taip įgyjant pranašumą prieš daugelį kitų mokslininkų pasiūlytų algoritmų. 2. Sukurtas algoritmas nestruktūrizuotų taškų rinkinio apjungtųjų komponentų paieškai. Algoritmas unikalus tuo, kad taškų rinkinio skirstymui į besijungiančių komponentų grupes naudoja aštuntainio medžio herarchinę duomenų struktūrą. Šios grupės vėliau išfiltruojamos, pašalinant dėl triukšmų atsiradusius pavienius taškus bei jų grupes. 3. Sukurtas metodas nestruktūrizuotų taškų rinkiniui apjungti į visą objekto paviršiaus atvaizdą. Metodas išsiskiria savo paprastumu ir taiko specialiąsias žymes taškams jungti į visumą. Pati procedūra remiasi vien tik kompiuterinės regos metodais, išsiverčiant be sudėtingų matematinių skaičiavimų. Be to, sukurtasis metodas yra visiškai automatizuotas ir leidžia apskaičiuoti objekto transformacijos pokyčius realiuoju laiku. 4. Apžvelgti ir įgyvendinti trimačio objekto atvaizdo rekonstravimo metodai. 20

21 Darbo rezultatų praktinė reikšmė 1. Centrinės linijos išskyrimo algoritmas leidžia vaizdo elemento dalių tikslumu rasti pėdsaką, paliekamą linijinio šviesos pluošto plokštumos ant skaitomojo objekto. Šį algoritmą nesudėtinga adaptuoti kitoms dvimačių atvaizdų apdorojimo užduotims, kuriose ieškomos kreivių centrinės linijos arba skeletai. 2. Apjungtųjų komponentų paieškos algoritmas objekto atvaizdo taškų grupavimui naudoja aštuntainio medžio hierarchinę duomenų struktūrą. Tokia duomenų struktūra turėtų tikti daugeliui kompiuterinės regos uždavinių, kuriuose reikia efektyviai filtruoti ir retinti taškų rinkinius bei greitai rasti reikiamas taškų grupes. 3. Nestruktūrizuotų taškų rinkinio apjungimo metodą irgi galima siūlyti kompiuterinės regos uždavinių, siekiančių gauti visą erdvinio objekto paviršiaus atvaizdą, sprendimui. Dėl geometrinių ypatybių skaitytuvu nuskaityto erdvinio objekto atvaizdas paprastai būna tik dalinis. Visam atvaizdui gauti darbe generuojami atskirų objekto dalių atvaizdai, keičiant objekto padėtį skaitytuvo atžvilgiu. Transformacijai tarp skirtingų padėčių skaičiuoti naudojant autoriaus sukurtas specialiąsias žymes, atkuriamas visas objekto paviršiaus atvaizdas. Ginamieji teiginiai 1. Taikant netiesinę Gauso funkcijos pirmųjų išvestinių kombinaciją atvaizdui, galima rasti linijinio šviesos pluošto pėdsako centrą vaizdo elemento dalių tikslumu, o tai leidžia tiksliai (1% paklaidos ribose) suformuoti objekto paviršių aproksimuojantį nestruktūrizuotų taškų rinkinį. 2. Trimatės erdvės padalijimui taikant aštuntainio medžio hierarchinę struktūrą, galima rasti nestruktūrizuoto taškų rinkinio besijungiančius komponentus, o taip pat efektyviai pašalinti objekto paviršiui nepriklausančius pavienius taškus bei jų grupes. 3. Sukurtasis metodas nestruktūrizuotų taškų rinkinio, aproksimuojančio erdvinio objekto paviršių, atskiroms dalims apjungti leidžia gauti visą objekto paviršiaus atvaizdą su maksimalia 2 3% paklaida. Darbo rezultatų aprobavimas Tyrimai buvo atlikti Vilniaus Gedimino technikos universitete. Tyrimų rezultatai paskelbti 7 moksliniuose straipsniuose, iš kurių keturi yra išpublikuoti recenzuojamuose mokslo žurnaluose, bei 8 mokslinėse konferencijose: MATIUKAS, V Erdvinio paviršiaus taškų rinkinio apdorojimas. XI-oji Lietuvos jaunųjų mokslininkų konferencija Mokslas Lietuvos ateitis. Vilnius/VGTU, [Respublikinė]. 21

22 MATIUKAS, V Survey of point cloud reconstruction methods. III-oji tarptautinė konferencija ELECTRICAL AND CONTROL TECHNOLOGIES ECT Kaunas/KTU, [Tarptautinė]. MATIUKAS, V Trimačių objektų lazerinis skaitytuvas. XII-oji Lietuvos jaunųjų mokslininkų konferencija Mokslas Lietuvos ateitis. Vilnius/VGTU, [Respublikinė]. MATIUKAS, V Extraction of laser beam s trace center-line from 2d images. 50th Scientific Conference Section Electronics, Telecommunications and esociety, Ryga (RTU). [Tarptautinė]. MATIUKAS, V Trimačio lazerinio skaitytuvo kalibravimas ir paviršiaus nestruktūrizuotų taškų rinkinio gavimas. XIII-oji Lietuvos jaunųjų mokslininkų konferencija Mokslas Lietuvos ateitis. Vilnius/VGTU, [Respublikinė]. MATIUKAS, V Survey of Surface Reconstruction Methods from Unorganized Point Sets. The 2nd IEEE Workshop on Bio- Inspired Signal and Image Processing BISIP Vilnius/VGTU, [Tarptautinė]. MATIUKAS, V Point-cloud filtering using Octree partitioning. The 14TH International Conference ELECTRONICS Vilnius/VGTU, [Tarptautinė]. MATIUKAS, V.; Point Cloud Merging for Complete 3D Surface Reconstruction. The 15TH International Conference ELECTRONICS Vilnius/VGTU, [Tarptautinė]. Dalis šio darbo medžiagos surinkta atliekant mokslinius tyrimus pagal mokslinių tiriamųjų darbų vykdymo sutartį su UAB Elintos prietaisai Nr. E07-57/2140-MA. Tyrimų tema Interaktyvių algoritmų, skirtų erdvinių modelių elementų identifikavimui ir jų geometriniam išlyginimui, analizė ir tyrimas. Disertacijos struktūra Darbo apimtis 94 puslapiai, kuriuose pateikta: 33 formulės, 53 paveikslai ir 6 lentelės. Disertacijoje remtasi 102 kitų autorių literatūros šaltiniais. Disertacijos aiškinamąjį raštą sudaro keturi skyriai. Pirmame skyriuje analitiškai apžvelgiama žmogaus regos sistema, kompiuterinė rega ir trimačių atvaizdų formavimo technologijos. Antrame skyriuje nagrinėjami būdai linijinio šviesos pluošto pėdsako dvimačiuose atvaizduose centrui rasti, sukant skaitomąjį objektą aplink vertikalią ašį ir taip keičiant skaitytuvo plokštumos padėtį erdvėje. Šiame skyriuje taip pat siūloma, kaip taikyti tokią metodiką 22

23 disertacijos uždaviniams spręsti. Trečiame skyriuje aptariamas nestruktūrizuotų taškų rinkinių, aproksimuojančių nuskaitytojo objekto paviršių, pirminis apdorojimas ir filtravimas, taikant aštuntainio medžio struktūrą. Ketvirtame skyriuje aprašomas viso erdvinio objekto paviršiaus atvaizdo rekonstravimas, apjungiant nestruktūrizuotų taškų rinkinius. Bendrosios išvados Šioje daktaro disertacijoje nagrinėjamas erdvinio objekto paviršiaus atvaizdo rekonstravimas, objektą apšviečiant linijiniu šviesos pluoštu. Darbe aptariami pagrindiniai objekto paviršiaus atvaizdo rekonstravimo etapai: objekto paviršių aproksimuojančių nestruktūrizuotų taškų rinkinio formavimas, filtravimas ir apjungimas. Siekiant darbe numatytų tikslų, gauti rezultatai leidžia suformuluoti tokias išvadas: 1. Pasiūlytas metodas šviesos pluošto pėdsako dvimačiuose atvaizduose centrinei linijai rasti. Taikant diferencialinės geometrijos principus ir Gauso funkcijos pirmosios išvestinės branduolių netiesinius derinius, pasiekiamas vaizdo elemento dalių tikslumas. Eksperimentiniai rezultatai rodo, jog surastoji šviesos pluošto centrinė linija tenkina jai keltus reikalavimus: glodumą, vientisumą ir centriškumą. Metodas leidžia gauti tankų nestruktūrizuotų taškų rinkinį, aproksimuojantį objekto paviršių. 2. Pasiūlytas naujas algoritmas objekto paviršių aproksimuojančiam nestruktūrizuotų taškų rinkiniui filtruoti. Rinkinio užpildyta erdvė rekursyviai dalinama į poaibius tol, kol pasiekiamas tam tikras baigties kriterijus. Taikant aštuntainio medžio struktūrą, nestruktūrizuotų taškų rinkinys suskirstomas į atskiras besijungiančių komponentų grupes. Išanalizavus šias grupes, pašalinamos objektui nepriklausančios struktūros. Taikant aštuntainio medžio struktūrą kartu su kitais retinimo metodais (apjungiant gretimus taškus ir šalinant atsitiktinius taškus), galima suglaudinti taškų rinkinį 20 30%, išsaugant informaciją apie esmines objekto formos savybes. 3. Pasiūlytas metodas objekto nestruktūrizuoto taškų rinkinio atskiroms dalims apjungti į vieną. Metodas taiko specialias žymes dvimačiuose atvaizduose, kurias aptikus ir atpažinus nustatomi objekto erdvinės padėties pokyčiai realiuoju laiku. Pažymėtina, jog padėties pokyčius pavyksta nustatyti net ir objektui užstojant kai kurias žymes. 23

24 Apjungiant taškų rinkinio dalis, 1% procento dalių tikslumu suformuojamas erdvinis nestruktūrizuotų taškų rinkinys. Tuo tarpu smailių kampų ir didelio kreivumo spindulio srityse pasiekiamas 2 3% tikslumas. 4. Galutiniam objekto paviršiaus atvaizdo rekonstravimui taikant dvikūgio, uždarojo dvikūgio ir superdvikūgio algoritmus, gaunamas milimetro dalių tikslumas. Apie autorių Vilius Matiukas gimė 1981 m. Klaipėdoje m. studijavo Vilniaus Gedimino technikos universitete Elektronikos fakultete ir įgijo elektronikos inžinerijos bakalauro laipsnį m. įgijo elektronikos inžinerijos magistro laipsnį tame pačiame fakultete m. doktorantas bei asistentas Vilniaus Gedimino technikos universitete Elektroninių sistemų katedroje. 24