GEO Grid の概要とその IT 技術の現状将来について

Size: px

Start display at page:

Download "GEO Grid の概要とその IT 技術の現状将来について"

Beverly McDaniel
5 years ago
Views:

1 の概要とその IT 技術の現状将来について小島功情報技術研究部門産業技術総合研究所一部資料作成協力 & 引用 : 山本直孝 Steven Lynden, 岩男弘毅山本浩万児玉信介松岡昌志 ( 順不同産総研情報技術研究部門 )

2 概要とは産総研地質部門 [ 旧地質調査所 ] と情報部門との分野連携プロジェクト地質や地理衛星データ処理など分野の研究者にサービスを提供しつつその周辺で IT 関連の研究を行う特徴アプリケーション VO GEOにおけるIT 技術の現状 IT 関連の研究開発課題

3 とは? 衛星画像データベース (ASTER など ) を基礎とした e-science 基盤のこと UI は Web2.0 的アプローチ AIST: OGC Associate member (since 2007) OGC 規格のサポート AIST: OGF Gold sponsor (a founding member) グリッド技術を基盤

特徴 VO( 仮想組織 ) の概念に基づくセキュリティの担保フリーデータだけでない地物関連データの特徴グリッド技術によるスケーラビリティの提供分散並列高性能化標準の尊重と標準コミュニティへの貢献 OGC(Open Geospatial Consortium) &GEOSS

4 特徴 VO( 仮想組織 ) の概念に基づくセキュリティの担保フリーデータだけでない地物関連データの特徴グリッド技術によるスケーラビリティの提供分散並列高性能化標準の尊重と標準コミュニティへの貢献 OGC(Open Geospatial Consortium) &GEOSS For Details, Please have a look our IEEE Systems Journal Paper Design Principles and IT Overviews of the GEO Grid Vol2. No.3, GEOSS 特集号

5 で扱われるデータ Linked by: - Geolocation - Observation/creation time - Specific parameter センサーネット PEN SensorML/SOS Raster DATA Sensor DATA Vector DATA 衛星画像データ ASTER MODIS PALSAR GeoTiff/WCS GIS データ t Geological maps Roads,railways, etc GML/WFS - Owned by institutions/organizations - Many of them are not free

6 における VO

7 VO 提供の理由と特徴地質データや衛星画像解析プログラムなど商用データなど必ずしもフリーで提供できないものが多い利用における権利関係が複雑データ提供にまだまだ抵抗感のあるデータ提供者が多い高価な計算機やサービスをフリーで使わせたくない VO(Virtual Organization) の支援仮想コミュニティの提供応用サービスデータをすべてVO 単位で管理

8 VO& グリッド技術の利用データベース統合データ転送 OGSA-DAI を用いた複数データベースの同時検索結果の統合 GridFTP を用いたファイルデータの第三者転送アプリケーション実行セキュリティ GRAM によるアプリケーションの実行管理 PKI (Public Key Infrastructure) と X.509 証明書及びその拡張である代理証明書 ( プロキシ証明書 ) を用いたグリッドセキュリティ基盤 (Grid Security Infrastructure, GSI) シングルサインオンや権限移譲 (delegation) が実現され, 頑健かつ多機能なセキュリティ基盤

Grid Solution Grid Security Infrastructure (GSI) Security infrastructure based on PKI and X.

Virtual Organization Membership Service (VOMS) Users and Resources are controlled under VO

単位での認証ができる個人単位のアカウント管理をしなくていいので圧倒的に楽 Execute simulation VOMS transfer all data on-demand Globus

9 Grid Solution Grid Security Infrastructure (GSI) Security infrastructure based on PKI and X.509 certificates. Users use various database with single authentication / SSO. Virtual Organization Membership Service (VOMS) Users and Resources are controlled under VO Administrators of service provider do not need to configure access control for each user VO 単位での認証ができる個人単位のアカウント管理をしなくていいので圧倒的に楽 Execute simulation VOMS transfer all data on-demand Globus OGSA- DAI Java Program Integration AIST Framework with OGSA-DAI OGSA-DAI Client Database Server (PostgreSQL) ASTER SQL SQL w/ JDBC OGSA- DAI MODIS VOMS

10 Toolkit( 開発中 ) 提供者等のロールに応じてツールを使用 Service Provider Service Development Kit ( SDK) VO manager Virtual Organization Tools ( VOT) Portal manager Portal Development Kit ( PDK)

11 gridsphare portlets with VOMS mod_sslに変わるgsi/voms 認証モジュール gs_action=getcontents& URL=

Access database using OGSA-DAI Java API Submit image analysis

12 VO User Interface User interface is constructed as JSR168 porlet on GridSphere 日本台湾 US などのサーバを Web サービス経由で統合しかもセキュリティを担保して接続 Access database using OGSA-DAI Java API Submit image analysis via GRAM Retrieve input data from GridFTP server FORMOSAT-2 MODIS ASTER

カタログでメタデータを検索サービスの URL を得てデータを検索取得しその結果を別サービスで加工

13 OGC 規格のサポートと貢献地理 GIS 分野の特有の事情 : WMS( 画像の検索と配信 )WFS( 地物の検索と配信 )CSW,( メタデータの登録収集検索 )WPS( データ処理 ) など独自の標準が一通りそろっているカタログでメタデータを検索サービスの URL を得てデータを検索取得しその結果を別サービスで加工スケーラビリティや性能に問題 1. バックエンドでサポートする場合の問題を解決 2. その知見をベースに OGC-TCやOWSへ参加セキュリティワークフロー WPS

14 自前のソフトウェア実装 WFS WMS や CSW WPS などで独自の実装や改良を試みているパブリックドメインのソフトウェア高速化大規模化に難点画像サーバオンデマンドの処理 ( リアルタイムの画像切り取り配信など ) が弱いカタログサービス ( 後述 ) フリーソフトでは 200 万件ぐらいからのポリゴンのマッチング検索が結果の数が増えるに従ってうまく動かなくなるグリッド環境との統合接続のためセキュリティ独自の知見からの機能改良異種データの扱いや並列データ転送など

15 rinzo.ma: User Interface for OGC Web Services Browser-Based W*S Interface & Mashup Environment Highly customizable Plug-In architecture Utilizes javascript/ajax/openlayers Supports WMS,CSW, etc. Tiled Wall Browsers ( フルスクリーンのブラウザたちが連動して 1 枚の画面!) (This isn t Tiled Wall Displays) 特許出願中

16 VOMS-enabled OGC Services OGC サービス =HTTP ベースで簡潔かつ高機能セキュリティに対する枠組みがない! VOMS-enabled OGC services の必要性証明書の delegation クライアント (Web ブラウザ ) にユーザ証明書を期待できない OGC Proxy の開発 Single Sign On Tool の開発など

17 アプリケーション &VO のリスト ( 例 ) Global roads development using WPS (ECO VO) Field sensor data integration using SOS (FON VO) Shake amplitude estimation using WPS (GHz VO) Landslide application using WFS and WCS (GHz VO) Registry for geological data (GSJ VO) (Accumulating data and metadata for application )

18 Field sensor data integration at Field Observation Network (FON) VO Satellite Data Calibration Auxiliary data Auxiliary data Auxiliary data Auxiliary data Satellite Sensor Products Validation Global products Global carbon cycle Climate change predictions Evaluation of global warming etc Ground-based data

19 AIST s SOS Architecture Field Sensors SOS Response XML SensorML FON VO Portal MapServer Request Location Time Period Sensor Find Search Raw Data Processing Database PostGIS/ PostgreSQL End User

Global roads development Why road map? Best available data covers only one-quarter to one-third of the existing road networks Accuracy varies considerably by region.

20 Global roads development Why road map? Best available data covers only one-quarter to one-third of the existing road networks Accuracy varies considerably by region. < 20% >80% The Demand VMAP0 road network length as a percentage of the International Roads Federation reported road network by country. (Nelson et al., 2006) Pre- and post-disaster planning Economic development Analysis

ASTER image for global roads development Has high

accumulating data But, not freely distributable

Snake Algorithm by U-Tokyo Road extraction

controll by VO-level authentification and

21 ASTER image for global roads development Has high spatial resolution (15m/pixel) Has an excellent geolocation accuracy (σ< 7.5 m) Covers almost all of the land and still accumulating data But, not freely distributable Set seed points by hand WMS WPS Road extraction Snake Algorithm by U-Tokyo Road extraction Automatic algorithm WFS-T ASTER image WCS Access controll by VO-level authentification and authorization Result comparison with previous road data and correction Addition of attribute information

22 Land Use/Land Cover Change 衛星画像からの DEM/LC マップ作成 Digital Confluence Project による校正

23 防災地滑りマップの作成ニューラルネット

24 防災自然災害 ( 火山 )

25 研究開発 (1) セキュリティ Tsukuba-GAMA 頑健なグリッドの認証とコミュニティですでに使われている認証を連携させたい 1. 敷居が低いが安全性が低い認証 2. 頑健だが管理の手間がかかる認証 3. 既にインターネットなどで普及している認証 4. などこれらをグリッドの認証と効果的に結び付けたい証明書の動的な生成と統合的な管理でさまざまな認証方式を連携させる

26 Tsukuba-GAMA OpenID MyProxy CA 認証情報外部認証サーバ MyProxy Registry Account DB オンライン認証局ユーザユーザ名パスワード or 認証情報 PKCS#12 ウェブポータル - Account DB - Credential Repository Certificate Registry ユーザ認証情報管理サーバ属性情報証明書 VOMS User Extension 証明書属性サーバ

27 Login Flow for OpenID user OpenID Login Login to OpenID server Accept Once for Portal

28 研究開発 (2) データ統合 1) データベース統合の課題異種データベースの統合関係データベースだけでない XML や RDF の統合 2)OGC カタログサービスの課題大規模なデータへの対応データ量が100 万個のオーダ検索結果が数 10 万個の場合ユーザの意図に反して膨大な結果が出たり逆に一つもなかったり異種スキーマの統合的利用 ebrimプロファイル ISOプロファイル JMPプロファイル

29 Heterogeneous Database Integration Framework Based on OGSA-DAI and OGF WS-DAI Extend it to provide heterogeneity 異種データベースの統合ツール Our Feature: Supports XML Databases, Web Databases and RDF Databases

Example 広域のDBをWebサービス基盤上で宣言的に結合 Integration

<author> <name> </name> <field> </field>

30 Example 広域のDBをWebサービス基盤上で宣言的に結合 Integration of WebDB, relational, XML data <authors> <author> <name>steven Lynden</name> <field>grid Computing</field> </author> <author> <name> </name> <field> </field> </author> </authors> AUTHOR PUBLICATION CITESEER XML 関係データベース Web データベース

31 OpenXML select xauthor.name, publication.title, citeseer.url, xauthor.field from publication, citeseer, OpenXML( author, '//author', '//name/text() name, //field/text() field ) as xauthor where publication.title=citeseer.title and xauthor.name=publication.author; <authors> <author> <name>steven Lynden</name> <field>grid Computing</field> </author> <author> <name> </name> <field> </field> </author> </authors> <author> <name>steven Lynden</name> <field>grid Computing</field> </author> name title url field <author> <name> </name> <field> </field> </author>

Heterogeneous Service/Object Registry for メタデータカタログ &

Consortium) catalog service CS-W(Catalog Service Web)

OGC の規定するメタデータフォーマットとアクセス法 Can handle Heterogeneous XML

異種のデータスキーマ [ プロファイル ] を扱わねばならない Webサービスレジストリなど業界標準を

UDDI Developed with User-Defined ebxml Schema Registry

OWL-S 全文検索 ( スキーマレス ) が基礎 OGC CS-W 検索は距離とランキングが基礎 URL

0 Approach User-defined Schema, Ontologies and

32 Heterogeneous Service/Object Registry for メタデータカタログ & サービスレジストリ Catalog Service Web Complies OGC(Open Geospatial Consortium) catalog service CS-W(Catalog Service Web) specification. OGC の規定するメタデータフォーマットとアクセス法 Can handle Heterogeneous XML schema (ISO,ebRim,GLUE etc). 異種のデータスキーマ [ プロファイル ] を扱わねばならない Webサービスレジストリなど業界標準を US-Census Ontology SWEET & 越えた部分のメタデータとの連携 etc Dictionary UDDI Developed with User-Defined ebxml Schema Registry Search Engine software Annotation XML Schema DBMSを使わない OWL-S 全文検索 ( スキーマレス ) が基礎 OGC CS-W 検索は距離とランキングが基礎 URL を教えるとクローラが収集 Web2.0 Approach User-defined Schema, Ontologies and Dictionaries CQL Form-query XML Schema ISO19115 ebrim GIS Objects Catalog Service Description VO-based Security Resource Description MDS CIM/UML (Network & Database) GLUE2/XMLSchema (computers) NML GLUE/RDF

33 現在のシステム :Dublin Core, ISO19115 & JMP2.0 ebrim EO(Earth Observation) Profile としては ISO から ebrim に重点を置いているが両者を統合して検索できねばならない (ebrim から RDF への Align は議論がある ) 属性間の対応関係を統一あるいは記述して異種データ統合を可能に (RDF) <JMP><003>=<createddate> 緯度経度ポリゴンなども検索側のスキーマとデータのスキーマを分離 (CSW の要求 ) 検索エンジン的な結果返戻の手法 Exact マッチだけでなく距離とランキングを考慮マルチプロトコル : OGC CSW の Harvesting と OAI の Harvesting をサポート

34 研究開発 (3) 不均質科研基盤 A) 不均質なペタバイト級時空間センサデータの統合利用基盤産総研筑波大静岡大の共同研究時間解像度空間解像度の異なる情報の利用条件に対して答えが返ってこないあるいは膨大解像度の異なる情報の付き合わせ : 異種の情報の付き合わせ

35 問題のフレーム : 画像系の情報ととテキスト系の情報の連携融合による知見の創出 Wikipedia からイベントやキーワードの緯経度の抽出して画像を発見 ( 静大 ) 画像データセンサデータなど画像処理 ( 変化や差分の検出など ) をトリガとしてテキスト系の情報の発見統合そのためのイベントベースの情報基盤? ( 筑波 ) メタデータの統合基盤 (AIST) オントロジ辞書などの利用アノテーションテキスト系の情報辞書

36 メタデータの基盤について GEO 応用におけるサービスデータのレジストリどこにどんなサービスやデータ資源があるか OGC による規格ソフト Web サービス規格ソフト Grid における規格ソフト利用者によるアノテーション追加メタデータの作成追加スキーマの定義拡張高機能なデータ検索異種データ統合オントロジの利用地球科学関連国勢調査地形行政関連整備された辞書いわゆる SemanticWeb 技術の利用マッチメーキング推論など

37 今後の課題 IT としてワークフローの実現 Pegasus Kepler BPEL MapReduce ツールキットの整備と配布 E-Science 基盤として大規模計算との連携仮想化クラウドへの展開デジタルレポジトリやアーカイブとしての実現機関レポジトリとの統合広域データベース連携統合メタデータ基盤

携帯電話の吸収率 (SAR) について / Specific Absorption Rate (SAR) of Mobile Phones

携帯電話の吸収率 (SAR) について / Specific Absorption Rate (SAR) of Mobile Phones 携帯電話の吸収率 (SAR) について / Specific Absorption Rate (SAR) of Mobile Phones 1. SC-02L の SAR / About SAR of SC-02L ( 本語 ) この機種 SC-02L の携帯電話機は国が定めた電波の体吸収に関する技術基準および電波防護の国際ガイドラインに適合していますこの携帯電話機は国が定めた電波の体吸収に関する技術基準

GEO Grid の概要とその IT 技術の現状 将来について

GEO Grid の概要とその IT 技術の現状将来について