Romain [email protected]@cnes.fr Thierry [email protected]@cnes.fr SITools Présentation de loutil (2/2)

Romain CONSEIL [email protected] LEVOIR [email protected]

SITools Présentation de l’outil (2/2)

01/06/06

Institut d’Astrophysique Spatiale

mailto:[email protected]






Présentation SITools – IAS, juin 2006 2

Rappel Architecture

■SITools se base sur :

Un SGBD (ou plus) Catalogues de données (ou tables de données) Tables génériques de description

Un serveur Apache Un serveur Tomcat

Un ensemble de services de base (repository, catalogue, commande, espace utilisateur, …)

Une interface web cliente (ou plus) Des SVAs


Site C Description of

servicesSite B

Description of services

Client

Site A Description of services

Connection bus between the

various services

Internet browser

Site ASite A

Client Application(Web Server)

Site ASite A

Repository

Site CSite C

Added-Value Services 2

Site CSite C

User Space

Site ASite A


Site ASite A

Command Processing

Site BSite B

AVS 3

Site BSite B

Catalog off-line

Site N

Added-Value Services N

Dictionnaires des synonymes

Site ASite A

Catalog

Catalog 1 Catalog 2 Data 1

. . .


Service 1

Existant


SGBD

■ Ajout de 8 tables propres à SITools : Classe (non utilisée) Type (non utilisée) Dataset : déclaration des tables comme jeu de données Dataset_properties : déclaration de méta données sur les jeux Properties_dependancies : déclaration des dépendances entre valeurs de

métadonnées sur les jeux Properties_options : déclaration des valeurs de métadonnées multi-valuées Attribute : déclaration des champs de chaque jeu de données Attribute_dependancies : déclaration des dépendances entre valeurs de

critères sur les attributs Attribute_options : déclaration des valeurs d’attributs multivaluées

■ Description des tables de données existantes Eventuellement réparties sur plusieurs autres BDD


Table : HIRES


Table : HIRES

Table : DataSet


Table : HIRES

Table : DataSet

Table : Attribut


SGBD

■ Table attribute

Cf. ex MOST

Colonne Type Description dataset_name Varchar Data set name name Varchar Attribute name label Varchar Displayed name tooltip Varchar More information to be displayed type Varchar Attribute Type (see below) class Varchar Attribute class (see below) size Int size (for display information) keyindex Int Indicates if it is a key criterion Int Indicates if this attribute is to be used as a

criteria for the end user. display Int Indicates if this attribute is to be displayed to

the end user. advanced Int Indicates if this attribute may be displayed if

the end user asks for it. mandatory Int Indicates if the attribute is mandatory updatable Int Indicates if the attribute is updatable default_value Varchar min_value Varchar max_value Varchar comment Varchar


SGBD

■ Type de l’attribut

Simple boolean, float, geometry, string, int, long, date, timestamp

Complexe multi_string Multiple values string multi_int Multiple values integer multi_long Multiple values big integer multi_float Multiple values decimal multi_date Multiple values date multi_timestamp Multiple values date time multi_inter_int Multiple values of interval integer multi_inter_long Multiple values of interval big integer multi_inter_float Multiple values of interval decimal multi_inter_date Multiple values of interval date multi_inter_timestamp Multiple values of interval date time

Multi permet de gérer les attributs multivalués SITools crée automatiquement les tables supplémentaires nécessaires


SGBD

■Attributs multivalués

DataSet Table


SGBD

■Attributs multivaluésTable : Attribut

DataSet Table


SGBD

■Attributs multivaluésTable : Attribut

DataSet Table


Serveur Apache

■ Apache 2 Placé devant Tomcat afin de n’ouvrir que le port 80 à l’extérieur Utilisation du mod_jk pour communiquer avec Tomcat Réalise l’authentification des utilisateurs (via un fichier de passwords et de

groupes) Héberge l’espace utilisateur (WEBDav pour pouvoir associer des méta données

aux données)

Configuration Httpd.conf pour définir les droits Création d’un fichier d’utilisateurs et de groupes (via htpasswd) mod_jk.conf mod_dav.conf


Serveur Tomcat■ Héberge les webapps des services SITools

■ Ne réalise aucune authentification (Apache)

■ Version 5.5 de Tomcat utilisée


Description des services : le catalogue

■ Interface de connexion aux bases de données Effectue toutesles requêtes SQL. Possibilité de proxy d’accès au SGBD (pas d’ouverture de la BDD à l’extérieur mais

ouverture du service catalogue)

■ Possibilité de définir plusieurs BDD pour un catalogue Une requête s’applique sur toutes les BDD déclarée dans SITools postgreSQL, MySQL, (pour Oracle rajouter les drivers JDBC) La BDD n°0 contient les tables descriptives de SITools Accès via JDBC (login/passwd)

■ Possibilité de définir plusieurs catalogues pour une même instance.


Description des services : le catalogue

■ Exemple MOST : Fichiers à configurer

Log4j.properties Multibase.properties 1 fichier par base déclarée Catalogue.properties

2 bases définies : 0 : les tables SITools + une table « most » 1 : une table « most » contenant d’autres données MOST.


Description des services : le repository

■ Service central de SITools Déclaration des catalogues utilisées dans l’instance Regroupement des jeux de données en graphe Association de SVA avec les jeux

SVA de traitement, SVA d’aide à la sélection ( liste déroulantes, thumbnails, etc…)

Gestion des synonymes par jeu de données Synonymes Convertisseurs Intervalles et bornage

Gestion des utilisateurs et des groupes : 3 groupes : administrateur, utilisateur, simple utilisateur Droits d’accès aux jeux de données et aux services.


SITOOLS Instance SITOOLS Instance Catalog 1

Meta Model

Cata

log

Serv

ice

Cata

log

Serv

ice

DataSet Model …

DataSet Model 2

DataSet Model 1

Meta-data DataSet 1

Meta-data DataSet 2

Client ApplicationClient Application

RepositoryRepository

Super Catalog

Cata

log

Clie

nt

Inte

rface

C

ata

log

Clie

nt

Inte

rface

Dictionary

AssocietedSynonyms

AssocietedSynonyms

AssocietedSynonyms

Catalog 2Meta Model

Cata

log

Serv

ice

Cata

log

Serv

ice

DataSet Model …

DataSet Model 2

DataSet Model 1

Meta-data DataSet 1

Meta-data DataSet 2

Transparent access to catalogs

Identification of catalogs and access rights when user authentication is complete

Association between Dictionary/catalogs when starting the SiTools instance


Description des services : le repository

■ Exemple MOST : Fichiers à configurer

Log4j.properties Repository.xml Administration.xml UserRights.xml

Synonymes : Définition de 2 synonymes

– most_ra most_ra2– Most_dec most_dec2


Description des services : le service commande

■Permet aux utilisateurs de déposer des données sur un espace utilisateur (DAV)

■Gestion des SVA Batch appliqués lors de la commande sur des jeux spécifiques (ex. transformation de format)

■Utilisation de l’API Jakarta Slide pour l’interface avec DAV.

■Configuration : Principalement le fichier eudav.properties


Description des services : les SVA

■ Programmes indépendants ajout de fonctions supplémentaires Tracé à la carte Zip Transformation Extraction

■ Exemples disponibles et fournis avec SITools : Implémentation d’une interface Java Déclaration au niveau du repository

■ Possibilité d’effectuer le traitement sur une autre machine■ Pas d’a priori sur la technologie employée (PHP, C, etc…)■ Traitement batch (synchrone ou asynchrone) ou interactifs■ Ex : Zip avec export, JDex, appel de webservices distants (NSSDC), …


Description des services : l’IHM utilisateur

■ Accès Web authentifié aux principales fonctions d’un centre de données Recherche sur les jeux et sur les données

Par critère Par thumbnails Par graphe

Commande de données, interface de gestion de l’espace utilisateur Application de SVA Fonctions d’administration

■ Configurable AppConfig.properties (où l’application trouve les autres services, etc) Eudav.properties (DAV)

■ Tuning CSS JSP


Site C Description of

servicesSite B

Description of services

Client

Site A Description of services

Connection bus between the

various services

Internet browser

Site ASite A

Client Application(Web Server)

Site ASite A

Repository

Site CSite C


Site CSite C

User Space

Site ASite A


Site ASite A

Command Processing

Site BSite B

AVS 3

Site BSite B

Catalog off-line

Site N

Added-Value Services N

Dictionnaires des synonymes

Site ASite A

Catalog


. . .


Service 1

Existant


Démonstration

■Avec l’instance par défaut (fruits & légumes)

■Avec l’instance Cassini http://kronos.cesr.fr/cassini

http://kronos.cesr.fr/cassini


Exemples

■Quelques exemples d’instances de SITools

Modification du look (CSS, JSP)






Exemples

■Quelques exemples de services à valeur ajoutée












Évolutions prévues

■Évolutions orientées V.O.

Implémentation des protocoles d’accès SIAP et SSAP pour des requêtes sous forme d’URL ou via webservices

Création d’un proxy SIAP - SSAP

Recherche par cône (position et rayon autour de la position) Création d’un type de critère spécifique

Production des fichiers sous forme de VO TABLE Via un SVA de transformation.


Évolutions prévues

■Amélioration de l’interface de gestion des utilisateurs Eviter à l’adminstrateur de devoir modifier des fichiers XML à la main

■Création d’un installeur rapide pour Linux ou Windows. Installation automatique de la version de démonstration (fruits et

légumes)

■Support aux utilisateurs pour la mise en place des instances et support pour la réalisation de SVAs


Conclusion

■SITools est disponible en ligne :

http://vds.cnes.fr/sitools/tech.htm

Merci de votre attention.

http://vds.cnes.fr/sitools/tech.htm

Documents

Romain [email protected]@cnes.fr Thierry [email protected]@cnes.fr SITools Présentation de loutil (2/2)