Projet - PowerPoint Presentation

Slide1

Projet CooperateDéveloppement scientifique Exemple d’exploitation commune de bases de données

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide2

Introduction

Objectifs principaux

PrésentationExemple de mesuresSchéma fonctionnel

Structure des BDDsExtensions thématiques au projet

Exemple de sites inclus dans COOPERATE

Application web principeApplication web démo

Choix architecturalSolutions techniques

Souplesse d’emploi

Quelques chiffres (pour l’O3HP)Perspectives verticales

Sommaire

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide3

Puechabon

(CEFE, CNRS)

l’idée

« Common database for field sites dedicated to experimental studies on climate

change in Southern France » 

Fontblanche (Roquefort-la-

Bédoule INRA)

O

3HP (OHP, CNRS)CLIMED (Marseille, ANR/IMBE)Slide4

Exemple de Mesures

flux de

sève & croissance

échanges gazeux foliaires

relations hydriques

T,

rh

%,

radiation

& météorologie générale

échanges gazeux

à

l’échelle de la canopée

Profil

geoelectrique

par

D

Hermitte

& J-C

Parisot

Motif radial

by J

Cermak

relevés /échantillons/ saisie biologiques & chimiques & physiques

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide5

inter

inter-face

éxperimentateur & modélisateurinter-disciplinaire

inter-échelleinter-site

inter-

generation

inter-opérabilité

definition-interoperabilite.info

L’interopérabilité est la capacité que possède un produit ou un système, dont les interfaces sont intégralement connues, à fonctionner avec d'autres produits ou systèmes existants ou futurs et ce sans restriction d'accès ou de mise en œuvre.

inter-net

inter-nationalinter-ligent

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide6

Site O3HP

S

ite Climed

: zone de

base

: Capteurs (exemple d’emplacement)

: secteurs générateur de données

Site

Sentinel

Site ICOS

…etc..

Exemple de sites inclus dans

Cooperate

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide7

Serveur

FTP

Serveur

Web Commun

(Ex: O3HP,Sentinel,Icos)

Interface

d

’interrogation

et consultation

Export Graphiques,

F

ichiers

CSV,

i

mages,

Tableaux

R

ésultants

des interrogations

Serveur De

Traitement

Commun

Interface

d

’administration

(utilisateurs privilégiés)

BDD commune

Serveur

FTP

BDD thématique

2

BDD thématique

3

Serveur De

Traitement

Fichiers texte

(csv)

Relevés

manuels

BDD existante

BDD thématique 4

Serveur De

Traitement

BDD existante

BDD thématique 5

BDD thématique 6Site 1

Site 2Site 3Site 4Site 5Site 6

Fichiers texte

(csv)

Centre de CalculSite 7

Web service(s)

Sauvegardes

SauvegardesSauvegardesBDD thématique 1(Ex: Climed)(Ex: Phénologie)

(Ex: Meteo OHP)Schéma fonctionnel CASTAGNOLI Gérard / ROTEREAU ArmandVVT

2014Slide8

Structure des

BDDs

Tables communes

Tables thématiques

Tables statistiques

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide9

BDD thématique(s)

Requêtage

Tables thématiques

Tables

communes

Statistiques

Bases de données thématiques

BDD commune

Interaction

Extensions thématiques au projet

BDD ‘Caractéristiques des Plantes/ Faune/ Microbes’

BDD ‘Caractéristiques du Sol’

…

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide10

Bandeau et menus gérés par un CMS.

Iframes

déclenchés par les boutons du menu.

Contenus indépendants du CMS utilisé.

Application web principe

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide11

Application web démo

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide12

Choix architectural

Equipements

pour BDD

machine physique

multi-processeurs

disques SAS

Interfaces Web + calculs

VM puissante

OS :

Développement :

/

/

/

(pour les menus)

BDDs

commune et thématiques

Sauvegardes journalières

Systèmes +

données (

Savenet

)

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide13

Solutions techniques

Affichage

multi-mesures / multi-sites

bib.

HighCharts

Requêtes sur toutes les BDD en même temps

Modèle BDD + mécanisme

PostgreSQL

: postgres_fdw (foreign Data Wrapper)

Rapidité des requêtes hardware / software / Modèle BDD (1 table/capt. + évolution dynamique de la BDD avec détection des nouveaux objets).

Stockage optimisécalcul de l’espace nécessaire au préalableAffichages et export : calcul à la volée des données à la minute/jour/mois/annéeVérification et validation des donnéesAutomatiques, semi-automatiques et manuelles (en cours)

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide14

Souplesse d’emploi

Souplesse

sur les normalisations et données en entrée

pas de contrainte sur le pas de temps, sur les noms des capteurs, etc

.

Rajout d’un nouveau site en « 1 clic » avec un besoin de très peu d’infos

Scripts génériques

Customisation de quelques heures à 1 semaine

Rajout de méta-infos, nommage d’éléments, etc…

Code générique : installation possible ailleursD’un site (site 3 & 4 dans slide « Schéma fonctionnel »)De l’ensemble de l’architecture pour des besoins différents

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide15

Quelques chiffres (pour l’O3

HP)

Données

extraites des

capteurs

Cyclique : toutes les 5 minutes à toutes les secondes



# 2 500 000 valeurs / jourBDD thématique

1 500 tables, > 1 000 000 000 enregistrementsApplication Web et scripts d’insertion> 30 000 lignes de code

Projet informatique2 ans de conception et développementen moyenne : 1,2 H/J (3 ingénieurs à temps partiel)

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide16

OHP - Perspectives verticales

0 m –

35000 m

4 km - 80 km

Station

Gérard Mégie

2 m -10 m

temporary

installations

ANR CANOPEE

10 m -100 m

70 m - 20000 m

-8 m to 6 m

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide17

???

Coopérations envisageables

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014Slide18

Financement et soutien

Merci de votre attention

Site Web O

3

HP :

https://o3hp.obs-hp.fr/index.php

Application Web

O

3

HP :

https://o3hpbd.obs-hp.fr/db/index.php

Application Web

COOPERATE (en

développement

):

https

://

o3hpbd-dev.obs-hp.fr/db/index.php

Références

CASTAGNOLI Gérard / ROTEREAU Armand

VVT

2014