Retour d'exprience :
La gestion prenne des documents l'aide d'une architecture modulaire base sur des logiciels Open Source.

Solutions Linux 2009Session du 01 Avril 2009

Thomas Ledoux (BnF) / Laurent Sollier (AO)

Le modle OAIS

L'OS dans le socle commun

Agenda

Les modules particuliers

Le projet SPAR

Conclusion & Questions

La dmarche

Sommaire

La Bibliothque nationale de France a t cre par le dcret 94.3 du 3 janvier 1994 avec mission de collecter, de cataloguer, de conserver et denrichir tous les champs de la connaissance, le patrimoine national dont elle a la garde, en particulier le patrimoine de langue franaise ou relatif la civilisation franaise.

Le projet SPAR de la Bibliothque nationale de France
Systme de prservation et darchivage rparti

Organisation

Projet sur 4 ans

Env.15 personnes

Mthode Agile (Scrum)

Volumtrie

1800 To de donnes

Plus dun milliard dobjets numriques

SPAR

Le projet SPAR
Prserver le patrimoine, l'Archiver, en Rpartir laccs

Applications de production de donnesApplications de diffusion de donnesNumrisation de conservationProduction administrative

Archivage WEB

..

SPAR

SPAR

Le projet SPAR
les principales exigences

tre compatible avec le modle OAIS (ISO 14721:2003)

tre modulaire et distribuable

Abstraire toute notion de stockage

Exploiter des standards et des formats ouverts ou matriss

Exploiter des briques techniques libres

S'appuyer sur les technologies Java

Exploiter une infrastructure matrielle existante

SPAR

La norme OAIS

Entres

Planification de la prennisation

Administration

Gestion des donnes

Stockage

Accs

OAISPRODUCTEURUTILISATEUR

DIP

SIP

AIP

AIPA quoi sert-elle, concrtement ?

tablir la responsabilit de la conservation : notion de contrat

surveiller les documents avant que les dgradations ne se produisent (en gnral, avec le numrique, aprs = trop tard)

garantir lintgrit des documents, vrifier quils ne sont pas altrs, et sils le sont, expliquer pourquoi

organiser lactivit de conservation autour dun rfrentiel commun pour faciliter les volutions

OAIS

Le projet SPAR et le modle OAIS

SPAR - Infrastructure

SPAR - Ralisation

VersementSPAR

Prservation

Administration

Gestion des droits

Gestion des donnes

Stockage

AccsService dAbstraction de Stockage (SAS)

OAISPRODUCTEURUTILISATEUR

OAIS

Architecture base sur des modules

SPAR - Infrastructure

SPAR - Ralisation

VersementSPAR

PrservationAdministrationGestion des droitsGestion des donnesStockageAccsService dAbstraction de Stockage (SAS)

Soccle commun

Architecture base sur des modules

Soccle commun

SSB : Backup

SSP : Principal

Site de secours

Site principal

SSS-B : secondaire de secours

SSS : secondaire

Serveurs de secours

Serveurs

Le socle commun

Les objectifs

Modularit par services Web selon le protocole REST

Dploiement multi-instances

Journalisation des actions

Traitements asynchrones

Les contraintes

Exploiter un environnement Java

La mise en uvre

Soccle commun

Le module Versement

Les objectifs

Caractriser des fichiers de formats varis

Les contraintes

Pour la caractrisation, chaque framework a ses formats dans lesquels il excelle.

La mise en uvre

Sommaire

Les modulesMagicMimeTypeIdentifier

Java Advanced Imaging

Le module Gestion de donnes

Les objectifs

Indexer les mtadonnes de l'ensemble des paquets conservs,

Permettre une utilisation indpendante du modle de donnes.

Les contraintes

Plusieurs milliards de triples

Intgration dans un environnement Java

La mise en uvre

Sommaire

Les modules

Le module Gestion des droits

Les objectifs

Collecter linformation de droits

Calculer dynamiquement les licences dusage associes

Les contraintes

Volumtrie

Calcul dynamique selon lusage

La mise en uvre

Sommaire

Les modules

Xalan - XercesOAIHarvester2

Le module Administration

Les objectifs

Offrir une interface graphique pour l'exploitation de certains services

Prendre en compte les autorisations d'accs

Les contraintes

Exploiter des services au format REST

Offrir une interface graphique multilangue

La mise en uvre

Sommaire

Les modules

Le Service d'Abstraction de Stockage

Les objectifs

Abstraire le stockage sur l'infrastructure

Permettre la mise en place de rgles de stockage (rpartition multi-sites, notion de capsule de stockage, ...)

Les contraintes

Effectuer un contrle d'intgrit

Hberger plusieurs millions d'objets

Contrler une bandothque

La mise en uvre

Sommaire

Les modules

Le module d'Accs

Les objectifs

Pouvoir transformer les paquets selon de nouveaux formats

Publier le catalogue selon la norme OAI

Les contraintes

Ne pas prsumer des usages futurs

Permettre l'intgration de nouvelles transformations sans devoir rcrire le module

La mise en uvre

Sommaire

Les modules

Cartographie gnrale

SPAR - Ralisation

VersementSPAR

PrservationAdministrationGestion des droitsGestion des donnesStockageAccsSAS

Sommaire

Sommaire

La dmarche

tude du besoin

tude amont permettant de dfinir le besoin

De cette tude, identifier les fonctionnalits ou services devant tre offerts par les solutions Open Source

Sommaire

Sommaire

La dmarche

Exemple de grille grosse maille

Sommaire

Sommaire

La dmarcheFonctionnel

Peut intgrer les identifiants prenne ARK?

Peut intgrer un systme d'authentification ?

Gre des mtadonnes description de manire extensible ?

Gre des mtadonnes de prennisation lis aux objets de donnes/documents ?

Comprend des fonctions d'entres ?

Comprend des fonctions d'accs ?

Comprend des fonctions d'administration ?

Gre diffrents types de format ?

Gre le cycle de vie des documents (workflow) ?

Comprend des fonctionnalits de migration (gestion, suivi, etc.) ?

Qualit technique

Semble extensible ?

Est interoprable avec un systme de stockage ?

Est interoprable avec un systme de supervision (SNMP, etc.) ?

Est interoprable avec un annuaire (LDAP, X509 etc.) ?

A des rfrences d'implmentation de grande taille (quivalent la BnF) ?

Prennit

A pour objectif d'implmenter le modle OAIS ?

Est modulaire ?

Est libre/ouvert ?

Est maintenable (organisme de maintenance, qualit du support, communaut, documentation)

Est mature (rfrences nombreuses, longue exprience, etc.)

Analyse selon 3 axes

Engagement avec les communauts

Entrer en contact avec les communauts

Participer l'effervescence en s'associant aux listes de diffusion, forum et autre canaux de communication

Participer la capitalisation du savoir en alimentant les wiki ou tout autres outils collaboratifs

Vitaliser les changes physiques par le biais de confrences tlphoniques ou participations des confrences ou colloques

Exemples d'interactions lors du projet :

Jersey : changes par mails

LogBack: changes par mails

iRODS: changes par mails / chat list (forum) /

rencontres physiques / Confrences tlphoniques /

quelques jours d'expertises sur site

Sommaire

Sommaire

La dmarche

Sommaire

Sommaire

Sommaire

ConclusionConclusion

Il existe quasiment toujours une solution Open Source

Toutes n'ont pas le mme degr de maturit

L'intgration d'autant de frameworks Open Source n'est pas toujours simple

La cartographie gnrale a volu durant tout le projet : ncessit d'tre Agile

Constat :L'Open Source qui s'est dvelopp dans les outils d'infrastructure, gagne en crdibilit dans les domaines mtier

Questions / Rponses

Sommaire

Sommaire

Sommaire

Conclusion

Thomas Ledouxthomas.ledoux_AT_bnf.frChef de projet SPARLaurent Sollierlaurent.sollier_AT_atosorigin.comResponsable Technique SPAR

Cliquez pour diter le format du plan de texte

Second niveau de plan

Troisime niveau de plan

Quatrime niveau de plan

Cinquime niveau de plan

Sixime niveau de plan

Septime niveau de plan

Huitime niveau de plan

Neuvime niveau de plan

Cliquez pour diter le format du texte-titre

Solutions Linux 2009

Le projet SPAR : un systme de prennisation bas sur des solutions libres

Atos, Atos and fish symbol, Atos Origin and fish symbol, Atos Consulting, and the fish symbol itself are registered trademarks of Atos Origin SA. 2006 Atos Origin. Private for the client. This report or any part of it, may not be copied, circulated, quoted without prior written approval from Atos Origin or the client.

Atos, Atos et le poisson, Atos Origin et le poisson, Atos Consulting ainsi que le poisson seul sont des marques dposes d'Atos Origin SA. 2008 Atos Origin. Document exclusivement rserv usage commercial. Tout ou partie de ce document ne peut tre copi, modifi, diffus ou annot sans accord crit d'Atos Origin ou du client.

Atos, Atos and fish symbol, Atos Origin and fish symbol, Atos Consulting, and the fish symbol itself are registered trademarks of Atos Origin SA. 2006 Atos Origin. Private for the client. This report or any part of it, may not be copied, circulated, quoted without prior written approval from Atos Origin or the client.