Upload
phamtu
View
234
Download
2
Embed Size (px)
Citation preview
MTI820 −Entrepôtsdedonnéesetintelligenced’affaires
Architecturedesentrepôtsdedonnées
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 1
Lecycledevied’unprojetenBI• Diagrammedefluxdetravail:
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 2
Planificationdeprojet/programme
Définitiondes
besoinsd’affaires
Conception del’architecturetechnique
Modélisationdesdonnées
Conception desapplicationde
BI
Sélectionetinstallationdes
produits
Conceptionphysique
Conception etdéveloppementdusystèmeETL
Développementdesapplications
deBI
Déploiement
Croissance
Maintenance
Gestiondeprojet/programme
Questions• Àquoisertleplanarchitectureld’unesolutiondeBI?
• Quelssontlesfacteurspouvantavoirunimpactsurl’architecturedelasolution?
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 3
Architecturetechnique
• Besoinsd’affaires:– « Quedoit-onfaire? »
• Architecture:– « Commentallons-nouslefaire ?»
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 4
Lavaleurdel’architecture• Encouragelasatisfactiondesbesoins:– Lesbesoinstechniquesdériventdesbesoinsd’affaires;– Documentsd’architecture.
• Facilite lacommunication:– Illustrelesdifférentsrôlesauseindusystème;– Communiquelacomplexitéduprojetauxcadressupérieurs.
• Aideàlaplanification:– Regroupetouslesdétailstechniques;– Identifiedesdépendancesetdenouveauxdebesoins.
• Flexibilité,productivitéetmaintenance:– Métadonnées,sélectiond’outils,etc.
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 5
Facteursàconsidérer• L’interdépendanceinformationnelleentrelesunitésde
l’entreprise– Ex:bonneintégration(ex:MDM)VSsilosdedonnées
• Lessourcesdedonnées– Ex:1sourceVS10sources,ERPVSlegacy,etc.
• Laquantitédesdonnées– Ex:gigaoctets VSteraoctets
• Lalatencedesdonnées– Ex:mise-à-jourhebdomadaireVStemps-réel
• L’urgenced’obtenirunesolutionfonctionnelle– Ex:entrepôtd'entreprise(EDW)VSmagasindedonnées
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 6
Facteursàconsidérer• Lenombred'utilisateurs
– Ex:10-50utilisateursvs50-200utilisateurs
• Lanaturedestâchesdesutilisateursfinaux– Ex:rapportssimplesVSfouillededonnées
• Lescontraintessurlesressources– Ex:financières,maind'œuvre,biaistechnologique,etc.
• Lesobjectifsduprojet– Ex:stratégiqueVSopérationnel
• Autresfacteurs– Ex:politiques,habilitésdupersonnelTI,etc.
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 7
Questions• Quelleestladifférenceentreunmagasindedonnéesetun
entrepôtdedonnées?
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 8
Lesmagasins dedonnées(datamart)
• Caractéristiques:– Contientuneportion ducontenudel’entrepôtdedonnées;
– Seconcentresur1sujetd’analyse• Ex:lesventesOUleslivraisons,maispaslesdeux;
– Sertàfairedesanalysessimplesetspécialisées• Ex:lesfluctuationsdesventesparcatégoriedeproduits;
– Nombredesourceslimitées,provenantlaplupartdutempsd’unmêmedépartement;
– ProcessusETLrelativementsimple– Mêmeprocessusdeconceptionquelesentrepôtsdedonnées,maisdemandemoinsderessources.
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 9
Magasins dedonnéesvsEDWCaractéristique Magasin dedonnées Entrepôtdedonnées(EDW)
Portée Undomained’analyse Plusieursdomainesd’analyse
Tempsdedéveloppement Mois Années
Coûtsdedéveloppement $10,000à$100,000 + $1,000,000+
Complexité dedéveloppement Faibleàmoyenne Grande
Tailledesdonnées MbàplusieursGb Gbjusqu’àplusieursPb
Horizondesdonnées Courantesethistoriques La plupartdutempshistoriques
Transformation desdonnées Faibleàmoyenne Importante
Fréquencedesmises-à-jour Horaire, journalier ouhebdomadaire
Peut aller jusqu’àmensuel
Nombre d’utilisateurssimultanés Dizaines Centainesàmilliers
Typesd’utilisateur Analystesdansledomainespécifique etgestionnaires
Analysted’entreprise etcadresseniors
Objectifs d’affaires Optimisationdesactivités dansledomainespécifique
Optimisation inter-fonctionnelle etsupportàladécision
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 10
Source:E.Turban,R.Sharda,D.Delen etD.King(2010).« Businessintelligence: Amanegerial approach »,Pearson.
Questions
• Quellessontlesdifférentesarchitecturesd’entrepôtsdedonnées?
• Quellessontlescritèrespermettantdecomparerdifférentesarchitectures?
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 11
Lesarchitecturesd’entrepôtsdedonnées
1. Magasinsdedonnéesindépendants
2. Architectureenbusdemagasinsdedonnées
3. ArchitectureHub-and-spoke
4. Entrepôtdedonnéescentralisé
5. Architecturefédérée
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 12
Magasins dedonnéesindépendants
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 13
StagingAreaSource1 Datamart 1
Systèmessource
Source2
Source3
ETL
Datamart 2
Datamart 3
silosdedonnées
Datamartsindépendants Utilisateurs
StagingArea
StagingArea
App1
Reporting
App2
App3
Magasins dedonnéesindépendants
• Caractéristiques:– Lesdatamarts sontdéveloppésetopèrentdemanièreindépendante;
– Lesdonnéessontdisposéesen« silosfonctionnels»;– Pasdedimensionsconformes.
• Avantages/inconvénients:(+) Architecturelaplussimpleetlamoinscoûteuseàdévelopper;(−) Incohérencesetredondancesentrelesdatamarts(−) Iln’yapasuneseule versiondelavérité;(−) Analyseinter-fonctionnelledifficileouimpossible;(−) Visionlimitée,pasextensible.
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 14
Busdemagasinsdedonnées
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 15
StagingArea
Source1 Datamart 1
Systèmessource
Source2
Source3
ETL
Datamart 2
Datamart 3
Datamarts liéspardimensionsconformes Utilisateurs
Infrastructure
dere
porting
Reporting
Entrepôtdedonnéesconceptuel
Busdemagasinsdedonnées• Caractéristiques:
– Approchebottom-up,proposéeparR.Kimball;– Datamartsdéveloppésparsujet/processusd’affaires,ensebasant
surdesdimensionsconformes;– Modélisationdimensionnelle(schémaenétoile),aulieudumodèle
entité-relation(ex:3FN);– Entrepôtdedonnéesconceptuel,formédemagasinsdedonnées
inter-reliésàl’aided’unecouched’intergiciels (middleware).
• Avantages/inconvénients:(+) Intégrationdesdonnéesassuréeparlesdimensionsconformes;(+) Approcheincrémentale(processuslesplusimportantsd’abord);(+) Donnedesrésultatsrapidement;(−) Itérationsfuturesplusdifficilesàplanifier;(−) Performancesous-optimaledesanalysesimpliquantplusieurs
datamarts.Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 16
ArchitectureHub-and-spoke(Corporate InformationFactory)
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 17
StagingArea
Source1 Datamart 1
Systèmessource
Source2
Source3
ETL
Datamart 2
Datamart 3
Entrepôtdedonnéesd’entreprise
Utilisateurs
Infrastructure
dere
porting
Reporting
EDW
Datamartsdépendants
Concentrateur(hub)
Rayons(spokes)
ArchitectureHub-and-spoke• Caractéristiques:
– Approchetop-down,proposéeparB.Inmon etal.– Entrepôt(hub)contientlesdonnéesatomiques(c.-à-d.leniveaude
détailleplusfin)etnormalisées (3FN);– Lesdatamarts (spokes)reçoiventlesdonnéesdel’entrepôt;– Lesdonnéesdesdatamarts suiventlemodèledimensionneletsont
principalementrésumées(pasatomique);– Laplupartdesrequêtesanalytiquessontfaitessurlesdatamarts.
• Avantages/inconvénients:(+) Intégrationetconsolidationcomplèteetdesdonnéesde
l’entreprise;(+) Approcheitérativeetpotentiellementextensible(spokes);(−) Peutavoirdelaredondancededonnéesentrelesdatamarts;(−) Performancesous-optimaledesanalysesimpliquantplusieurs
datamarts.Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 18
Entrepôtdedonnéescentralisé
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 19
StagingArea
Source1
Systèmessource
Source2
Source3
ETL
Entrepôtdedonnéesd’entreprise
Utilisateurs
Infrastructure
dere
porting
Reporting
EDW
Entrepôtdedonnéescentralisé• Caractéristiques:
– SimilaireàHub-and-spoke,maissanslesdatamarts dépendants;– Gigantesqueentrepôtdedonnéesservantl’entrepriseentière;– Lesdonnéespeuventêtreatomiquesourésumées.
• Avantages/inconvénients:(+) Lesutilisateursontaccèsàtouteslesdonnéesdel’entreprise;(+) Intégration(ETL)etmaintenancefacilecarlesdonnéessontà
unseulendroit;(+) Performanceoptimale(ex:Appliancewarehouse,Teradata).(−)Longetcoûteuxàdévelopper;(−)Pasincrémental;(−) Extensibilitélimitéeoutrèscoûteuse.
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 20
Architecturefédérée
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 21
StagingArea
Source1
Systèmessource
Source2
Source3
ETL
Entrepôtsdedonnéesautonomes Utilisateurs
Infrastructure
dere
porting
Reporting
EDW1
EDW2
EDW3
(EDW)
Entrepôtdedonnées
virtuel
Metadonnées
Intégrationvirtuelle
Architecturefédérée• Caractéristiques:
– Entrepôtdedonnéesdistribuésurplusieurssystèmeshétérogènes;– Opèredemanièretransparente(l’utilisateurnevoitpasqueles
donnéessontréparties);– Donnéesintégréeslogiquementouphysiquementàl’aidedeméta-
données (ex:XML);– Complémenteplutôtqueremplace(selonlesexperts).
• Avantages/inconvénients:(+) Utilelorsqu’ilyadéjàunentrepôtenplace(ex:acquisitionsou
fusionsdecompagnies);(+) Demandepeuderessourcesmatériellesadditionnelles.(−) Trèscomplexe:synchronisation,parallélisme,concurrence,etc.(−) Peudecontrôlesurlessourcesetlaqualitédesdonnées;(−) Faibleperformance(maislatechnologies’améliore).
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 22
Comparaisonentrelesarchitectures• Popularité:
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 23
Architecture Fréquence
Hub-and-spoke 39%
Busdedatamarts 26%
Entrepôt centralisé 17%
Datamarts indépendants 12%
Entrepôts fédérés 4%
Source:T.AriyachandraetH.Watson(2005).« Keyfactors inselecting adatawarehouse architecture »,BusinessIntelligenceJournal,vol.10,no.2.
Comparaisonentrelesarchitectures• Critères:
– Qualitédel’information(précise,complète,cohérente);– Qualitédusystème(flexible,extensible,intégration);– Impactsurlesindividus(productivité,décisions,etc.);– Impactsurl’entreprise(satisfactiondesrequis,ROI,etc.).
• Résultats:
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 24
Source:T.AriyachandraetH.Watson(2005).« Keyfactors inselecting adatawarehouse architecture »,BusinessIntelligenceJournal,vol.10,no.2.
Architecture Qualitédel’information
Qualitédusystème
Impactsurlesindividus
Impactsurl’entreprise
Hub-and-spoke 5.35 5.56 5.62 5.24
Busdedatamarts 5.16 5.60 5.80 5.34
Entrepôtcentralisé 5.23 5.41 5.64 5.30
Datamarts indépendants 4.42 4.59 5.08 4.66
Entrepôts fédérés 4.73 4.69 5.15 4.77
Lemodèle DataVault• ProposéparDanLinstedt àlafindesannées90• Objectifs:
– Permettrederetracerfacilementl’informationauxsourcesdedonnées(ex:auditdedonnées);
– Êtrerobusteauxchangementsdumodèled’affaires(ex:relation1-N devenantN-N);
– Réduirelescontraintesreliéesauxrèglesd’affairesendifférantcelles-ci(ex:datamarts enaval);
– Permettreunchargementefficacedesdonnées
• Principedebase:– Séparerl’informationstructurelle(Hub+Link)desattributsdescriptifs(Satellites).
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 25
Lemodèle DataVault• Hub:
– Représentelesconceptscentrauxdel’entreprise(ex:Client,Vendeur,Produit,etc.);
– Modéliseuniquementlacléd’affairesduconcept(aucunattributdescriptif).
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 26
Clé primaire artificielle
Clé d’affaires
Dernier chargement (timestamp)
Sourcedel’enregistrement
HubProduitID
CodeProduit
ChargementTS
EnregistrementSrc
Structuregénérale Exemple:HubProduit
Note:stabilité assuréeparlaclé d’affairesquichangerelativementpeu souvent
Lemodèle DataVault• Link:
– Représentelesrelationsnaturellesentrelesclésd’affaires(ex:lienentreClientetProduit=Vente);
– Necontientaucunattributdescriptif.
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 27
Clé primaire artificielle
Clé artificielle Hub1
...
Clé artificielle HubN
Dernier chargement (timestamp)
Sourcedel’enregistrement
LinkTransactionID
HubClientID
HubProduitID
HubVendeurID
ChargementTS
EnregistrementSrc
Structuregénérale Exemple:LinkTransaction
Note:utilisé mêmepourlesrelations1-Net1-1
Lemodèle DataVault• Satellite:
– Contientl’informationdescriptivereliéeàunecléd’affaires(HubouLink);
– L’informationd’unmêmeHubouLinkpeutêtreséparéeenplusieursSatellites(selonlasource,fréquencedemiseàjour,etc.)
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 28
Clé primaire artificielle Hub
Dernier chargement (timestamp)
Attribut 1
...
Attribut N
Sourcedel’enregistrement
Structuregénérale Ex:SatelliteClient1
HubClientID
ChargementTS
Nom
Prénom
Adresse
EnregistrementSrc
SatelliteClient2
HubClientID
ChargementTS
DateNaissance
DatePremierAchat
...
EnregistrementSrc
13 DATA VAULT MODELING GUIDE | 5/15/2012
Sam
ple Data Vault M
odel
Fig. 15 Full D
ata Vault M
odel
Source:HansHultgren. IntroductoryGuidetoDataVaultModeling,2012.
Lemodèle DataVault• Chargementdesdonnées:– PuisquelesHubssontdécouplés(aucunecléétrangèred’unHubàunautre),onpeutleschargerenparallèle;
– MêmechosepourlesLinksetSatellites.
• Lienaveclamodélisationdimensionnelle:– LesHubsetleurSatellitescorrespondentauxtablededimension;
– LesLinksetleurSatellitescorrespondentauxtablesdefaits;– Ilfautappliquerlesrèglesd’affaireslorsqu’onchargelesdatamart (schémaenétoile)àpartirduDataVault.
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 30
Questions• Lesmagasins/entrepôtsdedonnéess’emploient-ilsdansun
contexteopérationnel(pasanalytique)?
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 31
Comptoirsdedonnéesopérationnelles(Operational datastore– ODS)
• Caractéristiques:– Intègrentetconsolidentdesdonnéesdesourceshétérogènesdanslebutdefacilitercertainesopérationsdel’entreprise;
– Peuventservirdesourceàdessystèmesopérationnelsouunentrepôtdedonnées;
– Contiennentrarementdesdonnéeshistoriques;
– Mettentàjourlesdonnéesaulieudelesajouter;
– Effectuentleschangementspresqueinstantanémentaulieudelesfaireenlot;
– Neremplacentpaslesentrepôtsdedonnées.
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 32
Comptoirsdedonnéesopérationnelles(Operational datastore– ODS)
• Utilisations:– Validerdesrèglesd’affairescomplexesimpliquantdesdonnéesdeplusieurssources;
– Analyserdesdonnéesconsolidéesen(quasi)temps-réel;
– SimplifierleprocessusETLd’unentrepôtdedonnées
• Exemplesd’applications:– Bancaire:validerentemps-réellasolvabilitéd’unclientappliquantpourunprêt,lorsquelescomptes,placements,etdossiersderisquedesclientssontgéréspardesapplicationsdifférentes;
– Télécom:suggérerunnouveauforfaitàunclientensebasantsursesstatistiquesrécentesd’utilisation.
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 33
Questions• Quefairelorsquel’entreprisen’apaslesmoyensd’acquérir
et/oumaintenirl’infrastructurenécessaireàl’entrepôtdedonnées?
• Quefairelorsquel’entreprisen’apasl’expertisepourinstalleretconfigurerlesressourcesmatérielles/logiciellesnécessairesàl’entrepôtdedonnées?
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 34
Entrepôtsdedonnéeshébergés(cloud)• Caractéristiques:– L’infrastructurematérielleetinformatiquerésidesurlesited’unfournisseur;
– L’entrepriselouel’infrastructure.– Deuxtypes:plate-formeentantqueservice(PaaS)oulogicielentantqueservice (SaaS)
• Avantages/inconvénients:(+) Minimisentl’investissementdansl’infrastructure;(+) Libèrentlesressourcesmatériellesethumainesde
l’entreprise;(+) Évitentlestâchesdemise-à-jouretdemaintenance;(−)Moinsrentableàlongterme;(−) Sécuritéetdomaineprivédesdonnées.
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 35
Entrepôtsdedonnéeshébergés(cloud)
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 36
Source:WayneEckerson,« CloudBIAdoption:Gauging Market Demand »,BeyeNetwork, 2011
Entrepôtsdedonnéeshébergés(cloud)
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 37
Source:TATAConsultancy Services, BusinessIntelligence ontheCloud:Overview andUseCases, 2012
Solutionscléenmain• DataWarehouse Appliance (DWA):
– Ensembleintégrédeserveurs,dispositifsdestockage,DBMS,systèmesd’exploitationetdelogicielspré-installésetpré-optimiséspourl’entreposagededonnées;
– Utilisentunearchitecturedetraitementmassivementparallèle;
– Solutionallantduterabyte aupetabyte.
• Avantages/inconvénients:(+) Faiblescoûtsdemise-en-placeetdemaintenance;(+) Bonnesperformanceetextensibilitédueàl’architecture
parallèle;(+) Permetd’obtenirrapidementdesbénéfices;(−) Achattrèsdispendieux($100K- $1M).
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 38
Solutionscléenmain
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 39
Solutionscléenmain
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 40
Source:www.teradata.com, 2014
Architecturesorientéesservice• Serviceoriented architectures (SOA):
– Méthoded’intégrationdesystèmesoffrantdesfonctionnalitéssouslaformedeservicesinteropérables;
– Permetlacommunicationentredessystèmesquin’ontpasétéconçusdanscetteoptique,etleurparticipationconjointedansdesprocessusd’affaires.
• Danslecontextedesentrepôtsdedonnées:– Facilitelacommunicationentrelessourcesetlesapplications– Utilisédansl’architectureEntrepriseApplicationIntegration(EAI)pourl’intégrationdesdonnées
– Réduitlesdépendancestechniquespermettantuneapproche« best-of-breed ».
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 41
Questions• Quellessontlesprincipalescomposantesd’unentrepôtde
données?
• Commentfait-onpourrendrecescomposantesleplusmodulairepossible?
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 42
Métadonnées• Définition:– Informationdéfinissantetdécrivantlesstructures,opérationsetlecontenudusystèmedeBI;
– Troistypes:technique,d’affairesetdeprocessus.
• Métadonnéestechniques:– ETL:sourcesetciblespourlestransfertsdedonnées,transformations,règlesd’affaires,etc.
– Stockage:tables,champs,types,indexes,partitions,dimensions,etc.
– Présentation:modèlededonnées,rapports,cédules,privilègesd’accès,etc.
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 43
Métadonnées• Métadonnéesd’affaires:– Décritlecontenudel’entrepôtentermescompréhensiblesparlesutilisateursd’affaires;
– Ex:descripteursdetablesetchamps.
• Métadonnéesdeprocessus:– DécritlerésultatdediversesopérationsdusystèmedeBI;– Ex:logsETL(début,fin,écrituresdisque,…),statistiquessurlesrequêtes,etc.
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 44
Métadonnées• Bénéfices:– Découpleladépendanceentrelatechnologieetsonutilisation(ex:reconfigurerdynamiquementlesystèmeETLpourmodifierouajouterunesource)
– Permetdemonitorer l'étatetlaperformancedelasolutionBI
– Sertdedocumentationausystème– Permetdedéterminerl'impactd'unchangement
• Idéal:– AvoirunseulrépertoiredemétadonnéespartagépartouteslescomposantesdelasolutionBI
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 45
Couchedepréparationdedonnées(back-room)
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 46
Systèmessources
MétadonnéesETLMétadonnéesprocessus:• StatistiquesETL• Résultatsd’audits• Résultatsdefiltrages
Métadonnéestechniques:• Inventairesystèmeetversion• Descriptionsdessources• Schémas relationnels,scriptsLDD• LogiquedestâchesETL• Paramètressauvegarde,sécurité
Métadonnéesd’affaires:• Dictionnairededonnées• Cartelogiquedesdonnées• Logiquedesrèglesd’affaires
Extraction• Profilagededonnées• Capturedes
changements• Extraction
Consolidation• Correctiond’erreurs• Déduplicationdes
données• Conformationdes
dimensions
Livraison• Clésartificielles• SCD• Hiérarchies• Tablesdedimension• Tablesdefaits
ServicesdegestionETL• Lignageetdépendances• Parallélisation• Sécuritéetconformité• Gestiondesdimensions
• Programmationetmonitoringdestâches• Sauvegardeetrestauration• Contrôledeversion/migration• Qualitédesdonnées
ComptoirdedonnéesETL• Historiquedeprocessus• Donnéespréparées• Copiesderéférencedesdimensions• Répertoiredemétadonnées
• Tablesdeconsultation/décodage• Copiesderéférencedeshiérarchies• Donnéesd’audit
• Opérationnels,ODS• ERP,CRM• MDM• Externes
• RDMBS• Fichiersplats,XML• Queuesdemessages• Fichierslog&redo• Formatspropriétaires
SystèmeETL
Couchedepréparationdedonnées(back-room)
• Besoinsgénéraux:– Supportàlaproductivité(ex:environnementdedéveloppement)– Convivialité(ex:interfacegraphiquesimple)– Flexibilité(ex:métadonnées)
• FonctionnalitésETL:– Extraction:
• Ex:profilagedesdonnées,capturedeschangements,copiedesdonnées
– Consolidation:• Ex:règlesdetransformation,résolutiond'incohérences,intégration
– Livraison:• Ex:insertiondanslestablesdefaits/dimensions,gestiondeschangements(SCD)
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 47
Couchedepréparationdedonnées(back-room)
• ServicesdegestionETL:– Planificationdetâches(jobscheduler)– Sauvegarde/restauration– Sécurité– etc.
• ComptoirdedonnéesETL (datastore):– Donnéestemporairesd'extraction(staging area)– HistoriqueduprocessusETL(métadonnéesprocessus,QA)– SauvegardedesréférencesETL(métadonnéestechniques)– etc.
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 48
Couchedestockagededonnées(presentation)
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 49
SystèmeETL
MétadonnéesprésentationMétadonnéesprocessus:• MonitoringdelaBD• Statistiquesd’utilisation
d’agrégats/OLAP
Métadonnéestechniques:• TablessystèmedelaBD• Paramètresdespartitions• Procéduresstockées/scripts
Métadonnéesd’affaires:• Descripteursdetables/champs• Définitionsd’agrégats/OLAP
Architecturedebusd’entreprise(Kimball):
• RDBMSpourleniveaudedétailatomique• Dimensions dénormalisées avecclésartificielles• Dimensions changeantes(SCD)type1,2ou3• Dimensions hiérarchiques• Dimensions etfaitsconformes• Agrégations/OLAP, indexes d’étoile etbitmap• …
Serveurdeprésentation
−Extraction−Consolidation−Livraison
Services degestionETL
Magasinsdedonnées ETL
Back-room Front-room
Couchedestockagededonnées(presentation)
• Objectif:– Fournirunaccèssimplifiéetrapideauxdonnées,pourlesutilisateurs(ex:requêtesadhoc)etapplicationsdeBI.
• Caractéristiquessouhaitées:– Donnéesprovenantdesprincipauxprocessusd'affaires– DonnéesatomiquesETagrégées– Sourceunique dedonnéesàtouslesutilisateurs(peuimportel'emplacementphysiquedesdonnées)
– Analysesvariéesaveclesmêmesdonnées
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 50
Couchedestockagededonnées(presentation)
• Considérations:– Tablesdedimensionsdénormalisées (schémaenétoile)– Clésartificielles– Dimensionsàévolutionlente(SCD1,2,3)– Dimensionsconformesbaséessurlamatriceenbusdedonnées– Donnéesatomiquesauniveaudestransactions– Stratégiesd'agrégation(ex:OLAP,ROLAP,etc.)– Stratégiesdeperformance(ex:index,partitionnement,etc.)– etc.
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 51
Couchederestitutiondedonnées(front-room)
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 52
Serveurdeprésentation
MétadonnéesderestitutionMétadonnéesprocessus:• Statistiquesd’exécutionde
rapports,requêtes,etc.• Statistiquesd’utilisation
delasécurité réseau
Métadonnéestechniques:• Couchesémantique BI• Définitiondesrapports/
requêtesstandards• Logiqueapplicative• ParamètresduportailBI
Métadonnéesd’affaires:• Listedesattributsconformes• PolitiquedesSCD• Politiquesdegestiondes
valeursnulles/erreurs• Documentationutilisateur
ServicesdegestionBI• Reporting d’entreprise• Reformulationderequêtes• ServicesduportailWeb
• Monitoringd’utilisation• Applicationdelasécurité• Applicationdelaconformité• Gestiondesrequêtes
ComptoirsdedonnéesBI• Rapportsstockés• Cachesdesserveursd’application• BDusager,tableurs,documentsetprésentations• Donnéesd’authentificationetd’autorisation
ApplicationBITypesd’application
• BIopérationnel• InterfaceduportailBI• Applicationspersonnalisées• Interfacespourplateforme
mobile
• Requêtesàaccès direct• Rapportstandards• Applicationsanalytiques• Tableauxdebord/scorecards• Modèlesdeforagededonnées
• Modèlesdimensionnels
• Donnéesatomiquesdesprocessusd’affaires
• Dimensions/faitsconformes
Couchederestitutiondedonnées(front-room)• Objectifs:
– Supporterlesbesoinsanalytiquesdesutilisateurs• Ex:rapports,analyseOLAP,fouillededonnées,etc.
– Offrirdesinterfacesd'accèssimplifiéesauxdonnées• Ex:portailWeb,serviceSOA
– Offriruneperformanceadéquate
• ServicesdegestionBI:– Gestiondesrequêtes
• Reformulation/optimisation• Redirectionverslabonneressourceinformationnelle• Navigationd'agrégation• Gestiondepriorité
– Gestiondelasécurité/accès– Monitoringdel'utilisation/performance
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 53
Couchederestitutiondedonnées(front-room)
• ComptoirsdedonnéesBI:– Modèlesderapports– Cacheduserveurd'application(performance)– Magasindedonnéeslocaux(attentionauxsilosdedonnées)– etc.
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 54
Questions
• Quellessontlesprincipalesétapesdansledéveloppementdel’architecture?
• Comments’assure-t-onquel’architecturerépondbienauxbesoinsd’affairesinitiaux?
• Commentfait-t-onpourchoisirlesproduitslesmieuxadaptésauxbesoinstechniques?
Département degénielogicieletdesTI MTI820Hiver2011– C.Desrosiers 55
Processusdedéveloppementd’architecture
• Questionsselonleniveaudedétail:
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 56
Niveaudedétail Back-room Front-room
Besoins d’affaires etauditdedonnées
• Comment obtenirlesdonnées nécessairesauxbesoins d’affaires?
• Commentmesurer,suivre, analyser etfaciliterlesopportunités d’affaires ?
Implicationsarchitecturellesetmodèles
• Quelles sont lesfonctions etcomposantesnécessaires pour obtenirlesdonnées danslaforme, l’endroit etlemoment désirés.
• Quels sontlesprincipales sources dedonnées etoùsont-elles situées ?
• Quelestlastratégiedemétadonnées ?
• Querequièrentlesutilisateurs pouravoirl’informationdans uneformeutilisable ?
• Quelle estlastratégiedeportailBI?
Modèles détailléesetspécifications
• Quelestlecontenu spécifique dechaquesourcededonnées ?
• Quelsont lescapacitésspécifiques dechaqueservice ?
• Àquoi ressemblent lesrapportsstandards?
• Comment ceux-ciseront-ils présentés?• Quelestledesign duportailBI?
Sélection deproduitetimplémentation
• Quels produits fournissent lescapacitésrequises ?
• Comment ceux-ciseront-ils assemblés ?
• Quels produits fournissent lescapacitésrequises ?
• Comment ceux-ciseront-ils assemblés ?
Documentd’implicationsarchitecturelles• Exemple:
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 57
Besoinsd’affaires Implicationarchitecturelle Sous-système Valeur/priorité
Améliorer letauxderéponse àl’aide d’unestratégiedeventecroisée
Outils d’intégrationpermettantdecoupler lesclientsaveclesproduits ETL Haute/8
Créationdelistesdeventecroiséeetmonitoring debaseàl’aided’outils BI
App.BI Moyenne /7
Traitementdesoffres etsuivi desréponses parle systèmeCRM AppBI N/A
Améliorer letauxderéponse àlacampagneparcourrielenfournissant auxanalystes desoutilspourgénérerleslistes declientsciblés
Application analytique App.BI Moyenne /7
Augmenterlaprécision desprédictions deventeàl’aided’unemeilleure historiquededonnées etdemeilleursmodèles analytiques
Application analytique avecprédiction deséries temporelles
App.BI/foragededonnées N/A
Extrairedel’information dessystèmesexternes pourlesuivi desventes ETL Haute/8
Documentdeplanarchitecturel• Contenu:
1. Descriptionsommaireduprojetetsesobjectifs;2. Méthodologie;3. Besoinsetimplicationsarchitecturelles;4. Survoldel’architecture• Ex:modèlehaut-niveau,métadonnées,couchesdeservice,
etc.5. Composantesarchitecturellesprincipales• Ex:ETL,applicationsBI,sourcesdedonnées,répertoirede
métadonnées,infrastructure,etc.6. Processusdedéveloppementdel’architecture• Ex:phases,preuvedeconcept,standardsetsélectionde
produits,etc.7. Modèlearchitecturel.
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 58
Modèlearchitecturel (exemple)
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 59
Projetcentrésurlesdonnéesd’unclubdepointsd’unechaîne de
supermarchés
Sélectiondesproduits• Guidéeparlesbesoinsd’affaires;• Étapes:
1. Comprendreleprocessusd’achatdel’entreprise;2. Faireuneétudedemarché:
• Sources: internet,coursetséminaires,publicationsdudomaine,consultantsexternes,etc.;
• Critères:fonctionnalité,performance,productivité,support(technique,documentation,formation),etc.
3. Évaluerlessolutionslesplusprometteuses• Ex:rencontresaveclesvendeurs,versiond’essai,comparaisonde
prototypes,etc.4. Rédigerunrapportderecommandationdeproduit;5. Testerleproduitretenudurantunepérioded’essai(ex:90jours);6. Négocierlecontrat(licences,support,formation,etc.).
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 60
Matriced’évaluationdeproduits
• Exemple:
Département degénielogicieletdesTI MTI820Hiver2011– ©S.Chafki,C.Desrosiers 61