Embed Size (px)
Citation preview
LOGO
Mise en place d’une architecture BIG DATA basée
sur le Cloud computing
Société d’accueil : Innova-TUNISIA
Présentée par :Hachem SELMIAhmed DRIDI
Sous l’encadrement de:Houssem TAYARI(ISET)
Khaled MANSOURI(Innova)
Institut supérieur des études technologiques de CHARGUIA
Année universitaire : 2014-2015
Conclusion
Réalisation
Architecture et choix technologiques
Big Data et cloud computing
Introduction
Plan
Présentation générale
Cadre du stage
Présentation générale
Divers sources d’informations
Données massives
1
Présentation générale
2
98,000 comptes Twitter sont crées
695,000 statuts Facebook
11 millions messages instantanés
698,445 recherches sur Google
168 millions mails envoyés
Chaque60
Secondes
Conclusion
Réalisation
Architecture et choix technologique
Big data et cloud computing
Introduction
Plan
Présentation générale
Cadre du stage
Introduction
3
Explosion de volume de l’information
La nécessité d’une nouvelle technologie qui peut traiter un
grand volume de données.
Evolution des systèmes d’information des entreprises
variété et complexité des données
BIG DATA
Conclusion
Réalisation
Architecture et Choix technologique
Big Data et cloud computing
Introduction
Plan
Présentation Générale
Cadre du stage
Cadre du stageOrganisme d’accueil
4
INNOVA-TUNISIA est un acteur dynamique dans les métiers du conseil et l’études systèmes informatiques et internet.
Son équipe se compose du responsable développement, du coordinateur communication chargé d’affaires, des programmeurs de logiciels, des chefs de projets et du directeur général.
Depuis 2010, Innova Tunisia s’est spécialisée dans la veille et le monitoring Internet avec un premier produit WebJort, puis en 2012 avec la solution WebRadar introduite sur le marché Tunisien.
Cadre du stageWeb Radar
5
Toutes les données publiquesProduites par la presse électronique, les réseaux
sociaux, les blogs, les forums
en temps réel
…qui collecte
Cadre du stageWebRadar
6
…qui organisepar date, pays, ville, langue, média, sujet, thème,
personne, organisme, marque, sentiment,…
…qui mesurefréquence, audience, crédibilité,
redondance, tonalité, influence, …
Cadre du stageWebRadar
7
Cadre du stageCritique de WebRadar
Des données …
Des données …
Des données…
DES DONNEES!!
8
Cadre du stage Critique de WebRadar
Avec l’architecture actuelle de WebRadar avec la présence évolutive des informations et données collectées, Innova rencontre plusieurs difficultés
pour stocker , traiter et analyser ces données!!!
9
Cadre du stage Solution proposée
Des nouvelles approches liées au concept de l'informatique décisionnelle.
Une infrastructure dédiée à l’analyse et le traitement des données massives.
Architecture Big Data basée sur le cloud computing.
10
Conclusion
Réalisation
Architecture et choix technologique
Big data et cloud computing
Cadre du stage
Plan
Introduction
Big data et cloud computingC’est quoi la Big Data ?
Big Data
Vélocité
VolumeVariété
11
Big data et cloud computingDécisionnel classique et big data
Décisionnel classique
Volume limité
Données structurés
Statistique descriptive
12
Big data et cloud computingC’est quoi le cloud computing ?
L’utilisation de la mémoire et des capacités de calcul et de stockage d’ordinateurs et de serveurs répartis dans le monde, et liés par un réseau ,tel Internet
13
Big data et cloud computingPourquoi ??????
Répartition des
données
Récupération des
données
14
Conclusion
Réalisation
Architecture et choix technologiques
Big data et cloud computing
Cadre du stage
Plan
Introduction
Architecture et choix technologiques Ancienne architecture
15
Nouvelle architecture
16
Architecture et choix technologiques
Choix technologiques
17
Architecture et choix technologiques
Conclusion
Réalisation
Architecture et choix technologique
Big data et cloud computing
Cadre du stage
Plan
Introduction
Réalisation L’infrastructure virtuelle
Création des machines virtuelles
Installation et configuration de système d’exploitation Debian
Configuration d’un réseau LAN
Installation et configuration de l’écosystème Hadoop
18
RéalisationConfiguration Hadoop
19
Réalisation Migration Sql >>Sql
Importation des données de la base de données Mysql de WebRadar
vers la base de données Mysql existante dans notre cluster avec l’outil
Python.
20
Réalisation Migration Sql >>Sql
21
Migration Sql >>NoSql
Réalisation
Migration des données de la base de données relationnel vers la base
de données Nosql (MongoDB) en utilisant l’outil Mongify
22
Réalisation Migration Sql >>NoSql
23
Réalisation Migration Sql >>NoSql
24
Migration Sql >>NoSql
Réalisation
25
Réalisation Migration Sql >>NoSql
26
Réalisation Réplication de données
La réplication de données après la migration Sql >> NoSql.
27
Réalisation Réplication de données
28
Conclusion générale
Notre projet de fin d’étude est déroulé avec la découverte des nouvelles technologies:
La Big Data Cloud Computing Les bases de données Nosql
Le stage a été une bonne occasion pour intégrer des nouveaux concepts et connaitre des nouvelles sources fiables.
LOGO
Merci pour votre attention !
