Les coulisses du premier cloud OpenStack européen

OpenStack Cloud : du projet à la réalité

1

Raphaël Ferreira - CoFounder

@ enovance

+ =

mardi 12 juin 12

2

QUI SOMMES NOUS ?

mardi 12 juin 12

3

Nouvelle génération de services d’Hébergement & d’Infogérance

Infrastructures Cloud Open SourceOpenStack, Puppet, Stockage Distribué Ceph,

Multi-Cloud Management 24x7x365eNoCloud, AWS Partner, RackspaceCloud Partner, Peer1 Partner

Amélioration de l’expérience utilisateursHaute Performance, Haute Disponibilité, Agrégation de Cloud & CDN, Monitoring Performance

Web, Mobile & Big DataElasticité, Réactivité, Distribution internationale, Performance, Résilience

mardi 12 juin 12

4

Expertise

mardi 12 juin 12

5

Paris & Montreal

• Equipes bilingues Anglais - Français• Maintiens en conditions opérationnelles : 24x7x365• Exploitation & Intégration : 09h00 - 01h00• Effectifs : 25 personnes (2/3 techniques)

mardi 12 juin 12

6

Certifications

Organisation, Process & Méthodologie ITIL V3, ISO 9001-2008, ISO 20000-1

Innovation, Recherche & Développement OSEO Innovation, Jeune Entreprise Innovante,Labellisé Systematic

Environnement ISO 14000

Santé et Sécurité au travail OHSAS 18001

Datacenters ISO 27001, ISO 9001, ISO 14001, OHSAS 18001, PCI-DSS

mardi 12 juin 12

7

Weekendesk : hébergement et infogérance de la plateforme eCommerce et agrégation de CDN

Kreactive : hébergement d’applications mobiles et facebook à plus de 4000 requêtes simultanées

Streamlike : diffusion des vidéos Louis Vuitton, PSA, Alston... dans le monde entier

Motricity : Datacenter européen du groupe pour la gestion des régies publicitaires et applications mobiles de Nokia, TF1, Canal Plus, Bouygues Telecom....

LeGuide.com : Accélération des performances du premier comparateur de prix en Europe

Total Immersion : Plateforme de réalité augmentée sur AWS à destination de Ray Ban, Repsol, Afflelou...

Références

mardi 12 juin 12

8

INTRODUCTION

mardi 12 juin 12

9

Où se situe votre entreprise sur le chemin du cloud ?

1- Virtualisation 2 - Cloud Datacenter 3 - Cloud Federation

Les entreprises déploient des clouds pour ...

Répondre aux besoins de ressources et de réactivité des métiers

Contrôler et superviser l’environnement dans son intégralité

Rationaliser les infrastructures et optimiser les coûts

mardi 12 juin 12

10


Les Datacenters sont virtualisés, les Serveurs d’abord !

Hyperviseur : transformer 1 serveur en plusieurs machines virtuelles (VMs)(Vmware ESX, Citrix Xen, KVM,...)

Abstraction matérielle pour chaque serveur

Les hyperviseurs fournissent une abstraction entre les applications et le matériel (serveurs)

HOST 1 HOST 2 HOST 3 HOST 4

VM

Meilleure utilisation des ressources par serveur

Automatisation et efficacité

mardi 12 juin 12

11


Etape suivante : Stockage, réseau...

Flexibilité et efficacité à la clé

Serveurs Virtualisés

Les pools de ressources pour les applications commencent à se former....


Réseau Virtualisé Stockage Virtualisé

mardi 12 juin 12

12


Mais les questions arrivent quand l’environnement grossit ...


+

APPS USERS ADMINS

La multiplication des VM peut devenir rapidement ingérable

Comment rendre les applications cloud aware ? Comment offrir du Libre Service aux employées ?

Où devez vous déployer une nouvelle VM ? Comment tracer toutes les interactions ?

mardi 12 juin 12

13


Mais les questions arrivent quand l’environnement grossit ...


+

APPS USERS ADMINS

La multiplication des VM peut devenir rapidement ingérable

Une couche de Management Cloud est manquante (automatisation, consolidation, abstraction, multi-hyperviseurs, API...)

mardi 12 juin 12

14


Solution : OpenStack, Cloud Operating System


APPS USERS ADMINS

Un niveau de management supplémentaire offrant automatisation et contrôle

CLOUD OPERATING SYSTEM

Créez des pools de ressources Automatiser la gestion du réseau

Connectez les applicationsvia les APIs

Portail Libre Servicepour les utilisateurs

mardi 12 juin 12

15



Disposer d’ une Plateforme Commune inter-cloud.

Transporter simplement vos services

La suite ...

mardi 12 juin 12

16

Le Projet

mardi 12 juin 12

17

La Mission

• Plateforme OpenSource de Cloud Computing (niveau IaaS)• Dédiée aux opérateurs de clouds publics ou privés • Indépendamment de leur taille, • Simple à installer et massivement évolutive,• en utilisant du matériel standard à coût attractif.

mardi 12 juin 12

18

Historique

Mars Mai Juin Juillet2005 2010

Rackspace & NasaDéveloppent

des projets clouds

Rackspace Opensource

Swift

Nasa Opensource

Nova

Naissance du projet

Openstack

Premier Design Summit

à Austin

mardi 12 juin 12

19

Historique

Oct Fév2010

Première releaseAustin

25 partenaires

Seconde releaseBexar

35 partenaires

Avril

Troisième releaseCactus

70 partenaires

Sept

Quatrième releaseDiablo

120 partenaires

2011 2012

Avril

Cinquième releaseEssex

>150 partenaires

mardi 12 juin 12

20

Principes Fondateurs

• Licence Apache 2.0 (OSI), processus de développements ouvert• Définition ouverte de la Roadmap : 2 Design Summit par an• Référentiel de Code public et ouvert• Documentation et organisation communautaire ouverte et

transparente• Engagement à s’appuyer et à développer des standards ouverts• Conception modulaire pour un maximum de flexibilité via les APIs

mardi 12 juin 12

21

175 IMPLIQUEES3000entreprises

personnes

mardi 12 juin 12

22

• 8eme principal contributeur code

• Packaging Debian OpenStack

• Integration Puppet / OpenStack

• Leader Projet Metering/Accounting/Billing


personnes

mardi 12 juin 12

23

partenaire intégration de Clouds Privés de :


personnes

mardi 12 juin 12

24

Seul Projet Cloud impliquant une majorité d’industriels

• Dell : Lancement d’un cloud public OpenStack, Gamme produits/services Openstack, Développement Crowbar

• HP : Lancement d’un cloud public OpenStack, Gamme produits/services Openstack, Développement logiciel

• Cisco : Développement du projet Quantum, et intégration du provisionning Cisco dans OpenStack

• Citrix : Développement dans Nova et dans les projets de managements (portail...)• NTT : Opère un cloud public OpenStack• Intel : Contribu au code de Nova• KT : Opère un cloud public OpenStack• Arista, Extreme Networks, Netapp, Brocade, RiverBed... : Interfacages en cours entre

les matériels et OpenStack• Différents opérateurs télécoms Francais contibuent également au code

mardi 12 juin 12

25

Un peu de technique

mardi 12 juin 12

26

• Logiciel OpenSource permettant de construire et d’administrer des cloud publics ou privés

• Intervient sur la couche : Infrastructure As A Service• Projet composé de 3 logiciels coeurs et de projets

additionnels complémentaires

mardi 12 juin 12

27

• OpenStack Compute : provisionner et contrôler un large réseau de ressources virtuelles (machines, réseau, stockage)

• OpenStack Object Storage : créer une plateforme de stockage de plusieurs Petabytes hautement disponible à l’aide de serveurs standards

• OpenStack Image Service : gérer et organiser un large catalogue d’images de machines

mardi 12 juin 12

28

Nova (OpenStack Compute)

• Provisioning et gestion de machines virtuelles• Contrôle direct par API• Framework modulaire• Multi-hyperviseurs• Utilisé en production : NASA, Internap, eNovance, Rackspace,

HP , Mercado Libre, Sony....

6RIWZDUH�WR�SURYLVLRQ�YLUWXDO�PDFKLQHV�RQ�VWDQGDUG�KDUGZDUH�DW�PDVVLYH�VFDOH

6RIWZDUH�WR�UHOLDEO\�VWRUH�ELOOLRQV�RI�REMHFWV�GLVWULEXWHG�DFURVV�VWDQGDUG�KDUGZDUH

2SHQ6WDFN�&RPSXWH�

2SHQ6WDFN�2EMHFW�6WRUDJH�

FUHDWLQJ�RSHQ�VRXUFH�VRIWZDUH�WR�EXLOG�SXEOLF�DQG�SULYDWH�FORXGV

mardi 12 juin 12

29

$V\QFKURQRXV�HYHQWXDOO\�FRQVLVWHQW�

FRPPXQLFDWLRQ�

5H67�EDVHG�$3,

+RUL]RQWDOO\�DQG�PDVVLYHO\�VFDODEOH

+\SHUYLVRU�DJQRVWLF��VXSSRUW�IRU�;HQ��;HQ6HUYHU��+\SHU�9��

.90��80/�DQG�(6;�LV�FRPLQJ +DUGZDUH�DJQRVWLF��VWDQGDUG�KDUGZDUH��5$,'�QRW�UHTXLUHG

2SHQ6WDFN�&RPSXWH�.H\�)HDWXUHV

mardi 12 juin 12

30

Zone BNew York

Cloud Public

Zone AParis

Cloud Privé

Zone ZeNovance

Zone XEquinix

Zone YTelecity

Zone W

Internet

Bursting

mardi 12 juin 12

31

Swift (OpenStack Object Storage)• Solution de stockage évolutive• Stockage d’objets• Interface REST• Pas de Single Point of Failure• Pas de taille limite d’objet• Coeficient minimum de réplication de 3, dans des «zones»

séparées• Stable et déployé en production• Utilise des serveurs standards

Swift n’est pas :• RAID, Filesystem distribué, CDN, SAN / NAS / DAS

6RIWZDUH�WR�SURYLVLRQ�YLUWXDO�PDFKLQHV�RQ�VWDQGDUG�KDUGZDUH�DW�PDVVLYH�VFDOH

6RIWZDUH�WR�UHOLDEO\�VWRUH�ELOOLRQV�RI�REMHFWV�GLVWULEXWHG�DFURVV�VWDQGDUG�KDUGZDUH

2SHQ6WDFN�&RPSXWH�

2SHQ6WDFN�2EMHFW�6WRUDJH�

FUHDWLQJ�RSHQ�VRXUFH�VRIWZDUH�WR�EXLOG�SXEOLF�DQG�SULYDWH�FORXGV

mardi 12 juin 12

32

5H67�EDVHG�$3, 'DWD�GLVWULEXWHG�HYHQO\�WKURXJKRXW�V\VWHP

+DUGZDUH�DJQRVWLF��VWDQGDUG�KDUGZDUH��5$,'�QRW�UHTXLUHG

2EMHFW�6WRUDJH�.H\�)HDWXUHV

1R�FHQWUDOGDWDEDVH

6FDODEOH�WR�PXOWLSOH�SHWDE\WHV��ELOOLRQV�RI�REMHFWV

$FFRXQW�&RQWDLQHU�2EMHFW�VWUXFWXUH��QRW�ILOH�V\VWHP��QR�QHVWLQJ��SOXV�5HSOLFDWLRQ��1�FRSLHV�RI�DFFRXQWV��FRQWDLQHUV��REMHFWV��

mardi 12 juin 12

33

Cas d’utilisation :

• Sauvegarde• Contenus web (petits fichiers, beaucoup d’écritures,

énormément de lecture)• Régies publicitaires• Gestion de documents• DRP• Cache• Imagerie médicale

mardi 12 juin 12

34

PROJETS COMPLEMENTAIRES

mardi 12 juin 12

35

Quantum (OpenStack Virtual Network)Gestion d’un réseau virtuel au sein d’OpenStack

• Fournit un bloc complet pour la gestion de réseaux complexes dans les infrastructures clouds

• Service autonome pour OpenStack• Fournit une connectivité réseau entre une sélection d’interfaces

réseaux (interface virtuelle d’un service Compute, interface sur un service de loadbalancing...)

• Expose des API décrivant la connectivité réseau et la configuration entre les interfaces

mardi 12 juin 12

36

Quantum (OpenStack Virtual Network)Exemple d’architecture : Deux services

Quantum Service Quantum Plugin

Tenant API

VM VM VM VM

vswitch vswitch physical switch

FW FW FW

Internal Plugin Communication

Network Edge: Point at which a

service “plugs” into the network.

Firewall Service

Tenant API

Compute Service

Tenant API

mardi 12 juin 12

37

KeyStone (OpenStack Identity)Uni"cation et gestion centralisée des comptes pour l’ensemble des services

mardi 12 juin 12

38

Dashboard (OpenStack Web UI)Module Django pour construire vos interfaces Web

mardi 12 juin 12

39

Use CaseDans les coulisses d’un cloud Open Source

mardi 12 juin 12

40

Objectifs

2

1

3

Utiliser une technologie 100% Open Source

5

4

7

6

Maîtriser le hardware et les infrastructures

Etre compatible avec les autres cloud publics

Localisé en France

Orientation haute performance (I/O...)

Plateformes hybrides sur le même LAN

1 Cloud = 2 niveaux de services

mardi 12 juin 12

41

Sept Déc

Opening Beta 1Diablo Release

60 companies involved

Fév

Opening Beta 2Essex Release

Mars


2011 2012

Mai

Du projet à la réalité

Production ready !

June

Start BuildeNocloud

mardi 12 juin 12

41

Sept Déc



Fév


Mars


2011 2012

Mai


Production ready !

June

Start BuildeNocloud

mardi 12 juin 12


42

Sept Déc



Fév


Mars


2011 2012

Mai

Production ready !

June

Start BuildeNocloud

mardi 12 juin 12


42

Sept Déc



Fév


Mars


2011 2012

Mai

Production ready !

June

Start BuildeNocloud

eNoCloud Beta 1Diablo Release

mardi 12 juin 12

43

Sept Déc



Fév


Mars


2011 2012

Mai

Production ready !

June

Start BuildeNocloud


mardi 12 juin 12

43

Sept Déc



Fév


Mars


2011 2012

Mai

Production ready !

June

Start BuildeNocloud

60 companies

involved


mardi 12 juin 12


44

Sept Déc



Fév


Mars


2011 2012

Mai

Production ready !

June

Start BuildeNocloud

mardi 12 juin 12


44

Sept Déc



Fév


Mars


2011 2012

Mai

Production ready !

June

Start BuildeNocloud

eNoCloud Beta 2Essex Release

mardi 12 juin 12

45

Sept Déc



Fév


Mars


2011 2012

Mai

Production ready !

June

Start BuildeNocloud


mardi 12 juin 12

45

Sept Déc



Fév


Mars


2011 2012

Mai

Production ready !

June

Start BuildeNocloud

120 companies

involved


mardi 12 juin 12


46

Sept Déc



Fév


Mars


2011 2012

Mai

Production ready !

June

Start BuildeNocloud

mardi 12 juin 12


46

Sept Déc



Fév


Mars


2011 2012

Mai

Production ready !

June

Start BuildeNocloud

mardi 12 juin 12

47

eNoCloud : Essex Release

Compute : Provisionner et contrôler un large réseau de machines virtuelles

Object Storage : Stockage redondant et élastique pour vos fichiers statiques

Image Service : Catalogue d'OS et d'applications prêtes à être instanciées

mardi 12 juin 12

48

On-Demand Instances

Elastic Scalability

No lock-in

Open Standards

High performance Cloud

Accessible anywhere

Secure

Hybrid Ready

Déployer des services élastiques à la demande

mardi 12 juin 12

48

On-Demand Instances

Elastic Scalability

No lock-in

Open Standards

High performance Cloud

Accessible anywhere

Secure

Hybrid Ready

Déployer des services élastiques à la demande

Performance & Disponibilité Stockage local sur disques SAS Stockage persistant associé à chaque instance

Elasticité horizontale et verticale Personnalisez et lancez vos instances en quelques minutesElasticité horizontale et verticale

Catalogue d'OS et d'applications prêtes à l'emploi

Large choix d'Operating System Catalogue de plus de 50 applications

Payez à la consommation Pas d'engagement, Pas de facturation minimumVos instances sont facturées à l'heure d'utilisation Vous ne payez que la puissance réellement consommée

Portail & APIs Portail de gestion API REST compatibles EC2, S3 & OpenStack CloudCompatible avec les principales librairies du marché : Ruby Fog, NovaClient, jClouds, ...

Hybride & Interconnexion Configurations hybrides possiblesCompatible avec une intégration de liens privés

Expertise Cloud & Infogérance Conseil , Design, Intégration & AutomatisationInfogérance applicative 24x7x365

mardi 12 juin 12

49

Stockage évolutif et sécurisé à la demandeMassive storage capacity

Scalability on-demand

Fast and simple

Open Standards

No lock-in

Accessible anywhere

Reliable and Secure

mardi 12 juin 12

49

Stockage évolutif et sécurisé à la demandeMassive storage capacity

Scalability on-demand

Fast and simple

Open Standards

No lock-in

Accessible anywhere

Reliable and Secure

• APIs REST OpenStack et AWS S3

• Utilisez les nombreux outils déjà disponibles

• Créer des containers Publics ou Privés

• Haute Disponibilité

• Stockage illimité

• Compte / Container / Objets structure

• Built-in Replication (N copies des comptes, container, objets)

• Pas de DB Centrale, Pas de Single Point of Failure

• 100% Ouvert

• Localisation des données en France

mardi 12 juin 12

50

Contrôler vos ressources via le portail ou les APIs

mardi 12 juin 12

51

Services Levels

100% Independant 100% Managed

Support through tickets only

Provision of Management tools

SLA on infrastructures

Managed services 24x7x365(maintenance on apps & hardware,backups,

monitoring...)

SLA on end-user experience

Infrastructure design, integration

mardi 12 juin 12

52

eNoCloud

Hybride Type 1

Plateformes Privées

LAN

mardi 12 juin 12

53

Hybride Type 2

We Design, Build and Run...

OpenStack Starter Pack

OpenStack Private Cloud

On-premise Hébergé eNoCloud

AWS Cloud EC2

Rackspace Cloud

Private Clouds Public Clouds

Automatisation - Monitoring - Sauvegardes - Haute Performance & Haute Disponibilité - Sécurité+

mardi 12 juin 12

54

Roadmap

• Ouverture d’une troisième Zone à Montréal (Été 2012)• eNoCloud Block Storage• Live Metering• Auto-Scalling• Services PaaS

mardi 12 juin 12

55

Pricing On Demand: Ceilometer

Instance type RAM(GB)Virtual cores

Local Disk (GB)

Price €/hrLinux

Tiny

Small

Medium

Large

XLarge

XXLarge

1

2

4

8

16

32

1

1

2

4

4

8

20

40

80

160

320

320

0,07

0,12

0,22

0,40

0,75

1,40

0,10

0,15

0,28

0,52

0,87

1,66

Price €/hrWindows

mardi 12 juin 12

56

First multi-cloud Market Place for OpenStack & AWS

eNocloud Market Place

mardi 12 juin 12

56

mardi 12 juin 12

56

Exclusive Beta Program

http://marketplace.enovance.com

mardi 12 juin 12



57

Try It !

www. .com

mardi 12 juin 12

58

Témoignages

mardi 12 juin 12

59

Cloud testing for: •Major international event•Simulation of 1 M virtual users

1 million users

+

The eNocloud platform was the perfect complement to our Global Cloud...the flexibility in configurations, the fast access to the servers and eNovance’s expertise made this project a real success»Fred BeringerVP Business Development Europe, SOASTA

mardi 12 juin 12

60

Map Reduce for :•Big Data•Satellite images analysis

+

The Centre National d’Etudes Spatiales (CNES) is the government agency responsible for shaping and implementing France’s space policy in Europe.

mardi 12 juin 12

61

+Stéphane Rios

CEO of FasterizeEx-CTO of Rue du Commerce

Real time optimization of Web site loading time

mardi 12 juin 12

61

+Stéphane Rios



Before

mardi 12 juin 12

61

+Stéphane Rios



After

mardi 12 juin 12

62

+Stéphane Rios


• Requirements

• Automated deployement of code *AND* infrastructure

• cloud agnostic

• multiple environments (dev, integration, staging, etc ...)

• scalability (in & out)

• highly fault-tolerant and distributed platform

• First build on Rackspace public cloud (integration, staging, production)

• support Openstack

• London based (latency)

• Second build on bare-metal servers (production)

Implementation

mardi 12 juin 12

63

+Stéphane Rios


• Our target : our own private cloud

• The only Openstack-based IAAS provider available on the french market

• Highly skilled people

• Openstack contributor

• 24/7 support & managed hosts

• Ability to use beta releases of Openstack (Essex) for tests

Why eNovance ?

mardi 12 juin 12

64

+Stéphane Rios


Tests

• Built on 2 private servers

• ~ 15 VMs , 48 cores, 192 GB RAM, some TB of disks

• easy deploy with Chef, Fog (ruby) and EC2 compliant API of openstack

• stack : NodeJS, 0mq, HAProxy, Nginx, Memcached, MongoDB, Splunk, ...

• Perf tests results

• no noticeable difference between bare-metal and Openstack from the engine point of view

• Next step : open a second production datacenter with eNovance

mardi 12 juin 12

65

+ Graphs

mardi 12 juin 12

65

+ Graphs

mardi 12 juin 12

Raphaël FerreiraT./ +33 1 49 70 99 72M./ [email protected]

http://www.enovance.comhttp://www.enocloud.comhttp://twitter.com/enovance

66

Q & R

mardi 12 juin 12

http://www.enovance.com




http://twitter.com/enovance

http://twitter.com/enovance

Technology

Les coulisses du premier cloud OpenStack européen