30

Cloud Azure – Services de données et bonnes pratiques

Embed Size (px)

DESCRIPTION

Durant cette session, nous vous présenterons les différentes options de stockage de données Windows Azure SQL/NoSQL, PaaS/IaaS et les bonnes pratiques pour identifier celle(s) correspondant à votre besoin. Une application web d’Emailing sera démontrée et permettra notamment d’expliquer les avantages d’utiliser une combinaison de plusieurs options de stockage. Nous terminerons par un retour d’expérience sur une solution permettant de gérer de gros fichiers (>150 Go) et les bénéfices apportés. Speakers : Benjamin Moulès (Microsoft France), Jean-Luc Boucho (Infosys), Mickaël Mottet (Econocom-Osiatis)

Citation preview

Page 1: Cloud Azure – Services de données et bonnes pratiques
Page 2: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud

Cloud Azure – Services de données et bonnes

pratiques

Mickaël MOTTETConsultantEconocom-Osiatis@MCKLMT

Jean-Luc BOUCHOArchitecteInfosys@JeanLucBoucho

Benjamin MOULÈSEvangélisteMicrosoft@benjmou

Page 3: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

• Windows Azure Storage• SQL Server IaaS• SQL Database• Services de cache• CloudBox• Questions / réponses

Agenda

Page 4: Cloud Azure – Services de données et bonnes pratiques

29 Mars 2014

http://bit.ly/GWAB2014Paris

Page 5: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

Depuis votre smartphone sur :http://notes.mstechdays.fr

De nombreux lots à gagner toutes les heures !!!Claviers, souris et jeux Microsoft…

Merci de nous aider à améliorer les Techdays !

Donnez votre avis !

Page 6: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

Apps

data

servicesHDInsight

app

services

media

hpcintegratio

n analytics

caching identityservice

bus

web sitesmobile

services

cloud services

infrastructure

servicescdn

virtual network vpn

traffic manager

virtual machines

SQL database table

blob storage

Les Services Windows Azure

Page 7: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

WINDOWS AZURE STORAGE

BLOBS, TABLES et FILES d’ATTENTE

Page 8: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

Scenarios

TablesStockage NoSQL

QueuesFiles de messages

BlobsStockage de fichiers- Assets Digitaux- Streaming - Images Disques- Sauvegardes,

Archives…

- Entités (Key/Value) distribuées, sans schéma fixe

- Catalogue produits, profils, logs…

- Découplage des modules applicatifs

- Routage vers des tâches de fond

- …Compte de stockage: 100 To max, choix du Datacenter

Haute disponibilité, scalabilité, sécuritéServices Web 100% REST, SDKs

Page 9: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

Deux modes• Block : par

morceaux, 200Go max

• Page : accès aléatoire, 1To max

Métadonnées• En-têtes standards

(Cache-Control, Content-Encoding, Content-Type…)

• Clés-valeurs custom

Blobs

Services: PutBlob, GetBlob, DeleteBlob, CopyBlob, SnapshotBlob, LeaseBlob…

Page 10: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

Entité• 255 propriétés / 1 Mo

max• Type .NET standard

(string, binary, bool, DateTime, GUID, int…)

• Timestamp (lecture seule)

Identifiant indexé• PartitionKey / RowKey• Scalabilité : distribution

des partitions sur les nœuds de stockage

• Entités d’une même partition sont stockées ensemble

Update optimiste: via http Etag

Tables

Services: Insert, Update, Delete, Query, Entity Group Transaction…

http://<account>.table.core.windows.net/<table>

Page 11: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

Files• Principe FIFO• Nombre de messages

illimités

Message• 64Ko max• Durée de vie

(expiration TTL: 1 seconde à 7 jours)

• Timeout de visibilité (<= Expiration)

• Métadonnées

Queues

Services: Put, Get, Peek, Delete, Update…

http://<account>.queue.core.windows.net/<queue>/messages

Page 12: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

https://moncompte.blob.core.windows.net/moncontainer/ fichier.txt?sr=b&sv=2012-02-12&si=Consultation &sig=0%2BbEtnCWhRbvv%2FEa1YjHMQwCCZyZmKUTHy36crYSSq4%3D

https://moncompte.blob.core.windows.net/moncontainer/ fichier.txt?sr=b&sv=2012-02-12&st=2014-02-08 T14%3A45%3A41Z&se=2014-02-15 T15%3A45%3A41Z&sp=r&sig=WK01J3MufaKu%2BW0A0doAPd%2BBTqcQoKN1vwjH%2B4y3pXY%3D

Pour aller plus loin

• https• Accès privé : 2

clés secrètes (512bits)

• Accès partagé : URL Shared Access Signatures, via policy ou adhoc

• Accès public

• Géo-Réplication + accès lecture seule

• Métriques, Logs, Alertes

• Amélioration Portail, Visual Studio Server Explorer, API

• Service d’Import / Export de disques durs

Sécurité Bonnes pratiques Nouveautés 2013

• Choix : Blobs, Tables, Queues

• Coût / Performance : Groupe d’Affinité, Caching, CDN, Mode Batch, Parallélisation

• Emulateur local• WATK, AzCopy,

Outils tiers…

Page 13: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

TarificationCapacité de stockage

Transactions de stockage: €0,01 pour 100 000 transactions(http://www.windowsazure.com/fr-fr/pricing/details/storage/)

CAPACITÉ DE STOCKAGE

LOCALEMENT REDONDANT

GÉOGRAPHIQUEMENT REDONDANT

GÉO-REDONDANT AVEC ACCÈS EN LECTURE (tarif Preview)

Premier 1 To 1/mois €0,053 par Go €0,071 par Go €0,079 par Go

49 To suivants/mois €0,049 par Go €0,06 par Go €0,068 par Go

450 To suivants/mois €0,045 par Go €0,053 par Go €0,06 par Go

500 To suivants/mois €0,041 par Go €0,049 par Go €0,056 par Go

4 000 To suivants/mois

€0,034 par Go €0,045 par Go €0,053 par Go

4 000 To suivants/mois

€0,028 par Go €0,041 par Go €0,049 par Go

Plus de 9 000 To/mois

Nous contacter Nous contacter Nous contacter

Page 14: Cloud Azure – Services de données et bonnes pratiques

démo

Architecture/Azure/Cloud#mstechdays

APPLICATION D’EMAILING

http://bit.ly/AzureEmailing

Page 15: Cloud Azure – Services de données et bonnes pratiques

démo

Architecture/Azure/Cloud#mstechdays

Page 16: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

SQL SERVER IAAS

Virtual Machines

Page 17: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

• Une machine virtuelle que vous créez (ou uploadez) et gérez

• Disques VHD stockés dans des blobs (type page)

• Plusieurs éditions (Web, Standard, Enterprise) et versions disponibles (2008, 2012, 2014 CTP2)

• Migration facilité car pas de modification

• Identique à SQL Server installé chez vous

• Scalabilité verticale

Présentation

Page 18: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

• Créer des groupes d’affinité (ou un réseau virtuel)

• Utiliser des disques différents pour les fichiers– Données– Journaux– TempDB

• Mettre tous les disques dans le même compte de stockage

• Considérer la désactivation de la géo-réplication

• Utiliser des ACLs pour protéger le port 1433 ou ne pas utiliser le port standard

• Livre blanc : Performance Guidance for SQL Server in Windows Azure Virtual Machines http://bit.ly/SQL-IaaS-Perf

Bonnes pratiques

Page 19: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

Coût

S1.6GHz CPU,

1.75GB RAM

M2 x 1.6GHz

CPU, 3.5GB RAM

L4 x 1.6GHz CPU, 7GB

RAM

XL8 x 1.6GHz CPU, 14GB

RAM

A52 x 1.6GHz CPU, 14GB

RAM

A64 x 1.6GHz CPU, 28GB

RAM

A78 x 1.6GHz CPU, 56GB

RAM

Web 74.80€ 124.67€ 224.40€ 448.79€ 246.56€ 468.18€ 936.36€

Standard

354.60€ 404.47€ 504.20€1

008.39€526.36€ 747.98€

1 495.96€

Enterprise

1 213.39€

1 263.25€

1 362.98€

2 725.96€

1 385.15€

1 606.77€

3 213.53€

• Coût d’une VM avec licence SQL Server par mois hors stockage et bande passante

Page 20: Cloud Azure – Services de données et bonnes pratiques

démo

Architecture/Azure/Cloud#mstechdays

SQL SERVER IAAS

Page 21: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

WINDOWS AZURE SQL DATABASE

Database

Page 22: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

• SQL Database ≠ SQL Server en IaaS• Base entièrement gérée par la plateforme• Données hautement disponibles redondées 3 fois• Focus sur son application• Modifications de la base parfois nécessaires• Réversibilité possible• Scalabilité horizontale avec les fédérations• Performances non prédictibles (sans édition Premium)• Coût inférieur à celui d’une VM

Présentation

Page 23: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

• Développer sur SQL Database ou tester régulièrement la compatibilité

• Utiliser des politiques de réessai

• Indexer correctement sa base de données…

• …mais pas trop pour en réduire les coûts !

• Défragmenter ses index pour réduire la taille de sa base

• Utiliser du cache pour réduire la charge

Bonnes pratiques

Page 24: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

Coût

Edition Taille Prix par base et par mois(au prorata d’une journée)

Web et Business

0 à 100 Mo 3,72€

100 Mo à 1 Go 7,44€

1 Go à 10 Go 7,44€(pour le premier Go)

2,976€(pour chaque Go additionnel)

10 Go à 50 Go 34,23€(pour les 10 premiers Go)

1,487€(pour chaque Go additionnel)

50 Go à 150 Go 93,74€(pour les 50 premiers Go)

0,744€(pour chaque Go additionnel)

PremiumP1 346,29€

(+0.08€ de stockage par Go)

P2 692,58€(+0.08€ de stockage par Go)

• Edition Web et Business (hors bande passante)

Page 25: Cloud Azure – Services de données et bonnes pratiques

démo

Architecture/Azure/Cloud#mstechdays

WINDOWS AZURE SQL DATABASE

Page 26: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

• In-Role Cache– Cache réparti dans les instances de Cloud Services

• Gratuit : si partagé• Payant : si dédié

– Bonnes performances– Uniquement accessible dans le même Cloud Service

• Cache Service– Service payant– Hautes performances (1ms en lecture, 1.2ms en écriture)– Accessible de Cloud Services, VM ou WebSite– Jusqu’à 150 Go par instance de cache (5 Go x 30)

• Compatibles avec MemCached

Services de Cache

Page 27: Cloud Azure – Services de données et bonnes pratiques

démo

Architecture/Azure/Cloud#mstechdays

CLOUDBOX PAR INFINITESQUARE

Page 28: Cloud Azure – Services de données et bonnes pratiques

Architecture/Azure/Cloud#mstechdays

User ID/Pwd

Worker Role

Multitenant worker

Service Bus SQL Databas

e

Application Metadata (Path / Hierarchy / Filename …)

Blob Storag

e

Large Files

BrowserWeb Role

ASP.NETMVCWeb API

File Management interface (GUI + API)

Multi Tenant

Local Storage Server (10To) /

“Cloudbox” Windows Service

Blob Storage Upload Service

HTTP REST

On Premise

Windows Azure

SQL

Push Video Files on Local Windows NAS or via FTP SignalR +

Service Bus

SQL

Blob to FTP service

Page 29: Cloud Azure – Services de données et bonnes pratiques

Testez dès maintenant Windows Azure !

MSDN: jusqu’à 115€ de

ressources mensuelles

150€ de ressources le 1er mois pour toute

ouverture de compte

Poursuivez la discussion

sur le stand “au coeur du SI”

Partenaires: jusqu’à 75€ de

ressources mensuelles

http://aka.ms/Azure/Partner

http://aka.ms/free/trial

http://aka.ms/MSDN/Avantages/Abo

Page 30: Cloud Azure – Services de données et bonnes pratiques

© 2014 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

Digital is business