Embed Size (px)
Citation preview
Big Data from SpaceLe Big Data et les satellites d’Observation de la Terre
Jérôme GASPERI - DCT/PS/TVI Petit déjeuner DSI- Toulouse, France - 24 mars 2016
Partie IQ u ’ e s t c e q u e l e B i g D a t a
BIGD A T A
Volume Variété Vitesse
€Valeur
Volume
L’ère du pétaoctet
1 PETAOCTET
13.3 ANNEES DE VIDEO HD
1.5 PETAOCTET
TAILLE DES 10 MILLIARDS DE PHOTOS SUR FACEBOOK
20 PETAOCTETS
LA PRODUCTION MONDIALE DE DISQUES DURS EN 1995
50 PETAOCTETS
L’INTEGRALITE DE TOUTE LA PRODUCTION ECRITE DE L’HUMANITE DEPUIS L’INVENTION DE L’ECRITURE DANS TOUTES LES LANGUES
1 p
etao
ctet
= 2
00 0
00 D
VD
s
Variété Vitesse
€Valeur
Brett Ryder - http://www.economist.com/node/15579717
Extraire l’information
http://fivethirtyeight.com/datalab/this-algorithm-knows-you-better-than-your-facebook-friends-do/
Big Data...Big Problem ?
1 m i l l i a rd d e m i l l i a rd d ’ o p é r a t i o n s p a r s e c o n d e e n 2 0 2 4
1,000,000,000,000,000,000
vs
~ 30W ~ 30MW1x 3x
36 37 36
Your Online World: Green IRL, or #dirty?
While the companies assessed in this report own
or operate their own data centers, most companies
either rent server space in colocation facilities, host
their operations with cloud computing vendors and
content delivery networks, and many employ some
combination of these options.
Outside of the colocation companies, no company could
do more to make our favorite sites green than Amazon Web Services. AWS is the dominant player in cloud computing, owning over one fourth of the market by one
estimate, over triple the market share of Microsoft, its
nearest competitor.105 AWS customers should push the company to become more transparent about its energy
footprint, and to make clear what strategies and principles
it is using to reach its 100% renewable energy goal,
particularly in its dirtiest regions, like Virginia.
While these customers may not operate the mega data
centers that Google, Amazon and Microsoft do, their role in building a greener internet is just as important.
Data center operators and cloud computing vendors will
prioritize powering with renewable energy only when their
customers demand it, and those customers need to step
up to the challenge.
The graphic on this page offers a sampling of where some
of the internet’s most popular sites and services are being
hosted – and the relative greenness of the energy that
those data centers are using. Energy demand symbols
are not drawn to scale and are meant to offer a relative
indication.
AmazonWeb
Services
DigitalRealty
DupontFabros
Ebay
FacebookOracle
HP
Yahoo
IBM
Microsoft
Apple
Salesforce
Rackspace
Equinix
Telecity
http://www.greenpeace.org/usa/clickclean/#report
2014
Partie IIB i g Da ta f r o m s p a c e
Vo lume
Doter l'Europe d'une capacité opérationnelle et autonome d'observation de la Terre en tant que « services d’intérêt général européen, à accès libre, plein et entier »
Le programme Copernicus
Coordination technique
Missions Sentinels
Missions Contributrices
Atmosphère
Climat
Marine
Sécurité
Terre
Urgences
Coordination
Etats membres
ESPACE SERVICES IN SITU
Plateformes d’accès
Applications avals
Coordination technique
Missions Sentinels
Missions Contributrices
Atmosphère
Climat
Marine
Sécurité
Terre
Urgences
Coordination
Etats membres
ESPACE SERVICES IN SITU
Plateformes d’accès
Applications avals
0.9 Mds €3.4 Mds €
Atmosphere monitoring
Climate Change
Emergency
Land monitoring
Marine monitoring
Security
Sentinel-1RADAR
S1A - April 2014 S1B mid 2016
Sentinel-2OPTICAL
S2A - June 2015 S2B mid 2016
Sentinel-3ALTIMETER / SEA SURFACE
S3A - Summer 2015 S3B mid 2016
Sentinel-4ATMOSPHERE
2018
Sentinel-5PATMOSPHERE
End 2015Sentinel-5ATMOSPHERE
2020
Sentinel-6ALTIMETER
2020
SentinelLe volet spatial du programme
Copernicus
Sentinel-1RADAR
S1A - April 2014 S1B mid 2015
Sentinel-2OPTICAL
S2A - June 2015 S2B mid 2016
Sentinel-3ALTIMETER / SEA SURFACE
S3A - Summer 2015 S3B mid 2016
PEPSPlateforme d’Exploitation des Produits Sentinel
2015-2017Phase 1
Sentinel 1Radar en bande C
Surveillance maritime, Géophysique, Glaciologie, etc.
Orbite Héliosynchrone Altitude 693 km
Observation Optique, Evolutions des sols, Agriculture, Cartographie, etc.
Orbite Héliosynchrone Altitude 786 km
Sentinel 2
Sentinel 3Hauteurs des océans, Couleur et température de surface
Orbite Héliosynchrone Altitude 814 km
20177 PO
Volume stocké au CNES Toulouse fin 2017
DV
Ds
Bull HPSS
2 PO
7 PO
Disques durs
Stockage Bandes
Migration automatique
Récupération « transparente »
Montage NFS
CNES data center - Toulouse, France
Partie IIIB i g Da ta f r o m s p a c e
Chercher dans des millions d’images ?Trouver
Quand Où Comment
Contenu de l’image ?
Quoi
ex. Dans le cadre d’une étude d’impact sur l’augmentation du niveau des océans, je cherche des images sans nuage de villes côtières situées en Asie
:) :)
:(
Sven Sachsalber | http://www.palaisdetokyo.com/fr/events/sven-sachsalber
Sven Sachsalber | http://www.palaisdetokyo.com/fr/events/sven-sachsalber
17 hours 45 minutes
Traiter les images
Du pixel...Image satellitaire
...à l’informationCarte d’occupation du sol
Cultures
Bâtiment Forêt
Orfeo Toolbox Remote sensing image library Open Source Developed by the French Space Agency
Exemple 1
Orfeo Toolbox More than 70 high level processing chains orthorectification segmentation classification etc.
Orfeo Toolbox More than 70 high level processing chains orthorectification segmentation classification etc.
Supervised learning
(land cover is computed from a set of "well known areas" given by user)
Based on SVM (http://en.wikipedia.org/wiki/Support_vector_machine)
Deep learning
Exemple 2
????
http://techcrunch.com/2014/08/15/google-buys-jetpac-to-give-context-to-visual-searches/
+ =Deep learning
Deep learning !!!!Plutôt adapté à l’extraction d’objets (ex. aéroport, route, tank, etc.) Quelle base de référence d’images ?
Emprise de l’image
Bords de côtes
Toponymes(Continents, Pays, Régions, Etats)
Densité de population
Occupation du sol
…etc…
Couches d’informationsgithub.com/jjrom/itag
iTag
[…etc…] { "name":"Europe", "id":"continent:europe",
"countries":[ {
"name":"Italy", "id":"country:italy", "pcover":37.02,
"regions":[ {
"name":"Valle d'Aosta", "id":"region:valle-d-aosta",
"states":[ {
"name":"Aoste", "id":"state:aoste",
"pcover":37.02, "toponyms":[] } ] } ] }, […etc…]
Temps de traitement < 1 seconde
Métadonnées « améliorées »
Métadonnées « traditionnelles »
California
Coastal
town
spring
without clouds
github.com/jjrom/restoresto
Brett Ryder - http://www.economist.com/node/15579717
Extraire l’information
Heatmaps
Visualiser tous les résultats de recherche ?
Problème
~201 300 produits 11/02/2016
~11000 produits 11/02/2016
[…] je cherche des images sans nuage de villes côtières situées en Asie
Merci !
