{"id":5061,"date":"2019-10-21T08:45:00","date_gmt":"2019-10-21T07:45:00","guid":{"rendered":"https:\/\/wip.geomatys.com\/?p=5061"},"modified":"2024-12-12T11:31:13","modified_gmt":"2024-12-12T10:31:13","slug":"valoriser-ses-donnees-avec-examind-datacube","status":"publish","type":"post","link":"https:\/\/www.geomatys.com\/en\/2019\/10\/21\/valoriser-ses-donnees-avec-examind-datacube\/","title":{"rendered":"Valoriser ses donn\u00e9es avec Examind Datacube"},"content":{"rendered":"

Chaque jour, nous engendrons des trillions d\u2019octets de donn\u00e9es de sources diverses : donn\u00e9es satellitaires, g\u00e9olocalisations, r\u00e9seaux sociaux, e-mails, transactions, donn\u00e9es m\u00e9t\u00e9orologiques\u2026 Chacun contribue \u00e0 cette accumulation de donn\u00e9es en utilisant son Smartphone, effectuant des paiements, en se d\u00e9pla\u00e7ant, etc. Toutes ces donn\u00e9es sont stock\u00e9es. La quasi totalit\u00e9 sont localisables directement ou indirectement et l\u2019ensemble constituent ce que l\u2019on appelle le Big Data<\/strong>.<\/p>\n\n\n\n

Si les entreprises et gouvernements sont bien conscients des enjeux et des b\u00e9n\u00e9ficient qui peuvent \u00eatre tir\u00e9s de cette multitude d\u2019informations, beaucoup peine \u00e0 en extraire les analyses n\u00e9cessaires \u00e0 l\u2019am\u00e9lioration de leurs activit\u00e9s, qui plus est lorsqu\u2019il s\u2019agit d\u2019exploiter utilement la dimension spatiale.<\/p>\n\n\n\n

Ces difficult\u00e9s proviennent du volume et de l\u2019h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 des donn\u00e9es qui complexifient leur analyse. Or, chacun souhaiterait pouvoir analyser et produire des r\u00e9sultats instantan\u00e9ment pour r\u00e9pondre \u00e0 ses probl\u00e9matiques.<\/p>\n\n\n\n

Quel sera l\u2019impact \u00e9cologique de la circulation dans ma ville demain, compte tenu de la m\u00e9t\u00e9o, du trafic et des manifestations exceptionnelles pr\u00e9vus ce jour ? Comment appr\u00e9hender les d\u00e9placements des populations d\u2019\u00e9l\u00e9phants de mer par rapport aux conditions environnementales ? Comment d\u00e9ployer les secours suite \u00e0 un ouragan ?<\/em><\/p>\n\n\n\n

Aujourd\u2019hui, les syst\u00e8mes d\u2019acquisition de donn\u00e9es ouverts se multiplient dans le but de pouvoir produire des analyses toujours plus pertinentes. C\u2019est le cas par exemple, du programme europ\u00e9en de surveillance de la Terre, Copernicus<\/strong><\/a>. Gr\u00e2ce \u00e0 sa constellation de satellites, il permet de collecter une multitude de donn\u00e9es sur les oc\u00e9ans, la v\u00e9g\u00e9tation, l\u2019atmosph\u00e8re, la bathym\u00e9trie, l\u2019altim\u00e9trie, le climat\u2026 Toutes ces donn\u00e9es h\u00e9t\u00e9rog\u00e8nes sont librement accessibles aux entreprises et rendent possible la r\u00e9alisation d\u2019analyses pr\u00e9cises \u00e0 un endroit et un temps donn\u00e9.<\/p>\n\n\n\n

Pour permettre l\u2019accroissement des performances des gouvernements et entreprises, il faut donc pouvoir effectuer des analyses instantan\u00e9es sur une multitude de donn\u00e9es h\u00e9t\u00e9rog\u00e8nes. Cela implique une accessibilit\u00e9 simple aux informations. C\u2019est ainsi que les lacs de donn\u00e9es \u00ab datalake<\/strong> \u00bb ont commenc\u00e9 \u00e0 voir le jour. Ceux-ci regroupent une grande vari\u00e9t\u00e9 de donn\u00e9es brutes h\u00e9t\u00e9rog\u00e8nes.<\/p>\n\n\n\n

Cependant, rassembler ces donn\u00e9es dans des \u00ab datalake<\/strong> \u00bb n\u2019est pas suffisant, puisque la diversit\u00e9 des donn\u00e9es rend difficile leur analyse. Il faut donc concevoir des moteurs d\u2019analyse performant capable d\u2019aller forer dans ces amas d\u2019informations, tout en tenant compte de la dimension spatiale, pour en extraire des r\u00e9sultats pertinents. Tout cela de mani\u00e8re simple et instantan\u00e9e.<\/p>\n\n\n\n

On voit donc \u00e9merger des solutions dites \u00ab Datacube<\/strong> \u00bb. Ces moteurs d\u2019analyses sont capables de se connecter \u00e0 de nombreuses sources de donn\u00e9es vari\u00e9es, de les filtrer selon le type de donn\u00e9es, la situation g\u00e9ographique, la fen\u00eatre temporelle, l\u2019unit\u00e9 de repr\u00e9sentation, etc. et d\u2019en extraire les informations n\u00e9cessaires \u00e0 une analyse tr\u00e8s fine en extrayant facilement des sous-ensembles de donn\u00e9es coh\u00e9rents. Exploiter et valoriser les diverses donn\u00e9es d\u2019une entreprise devient beaucoup plus simple et rapide. On parle alors de Data intelligence, <\/strong>et de GeoIntelligence <\/strong>lorsqu\u2019il est fait usage d\u2019information g\u00e9ographique.<\/p>\n\n\n

\"Schema<\/figure>\n\n\n

Afin de r\u00e9pondre \u00e0 la n\u00e9cessit\u00e9 d\u2019obtenir des analyses toujours plus rapidement sur des donn\u00e9es toujours plus nombreuses,\u00a0Geomatys<\/a>\u00a0a d\u00e9velopp\u00e9\u00a0Examind Datacube<\/strong>, le moteur d\u2019analyse Big Data g\u00e9ospatial.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

D\u00e9j\u00e0 connect\u00e9 \u00e0 une base enrichie et mise \u00e0 jour en continue qui regroupe les donn\u00e9es en libre acc\u00e8s dites \u00ab OSINT<\/strong> \u00bb (Open Source Intelligence), Examind Datacube<\/strong> est \u00e9galement capable de se brancher aux sources de donn\u00e9es de ses clients. Ainsi, cet outil permet gr\u00e2ce \u00e0 des algorithmes d\u2019explorer cette grande diversit\u00e9 de donn\u00e9es et d\u2019en extraire les analyses les plus pertinentes pour le client.<\/p>\n\n\n\n

Dot\u00e9 d\u2019une capacit\u00e9 \u00e0 exploiter et combiner avec pr\u00e9cision une tr\u00e8s grande vari\u00e9t\u00e9 et volum\u00e9trie de donn\u00e9es spatiales et temporelles (trajectoires, mod\u00e8les de pr\u00e9visions m\u00e9t\u00e9orologiques, rejeux d\u2019\u00e9v\u00e8nements, capteurs, donn\u00e9es satellites, donn\u00e9es vecteurs dites froides\u2026), Examind Datacube<\/strong> est capable d\u2019effectuer ses analyses sans dupliquer la donn\u00e9e et m\u00eame, le cas \u00e9ch\u00e9ant, en exploitant uniquement les m\u00e9tadonn\u00e9es enrichies lors de la d\u00e9couverte du jeu de donn\u00e9es. Ainsi, la solution requiert un espace de stockage moindre. Les r\u00e9sultats sont obtenus plus rapidement et optimisent les ressources en calcul n\u00e9cessaires.<\/p>\n\n\n\n

Cet outil est enti\u00e8rement d\u00e9velopp\u00e9 par les \u00e9quipes de Geomatys. Ce qui permet une \u00e9volution continue et ma\u00eetris\u00e9e. Il embarque un environnement logiciel qui permet de traiter des donn\u00e9es g\u00e9ographiques ou non, et de proposer une vari\u00e9t\u00e9 de traitements tel que de l\u2019algorithmie classique, du machine learning<\/strong>, des g\u00e9ostatistiques etc. Ces traitements peuvent \u00eatre mis en \u0153uvre aussi bien en environnement Java que Python. Des travaux dans le domaine des Linked-Data <\/strong>et du Web S\u00e9mantique<\/strong> sont en cours afin de faciliter l\u2019analyse de ces donn\u00e9es et d\u2019am\u00e9liorer leur enrichissement.<\/p>\n\n\n\n

Cet outil volontairement g\u00e9n\u00e9rique, peut donc s\u2019adapter \u00e0 n\u2019importe quel domaine :<\/p>\n\n\n\n

Dans le contexte environnemental actuel, Examind Datacube<\/strong> peut par exemple, aider \u00e0 suivre en temps r\u00e9el les changements environnementaux en agr\u00e9geant les donn\u00e9es climatiques, d\u2019urbanisation, de terres cultiv\u00e9es, d\u2019habitats naturels, de qualit\u00e9 de l\u2019air ou de l\u2019eau. Les d\u00e9cisions sont ainsi facilit\u00e9es gr\u00e2ce \u00e0 des analyses en quasi temps r\u00e9el.<\/p>\n\n\n\n

Dans le domaine de la d\u00e9fense, la centralisation de donn\u00e9es de sources h\u00e9t\u00e9rog\u00e8nes comme les donn\u00e9es g\u00e9ographiques, de r\u00e9seaux sociaux, du dark et du deep web ou encore de traitement de langage peuvent permettre au gouvernement d\u2019identifier des groupes terroristes ou des r\u00e9seaux criminels afin de planifier les interventions n\u00e9cessaires.<\/p>\n\n\n\n

Examind Datacube<\/strong> peut \u00e9galement servir lors des catastrophes naturelles. Dans un premier temps, pour en anticiper l\u2019arriv\u00e9e et permettre l\u2019\u00e9vacuation des zones les plus \u00e0 risque. Puis, suite \u00e0 la catastrophe, faciliter l\u2019intervention des secours en identifiant les secteurs les plus touch\u00e9s gr\u00e2ce \u00e0 la combinaison des donn\u00e9es m\u00e9t\u00e9orologiques, d\u00e9mographiques, d\u2019images drones, de r\u00e9seaux sociaux et d\u2019appels d\u2019urgence. Finalement, Examind Datacube<\/strong> est un moyen de r\u00e9pondre efficacement, simplement et rapidement \u00e0 vos probl\u00e9matiques d\u2019aujourd\u2019hui et de demain, en produisant des informations qualifi\u00e9es issues du croisement de sources diverses.<\/p>","protected":false},"excerpt":{"rendered":"

Chaque jour, nous engendrons des trillions d\u2019octets de donn\u00e9es de sources diverses : donn\u00e9es satellitaires, g\u00e9olocalisations, r\u00e9seaux sociaux, e-mails, transactions, donn\u00e9es m\u00e9t\u00e9orologiques\u2026 Chacun contribue \u00e0 cette accumulation de donn\u00e9es en utilisant son Smartphone, effectuant des paiements, en se d\u00e9pla\u00e7ant, etc. Toutes ces donn\u00e9es sont stock\u00e9es. La quasi totalit\u00e9 sont localisables directement ou indirectement et l\u2019ensemble constituent ce que l\u2019on appelle le Big Data. Si les entreprises et gouvernements sont bien conscients des enjeux et des b\u00e9n\u00e9ficient qui peuvent \u00eatre tir\u00e9s de cette multitude d\u2019informations, beaucoup peine \u00e0 en extraire les analyses n\u00e9cessaires \u00e0 l\u2019am\u00e9lioration de leurs activit\u00e9s, qui plus est lorsqu\u2019il s\u2019agit d\u2019exploiter utilement la dimension spatiale. Ces difficult\u00e9s proviennent du volume et de l\u2019h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 des donn\u00e9es qui complexifient leur analyse. Or, chacun souhaiterait pouvoir analyser et produire des r\u00e9sultats instantan\u00e9ment pour r\u00e9pondre \u00e0 ses probl\u00e9matiques. Quel sera l\u2019impact \u00e9cologique de la circulation dans ma ville demain, compte tenu de la m\u00e9t\u00e9o, du trafic et des manifestations exceptionnelles pr\u00e9vus ce jour ? Comment appr\u00e9hender les d\u00e9placements des populations d\u2019\u00e9l\u00e9phants de mer par rapport aux conditions environnementales ? Comment d\u00e9ployer les secours suite \u00e0 un ouragan ? Aujourd\u2019hui, les syst\u00e8mes d\u2019acquisition de donn\u00e9es ouverts se multiplient dans le but de pouvoir produire des analyses toujours plus pertinentes. C\u2019est le cas par exemple, du programme europ\u00e9en de surveillance de la Terre, Copernicus. Gr\u00e2ce \u00e0 sa constellation de satellites, il permet de collecter une multitude de donn\u00e9es sur les oc\u00e9ans, la v\u00e9g\u00e9tation, l\u2019atmosph\u00e8re, la bathym\u00e9trie, l\u2019altim\u00e9trie, le climat\u2026 Toutes ces donn\u00e9es h\u00e9t\u00e9rog\u00e8nes sont librement accessibles aux entreprises et rendent possible la r\u00e9alisation d\u2019analyses pr\u00e9cises \u00e0 un endroit et un temps donn\u00e9. Pour permettre l\u2019accroissement des performances des gouvernements et entreprises, il faut donc pouvoir effectuer des analyses instantan\u00e9es sur une multitude de donn\u00e9es h\u00e9t\u00e9rog\u00e8nes. Cela implique une accessibilit\u00e9 simple aux informations. C\u2019est ainsi que les lacs de donn\u00e9es \u00ab datalake \u00bb ont commenc\u00e9 \u00e0 voir le jour. Ceux-ci regroupent une grande vari\u00e9t\u00e9 de donn\u00e9es brutes h\u00e9t\u00e9rog\u00e8nes. Cependant, rassembler ces donn\u00e9es dans des \u00ab datalake \u00bb n\u2019est pas suffisant, puisque la diversit\u00e9 des donn\u00e9es rend difficile leur analyse. Il faut donc concevoir des moteurs d\u2019analyse performant capable d\u2019aller forer dans ces amas d\u2019informations, tout en tenant compte de la dimension spatiale, pour en extraire des r\u00e9sultats pertinents. Tout cela de mani\u00e8re simple et instantan\u00e9e. On voit donc \u00e9merger des solutions dites \u00ab Datacube \u00bb. Ces moteurs d\u2019analyses sont capables de se connecter \u00e0 de nombreuses sources de donn\u00e9es vari\u00e9es, de les filtrer selon le type de donn\u00e9es, la situation g\u00e9ographique, la fen\u00eatre temporelle, l\u2019unit\u00e9 de repr\u00e9sentation, etc. et d\u2019en extraire les informations n\u00e9cessaires \u00e0 une analyse tr\u00e8s fine en extrayant facilement des sous-ensembles de donn\u00e9es coh\u00e9rents. Exploiter et valoriser les diverses donn\u00e9es d\u2019une entreprise devient beaucoup plus simple et rapide. On parle alors de Data intelligence, et de GeoIntelligence lorsqu\u2019il est fait usage d\u2019information g\u00e9ographique. Afin de r\u00e9pondre \u00e0 la n\u00e9cessit\u00e9 d\u2019obtenir des analyses toujours plus rapidement sur des donn\u00e9es toujours plus nombreuses,\u00a0Geomatys\u00a0a d\u00e9velopp\u00e9\u00a0Examind Datacube, le moteur d\u2019analyse Big Data g\u00e9ospatial. D\u00e9j\u00e0 connect\u00e9 \u00e0 une base enrichie et mise \u00e0 jour en continue qui regroupe les donn\u00e9es en libre acc\u00e8s dites \u00ab OSINT \u00bb (Open Source Intelligence), Examind Datacube est \u00e9galement capable de se brancher aux sources de donn\u00e9es de ses clients. Ainsi, cet outil permet gr\u00e2ce \u00e0 des algorithmes d\u2019explorer cette grande diversit\u00e9 de donn\u00e9es et d\u2019en extraire les analyses les plus pertinentes pour le client. Dot\u00e9 d\u2019une capacit\u00e9 \u00e0 exploiter et combiner avec pr\u00e9cision une tr\u00e8s grande vari\u00e9t\u00e9 et volum\u00e9trie de donn\u00e9es spatiales et temporelles (trajectoires, mod\u00e8les de pr\u00e9visions m\u00e9t\u00e9orologiques, rejeux d\u2019\u00e9v\u00e8nements, capteurs, donn\u00e9es satellites, donn\u00e9es vecteurs dites froides\u2026), Examind Datacube est capable d\u2019effectuer ses analyses sans dupliquer la donn\u00e9e et m\u00eame, le cas \u00e9ch\u00e9ant, en exploitant uniquement les m\u00e9tadonn\u00e9es enrichies lors de la d\u00e9couverte du jeu de donn\u00e9es. Ainsi, la solution requiert un espace de stockage moindre. Les r\u00e9sultats sont obtenus plus rapidement et optimisent les ressources en calcul n\u00e9cessaires. Cet outil est enti\u00e8rement d\u00e9velopp\u00e9 par les \u00e9quipes de Geomatys. Ce qui permet une \u00e9volution continue et ma\u00eetris\u00e9e. Il embarque un environnement logiciel qui permet de traiter des donn\u00e9es g\u00e9ographiques ou non, et de proposer une vari\u00e9t\u00e9 de traitements tel que de l\u2019algorithmie classique, du machine learning, des g\u00e9ostatistiques etc. Ces traitements peuvent \u00eatre mis en \u0153uvre aussi bien en environnement Java que Python. Des travaux dans le domaine des Linked-Data et du Web S\u00e9mantique sont en cours afin de faciliter l\u2019analyse de ces donn\u00e9es et d\u2019am\u00e9liorer leur enrichissement. Cet outil volontairement g\u00e9n\u00e9rique, peut donc s\u2019adapter \u00e0 n\u2019importe quel domaine : Dans le contexte environnemental actuel, Examind Datacube peut par exemple, aider \u00e0 suivre en temps r\u00e9el les changements environnementaux en agr\u00e9geant les donn\u00e9es climatiques, d\u2019urbanisation, de terres cultiv\u00e9es, d\u2019habitats naturels, de qualit\u00e9 de l\u2019air ou de l\u2019eau. Les d\u00e9cisions sont ainsi facilit\u00e9es gr\u00e2ce \u00e0 des analyses en quasi temps r\u00e9el. Dans le domaine de la d\u00e9fense, la centralisation de donn\u00e9es de sources h\u00e9t\u00e9rog\u00e8nes comme les donn\u00e9es g\u00e9ographiques, de r\u00e9seaux sociaux, du dark et du deep web ou encore de traitement de langage peuvent permettre au gouvernement d\u2019identifier des groupes terroristes ou des r\u00e9seaux criminels afin de planifier les interventions n\u00e9cessaires. Examind Datacube peut \u00e9galement servir lors des catastrophes naturelles. Dans un premier temps, pour en anticiper l\u2019arriv\u00e9e et permettre l\u2019\u00e9vacuation des zones les plus \u00e0 risque. Puis, suite \u00e0 la catastrophe, faciliter l\u2019intervention des secours en identifiant les secteurs les plus touch\u00e9s gr\u00e2ce \u00e0 la combinaison des donn\u00e9es m\u00e9t\u00e9orologiques, d\u00e9mographiques, d\u2019images drones, de r\u00e9seaux sociaux et d\u2019appels d\u2019urgence. Finalement, Examind Datacube est un moyen de r\u00e9pondre efficacement, simplement et rapidement \u00e0 vos probl\u00e9matiques d\u2019aujourd\u2019hui et de demain, en produisant des informations qualifi\u00e9es issues du croisement de sources diverses.<\/p>","protected":false},"author":1,"featured_media":5062,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_umich_oidc_access":"","_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[1],"tags":[],"class_list":["post-5061","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-actus"],"aioseo_notices":[],"jetpack_featured_media_url":"https:\/\/i0.wp.com\/www.geomatys.com\/wp-content\/uploads\/2023\/08\/Schema-datacube-vectorise.png?fit=1600%2C860&ssl=1","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/www.geomatys.com\/en\/wp-json\/wp\/v2\/posts\/5061","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.geomatys.com\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.geomatys.com\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.geomatys.com\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.geomatys.com\/en\/wp-json\/wp\/v2\/comments?post=5061"}],"version-history":[{"count":0,"href":"https:\/\/www.geomatys.com\/en\/wp-json\/wp\/v2\/posts\/5061\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.geomatys.com\/en\/wp-json\/wp\/v2\/media\/5062"}],"wp:attachment":[{"href":"https:\/\/www.geomatys.com\/en\/wp-json\/wp\/v2\/media?parent=5061"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.geomatys.com\/en\/wp-json\/wp\/v2\/categories?post=5061"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.geomatys.com\/en\/wp-json\/wp\/v2\/tags?post=5061"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}