Valoriser ses données avec Examind Datacube
Chaque jour, nous engendrons des trillions d’octets de données de sources diverses : données satellitaires, géolocalisations, réseaux sociaux, e-mails, transactions, données météorologiques… Chacun contribue à cette accumulation de données en utilisant son Smartphone, effectuant des paiements, en se déplaçant, etc. Toutes ces données sont stockées. La quasi totalité sont localisables directement ou indirectement et l’ensemble constituent ce que l’on appelle le Big Data. Si les entreprises et gouvernements sont bien conscients des enjeux et des bénéficient qui peuvent être tirés de cette multitude d’informations, beaucoup peine à en extraire les analyses nécessaires à l’amélioration de leurs activités, qui plus est lorsqu’il s’agit d’exploiter utilement la dimension spatiale. Ces difficultés proviennent du volume et de l’hétérogénéité des données qui complexifient leur analyse. Or, chacun souhaiterait pouvoir analyser et produire des résultats instantanément pour répondre à ses problématiques. Quel sera l’impact écologique de la circulation dans ma ville demain, compte tenu de la météo, du trafic et des manifestations exceptionnelles prévus ce jour ? Comment appréhender les déplacements des populations d’éléphants de mer par rapport aux conditions environnementales ? Comment déployer les secours suite à un ouragan ? Aujourd’hui, les systèmes d’acquisition de données ouverts se multiplient dans le but de pouvoir produire des analyses toujours plus pertinentes. C’est le cas par exemple, du programme européen de surveillance de la Terre, Copernicus. Grâce à sa constellation de satellites, il permet de collecter une multitude de données sur les océans, la végétation, l’atmosphère, la bathymétrie, l’altimétrie, le climat… Toutes ces données hétérogènes sont librement accessibles aux entreprises et rendent possible la réalisation d’analyses précises à un endroit et un temps donné. Pour permettre l’accroissement des performances des gouvernements et entreprises, il faut donc pouvoir effectuer des analyses instantanées sur une multitude de données hétérogènes. Cela implique une accessibilité simple aux informations. C’est ainsi que les lacs de données « datalake » ont commencé à voir le jour. Ceux-ci regroupent une grande variété de données brutes hétérogènes. Cependant, rassembler ces données dans des « datalake » n’est pas suffisant, puisque la diversité des données rend difficile leur analyse. Il faut donc concevoir des moteurs d’analyse performant capable d’aller forer dans ces amas d’informations, tout en tenant compte de la dimension spatiale, pour en extraire des résultats pertinents. Tout cela de manière simple et instantanée. On voit donc émerger des solutions dites « Datacube ». Ces moteurs d’analyses sont capables de se connecter à de nombreuses sources de données variées, de les filtrer selon le type de données, la situation géographique, la fenêtre temporelle, l’unité de représentation, etc. et d’en extraire les informations nécessaires à une analyse très fine en extrayant facilement des sous-ensembles de données cohérents. Exploiter et valoriser les diverses données d’une entreprise devient beaucoup plus simple et rapide. On parle alors de Data intelligence, et de GeoIntelligence lorsqu’il est fait usage d’information géographique. Afin de répondre à la nécessité d’obtenir des analyses toujours plus rapidement sur des données toujours plus nombreuses, Geomatys a développé Examind Datacube, le moteur d’analyse Big Data géospatial. Déjà connecté à une base enrichie et mise à jour en continue qui regroupe les données en libre accès dites « OSINT » (Open Source Intelligence), Examind Datacube est également capable de se brancher aux sources de données de ses clients. Ainsi, cet outil permet grâce à des algorithmes d’explorer cette grande diversité de données et d’en extraire les analyses les plus pertinentes pour le client. Doté d’une capacité à exploiter et combiner avec précision une très grande variété et volumétrie de données spatiales et temporelles (trajectoires, modèles de prévisions météorologiques, rejeux d’évènements, capteurs, données satellites, données vecteurs dites froides…), Examind Datacube est capable d’effectuer ses analyses sans dupliquer la donnée et même, le cas échéant, en exploitant uniquement les métadonnées enrichies lors de la découverte du jeu de données. Ainsi, la solution requiert un espace de stockage moindre. Les résultats sont obtenus plus rapidement et optimisent les ressources en calcul nécessaires. Cet outil est entièrement développé par les équipes de Geomatys. Ce qui permet une évolution continue et maîtrisée. Il embarque un environnement logiciel qui permet de traiter des données géographiques ou non, et de proposer une variété de traitements tel que de l’algorithmie classique, du machine learning, des géostatistiques etc. Ces traitements peuvent être mis en œuvre aussi bien en environnement Java que Python. Des travaux dans le domaine des Linked-Data et du Web Sémantique sont en cours afin de faciliter l’analyse de ces données et d’améliorer leur enrichissement. Cet outil volontairement générique, peut donc s’adapter à n’importe quel domaine : Dans le contexte environnemental actuel, Examind Datacube peut par exemple, aider à suivre en temps réel les changements environnementaux en agrégeant les données climatiques, d’urbanisation, de terres cultivées, d’habitats naturels, de qualité de l’air ou de l’eau. Les décisions sont ainsi facilitées grâce à des analyses en quasi temps réel. Dans le domaine de la défense, la centralisation de données de sources hétérogènes comme les données géographiques, de réseaux sociaux, du dark et du deep web ou encore de traitement de langage peuvent permettre au gouvernement d’identifier des groupes terroristes ou des réseaux criminels afin de planifier les interventions nécessaires. Examind Datacube peut également servir lors des catastrophes naturelles. Dans un premier temps, pour en anticiper l’arrivée et permettre l’évacuation des zones les plus à risque. Puis, suite à la catastrophe, faciliter l’intervention des secours en identifiant les secteurs les plus touchés grâce à la combinaison des données météorologiques, démographiques, d’images drones, de réseaux sociaux et d’appels d’urgence. Finalement, Examind Datacube est un moyen de répondre efficacement, simplement et rapidement à vos problématiques d’aujourd’hui et de demain, en produisant des informations qualifiées issues du croisement de sources diverses.
Geomatys lauréat du challenge numérique « Nouveaux usages des données LITTO3D »
Le Pôle Mer Méditerranée et le SHOM en partenariat avec la BPI, la DGE et TVT Innovation lance un challenge sur les produits et services utilisant les données Litto3D. « Le produit Litto3D® est une base de données altimétrique unique et continue terre-mer donnant une représentation tridimensionnelle de la forme et de la position du sol sur la frange littorale du territoire français. » Geomatys vainqueur du challenge propose de développer un outil facilitant l’exploitation de données Litto3D : LittoToolbox ! Cet outil à destination des organismes impliqués dans l’aménagement du littoral offrira un service SAAS basé sur la plateforme Examind. Accessible sur abonnement il permettra aux utilisateurs de manipuler les données Litto3D et de les croiser avec d’autres données (Sentinel 1, 2 & 3, données météorologiques, données de capteurs in-situ…). Le projet vise à offrir un environnement de travail pour la manipulation de données de sources hétérogènes, accessible sur abonnement. Depuis cet espace, les utilisateurs disposent : Le projet consiste à adapter la plateforme Examind aux besoins spécifiques des acteurs de l’aménagement du littoral (bureaux d’études, offices de tourisme, ports, services étatiques…), afin de leur proposer un outil distant facilitant la manipulation et le croisement des données Litto3D. LittoToolbox s’appuiera sur la plateforme Examind Cloud structuré sous forme de micro-services pour la communication inter-modules (module de traitements deep-learning, module de stockage des données…). Ce projet est une belle illustration des possibilités d’Examind. Notre plateforme générique constitue une base solide pour tous vos développements d’applications métiers.
3D Tiles et ENC en action
Avant de commencer voici un aperçu pour vous ouvrir l’appétit et montrer ce qui peut être fait avec 3D Tiles et les données 2D S-57 de navigation maritime. Etat de la spécification Le format 3D Tiles existe depuis quelques années maintenant dans le projet CesiumJS. Il évolue aujourd’hui pour devenir un format standardisé désormais supporté par de nombreux moteurs d’affichages 3D. La spécification est ouverte aux commentaires car elle n’est pas encore officiellement validée par l’OGC : OGC Seeks Public Comment on 3D Tiles Candidate Community Standard Que peut-on faire avec 3D Tiles ? DESCRIPTION DU FORMAT Le format est en réalité davantage une archive comme un Zip plutôt qu’une véritable définition binaire de format. Il existe 4 types de tuile 3D : Surement celui que les développeurs et utilisateurs manipuleront le plus. Sa structure est simple et souple. Il encapsule un fichier Khronos GLTF + des ressources en binaire + une table d’attributs pour les features. Ce seul format de tuile permet de tout faire et il remplace tous les types qui suivent. Cependant, vous aurez à faire vous-même l’OpenGL, le GLSL, la gestion des ressources, les mathématiques de projection géocentrique/géographique et vous devrez batailler avec les limitations de WebGL et les soucis de compatibilité des différents navigateurs. Tout (dans le limite du format GLTF) peut être dessiné : Billboards, meshes, vidéos, animations, … du moment que vous avez les compétences suffisantes. Celui-ci est pratique pour dessiner un même modèle 3D de très nombreuses fois. C’est une version plus haut niveau de ce qu’on trouve en OpenGL sous le nom de “Instanced Rendering” mais pour des modèles complets. Chaque instance du modèle peut être légèrement modifiée, sa taille ou son orientation par exemple. Vous devriez donc utiliser ce format pour faire : une forêt d’arbres, les panneaux de signalisation, des pylônes électriques… Une autre spécialisation du format 3D Tiles pour les nuages de points. Il n’y a que peu de chose à dire sur ce dernier. Si vous avez beaucoup de points à dessiner avec peu de besoin de symbologie, c’est l’idéal ! Il est possible de configurer la couleur de chaque point ainsi que quelques effets de style en JavaScript si vous utilisez CesiumJS. A l’inverse des précédents formats, vous n’aurez pas à faire de GLTF ou d’OpenGL. Le type composite existe pour des raisons plus pragmatiques, afin de réduire les temps de chargement et le nombre de requêtes entre le client et le serveur. Il s’agit d’un groupe de tuiles concaténé dans un seul fichier. Pour organiser l’ensemble, on trouve des fichiers TileSet en JSON qui décrivent les relations entre les tuiles. QUELQUES PRÉCISIONS Contrairement à ce qu’on trouve en WMTS et TMS, les tuiles 3D Tiles ne sont pas placées sur une grille régulière et chaque tuile enfant ne remplace pas nécessairement sa tuile parente. L’arbre des tuiles peut avoir n’importe quelle forme. Elles peuvent se superposer, être l’une au-dessus de l’autre, qu’importe, on est ici en 3D ce qui offre beaucoup de liberté. Par exemple, si vous avez un bâtiment, quand vous êtes très dézoomé, vous aurez une première tuile avec un cube schématisant le bâtiment. A mesure que l’on zoom dessus, une version de la tuile plus précise vient remplacer la précédente, et en zoomant encore une troisième tuile offre un modèle 3D haute résolution du bâtiment avec des textures… C’est le cas classique ! On parle de LOD (Level of Detail) : niveaux de détails successifs. Prenons un autre scénario, nous devons afficher des flèches de vent. A un niveau très dézoomé on a une tuile qui contient une flèche de vent fort afin de ne pas surcharger la carte et que celle-ci reste lisible. Puis en zoomant une tuile vient s’ajouter, sans remplacer la tuile parent, celle-ci avec des flèches pour les vents moyens, et ainsi de suite. On obtient un raffinement progressif de l’affichage. Le coté technique de 3D Tiles Espérons que l’OGC mettra en place des suites de tests afin de réduire les différends et améliorer l’interopérabilité. Et par rapport aux spécifications OGC et ISO ? Comme le format OGC-KML (ex Google KML), 3D Tiles, en tant que community standard, n’a pas obligation d’utiliser les spécifications existantes de métadonnées, symbologie, services, géométries, filtres ou du CQL. Comme à l’époque où Google proposait KML à l’OGC, le format étant déjà fini et conçu pour GoogleEarth / GoogleMaps, la même chose semble se répéter ici avec CesiumJS. 3D Tiles vit dans un monde différent, il parle JSON, JavaScript-ish et GLSL. Geomatys et le format 3D Tiles Nos équipes jouent avec 3D Tiles depuis quelque temps, ainsi qu’avec les différents formats de Cesium incluant CZML, HeightMap et QuantizedMesh depuis quelques années. Il en résulte un sentiment mitigé. Il manquait un format 3D standardisé pour commencer à vraiment faire de la 3D en SIG. Et 3D Tiles comble ce manque sans imposer trop de contrainte. C’est un plaisir de travailler en symbologie avec autant de souplesse et pour seule limite la créativité, merci principalement au format GLTF. Pourtant, il est difficile de voir 3D Tiles comme un format SIG, il ne réutilise rien de ce qu’on connaît en SIG. Tout le travail de géoréférencement, projection et transformation n’apparaît pas dans le format. Tout doit être préparé en amont par un générateur de tuiles 3D. 3D Tiles est le résultat final en bout de ligne avec pour seul objectif l’affichage. Cela aurait été pratique de générer une tuile 3D, d’indiquer quelque part qu’elle est en EPSG:3031 (stéréographique polaire) ou tout autre système de coordonnées mouvant utilisé dans Moving Features et de laisser le moteur 3D s’occuper du reste. Au final, 3D Tiles est un bon format, un premier pas normalisé dans la 3D pour les SIG. C’est pourquoi, Geomatys l’implémente sur sa plateforme Examind Server. Affichage de cartes marines (ENC) en 3D Tiles Voyons maintenant ce que l’on peut faire avec 3D Tiles et des données IHO S-57 / S-52. Le format S-57 de l’IHO et la symbologie S-52 sont les standards utilisés pour la navigation maritime. Si le sujet vous intéresse, vous
Retour sur les salons Eurosatory et Toulouse Space Show
Un mois de Juin rythmé à Geomatys Peu présente sur les salons ces dernières années, Geomatys a décidé de dynamiser sa communication. L’objectif ? Faire connaître l’entreprise et sa gamme de produits Examind. Des logiciels de traitement de données géospatiales s’intégrant aisément dans vos systèmes d’informations. Déjà utilisés par de grands industriels (Airbus DS, Naval Group), ils ne demandent qu’à être connus ! Pour cela, deux salons, deux thématiques : la défense et l’observation de la Terre. Le salon Eurosatory 2018 Une grande première pour Geomatys, et un franc succès ! Cinq jours de salon défense et de nombreux visiteurs sur le stand. Quel plaisir pour nous de voir l’intérêt porté à nos solutions et l’engouement autour de nos démonstrations de visualisation 3D. Le Toulouse Space Show 2018 Un salon qui ne nous déçoit jamais ! Encore une fois un grand succès pour Geomatys. Un stand qui ne désemplit pas, des visiteurs qui s’arrêtent car ils ont entendu parler de nous et veulent en savoir plus. Surprise et satisfaction de voir que les premiers utilisateurs de nos solutions les promeuvent. Un grand merci à tous nos clients et visiteurs, qui ont permis la réussite de ces salons et promettent un avenir souriant à la suite logicielle Examind !
L’informatique doit-elle s’écrire uniquement au masculin ?
C’est à la lecture de l’article du Monde de décembre 2017 dont le titre est très évocateur “Les femmes de plus en plus minoritaires dans le secteur de l’informatique” que l’idée de se pencher sur la question de la parité dans une PME d’informatique high tech m’est venue : que se passe-t’il à Geomatys dans le domaine ? en tant que DRH ai-je la possibilité d’inverser la tendance ? comment encourager la parité chez nous ? Petite histoire de Geomatys : Geomatys a 13 ans, fondée par deux passionnés d’informatiques (de vrais Geeks). L’entreprise est spécialisée dans le traitement de l’information de géointelligence, conçoit et intègre des solutions logicielles, à destination notamment des acteurs des secteurs Défense, Surveillance et gestion des risques, l’Environnement et les Smart territoires ainsi que l’Observation de la terre. Les solutions proposées facilitent la prise de décision. C’est donc une entreprise à très forte technicité. Depuis, l’entreprise a grandi jusqu’à une quinzaine de personnes, majoritairement techniques et le nombre de femmes n’a jamais représenté plus de 20% de l’effectif. Une petite anecdote illustre parfaitement ce qui nous est arrivé dans le domaine : en juin 2017 nous avons reçu la visite d’une stagiaire de Master 2 Info de Montpellier, elle passe un entretien avec l’un des chargés de projet de Geomatys et un de nos développeurs. Le sujet de stage, un peu complexe, lui plait et elle fait le tour des bureaux … pose un certain nombre de questions et puis… arrive une question à laquelle nous ne nous attendions pas : “mais il n’y a que des hommes chez vous”…. Malheureusement, elle n’a pas souhaité donner suite au recrutement, dommage. Y a-t-il un lien de cause à effet ? On ne le saura jamais, mais l’expression sur son visage à cet instant-là était éloquente ! Je me suis dit que c’était un sujet dont il fallait que je m’occupe. Les questions que je me suis posées à ce moment-là : Nous avons une politique de fidélisation de nos développeurs qui ont un niveau d’expertise élevé, ne nous permettant pas d’investir sur des profils trop vagabonds. Notre taux de turn-over est donc très faible. Comme semble l’indiquer l’article cité en référence, la proportion de “développeuses” est très faible, la probabilité pour une PME de pouvoir en accueillir une devient infinitésimal. En tant que DRH, femme, j’ai commencé par la mise en quarantaine des blagues sexistes (appelées dorénavant, par certains, les “blagues du vendredi”). La politique active de sourcing de profils féminins à compétences égales par ailleurs, ma présence systématique lors de l’accueil des stagiaires féminines… devraient aider un peu à rétablir l’équilibre chez Geomatys. A notre échelle, nous réfléchissons à ce que nous pouvons faire de plus : parrainage et cooptation de profils féminins, explication de notre souhait à nos écoles partenaires… en attendant que les formations en informatique se saisissent du problème qui semble ne faire que s’accentuer. Pour l’immédiat, l’arrivée en août d’une alternante spécialisée dans le traitement Big Data va nous permettre de passer à 3 femmes… En attendant plus… La parité n’est pas un but en soi mais un moyen comme les autres d’ouvrir et de sensibiliser l’entreprise à toutes les préoccupations de la société…. celles des hommes tout autant que celles des femmes….. Si vous avez des idées ou des solutions qui ont fonctionné, dans le domaine, je serais curieuse d’en avoir connaissance; n’hésitez pas à me contacter.
Les 5 raisons de choisir une solution SIG hybride
Autrefois réservés à l’usage de personnels spécialisés, les SIG (Systèmes d’Information Géographique) et la dimension spatiale de leurs données prennent une place de plus en plus importante dans les systèmes d’informations. Ils permettent de cartographier une très grande variété de données pour mieux appréhender notre environnement. Ainsi, les SIG sont étroitement liés aux enjeux actuels (biodiversité, gestion de réseaux, organisation du territoire, protection civile…). C’est pourquoi on assiste, aujourd’hui, à l’avènement de ces infrastructures qui se doivent d’avoir un fort niveau de disponibilité et une grande capacité d’évolutivité. Une approche hybride Open Source et propriétaire peut présenter dans ce cadre de nombreux avantages. Testez avant d’acheter L’achat d’une solution SIG est souvent complexe. La mise en place de l’infrastructure entraîne des changements organisationnels et représente un coût non négligeable. Alors inutile de prendre un risque ! Il est préférable de pouvoir tester la solution avant de l’acheter. En faisant le choix d’une infrastructure hybride vous pourrez essayer la version open source avant de passer à l’achat. Ainsi, vous aurez l’assurance de la compatibilité de la solution avec votre infrastructure et la garantie qu’elle répond à vos besoins. Maîtrisez l’infrastructure Les solutions hybrides reposent sur un cœur open source et donc transparent. Opter pour une solution hybride vous permettra de toujours garder un œil sur l’évolution du code source. Vous pouvez ainsi connaître avec certitude ce qui compose votre infrastructure et en garder la parfaite maîtrise. L’assurance d’une bonne interopérabilité La transparence du cœur des solutions hybrides permet de savoir avec certitude si l’infrastructure est interopérable avec les logiciels déjà présents dans l’entreprise. Il est possible de facilement identifier le respect ou non des standards par la solution. Il est donc judicieux, lorsqu’on se tourne vers une infrastructure hybride, de se renseigner sur les standards du domaine et leur intégration dans la solution. Bénéficier de l’expertise d’une vaste communauté d’acteurs En choisissant une solution hybride vous profiterez de l’expertise de nombreux contributeurs. La communauté open source participe à l’amélioration des infrastructures libres. Basés sur le principe de la coopération, les logiciels open source prennent en compte les besoins réels de la communauté. Ainsi, la contribution des acteurs rend ces infrastructures plus innovantes. Les solutions hybride bénéficient de l’implémentation constante de leur cœur open source. Réduisez le coût de votre licence Basée sur un cœur open source, la solution hybride permet de réaliser des économies. Vous ne payez que la surcouche propriétaire qui offre des fonctionnalités supplémentaires et la gestion de formats complexes. De plus, les certifications vous garantissent un bon niveau d’industrialisation et la conformité de la solution aux exigences requises dans votre secteur d’activité. Geomatys propose une suite hybride, Examind Universe, reposant sur un cœur open source : Examind Community. Cette dernière est basée sur les bibliothèques GeoAPI, Geotoolkit et Apache SIS principalement développées par les équipes de la société. Vous pouvez ainsi faire l’expérience de notre plateforme open source avant de choisir la solution hybride la plus adaptées à vos besoins.
DIDRO, un outil intégré pour l’auscultation des digues par drone
L’usage des drones se démocratise, ouvrant pour les gestionnaires de digues des perspectives d’auscultation de leurs ouvrages par voie aérienne à des coûts d’opération raisonnables. Il devient possible d’inspecter en une seule journée plusieurs kilomètres de digues (certaines pouvant être d’accès difficile voire impossible à l’homme), facilitant les visites obligatoires et la gestion des situations de crise. Par ailleurs, l’instrumentation de mesure se miniaturise, son coût diminue, et permet une vision globale et profonde des infrastructures, souvent au-delà de ce que peut détecter l’humain, ou avant que les conséquences d’une anomalie majeure ne soient visibles à l’œil nu. Les capacités de traitement et de stockage de données, à l’heure du Big Data, sont telles que tout le monde peut avoir accès à un centre de calcul et de stockage numérique. Le bon usage de ces technologies, même si elles paraissent abordables à tous, impose d’apporter aux utilisateurs des réponses aux questions suivantes : DIDRO est un consortium de chercheurs et d’industriels, réunis sous l’impulsion d’opérateurs de drones et de gestionnaires de digues. Trois ans de travaux ont permis de : Le dispositif type est un drone-hélicoptère, fabriqué par la société Survey Copter, qui embarque : Les données collectées lors d’un vol sont déversées dans une plateforme Cloud de traitement de données, enrichies à partir de processus d’analyse sélectionnés et calibrés, puis interprétées par un expert et mises à disposition du gestionnaire de digues. Geomatys a été choisi par le consortium pour assurer le pilotage du projet, et pour proposer, en partenariat avec Survey Copter, un service d’auscultation par drones aux gestionnaires de digues. Geomatys y apportera son expertise en : La phase de conception est en cours, les premiers essais montrent de très bons résultats. Le service devrait être disponible au second semestre 2019.