Geomatys wins Cassini prize / Geomatys, lauréat du prix Cassini
Geomatys wins CASSINI prize – Geomatys lauréat du Prix CASSINI https://www.youtube.com/watch?v=VmjuoT0XAoY&list=PLoW55g8cihhIXHPV-i8d4R1IBc4u49bqb&index=5 Lire en Français Read in English Geomatys and its project OPAT wins Horizon Europe’s CASSINI Prize for Digital Space Applications for their contribution to the fight against plastic pollution at sea. 08 November 2023, Montpellier Press Release Geomatys, a SME specializing in geospatial data processing, is proud to announce that its innovative OPAT (Ocean Plastic Alert & Tracking) project has won the prestigious Cassini Prize for Digital Space Applications. The award seeks innovative commercial solutions that leverage the EU’s space program to detect, monitor and remove plastics, microplastics and other waste from our oceans and waterways. With a total prize fund of 2.85 million euros, the top three proposals are eligible to win 0.95 million euros each, which can be used by the winners to further develop and market their solution. CASSINI is the European Commission’s initiative to support entrepreneurs, start-ups and SMEs developing innovative applications and services leveraging the EU space program. Dedicated to promoting the commercialization of Galileo, EGNOS and Copernicus data and services, EUSPA is actively involved in this initiative. The award will greatly accelerate the development of the OPAT system, designed to detect plastic waste at sea by satellite and predict its drift. The Geomatys team would like to express its deepest gratitude to all those who have contributed to the project’s success: The Occitanie region, whose continued support and trust had been essential to OPAT’s progress. The Communauté d’Agglomération Pays Basque for sharing its experience in collecting waste at sea and providing us with invaluable data. Dr. Shungu Garaba of the University of Oldenburg, for his invaluable expertise and unfailing willingness to collaborate. Joël Sudre of the DataTerra research infrastructure, whose commitment to our shared vision has been a fundamental pillar of our success. CNES, via the Connect by CNES program, with a special mention to Mr. Eric Brel and Mr. Ariel Fuchs, for their decisive contribution to the realization of this ambitious project. The European Space Agency (ESA), whose support, via an initial BASS feasibility grant, was crucial to the launch of OPAT. This prize, awarded by Horizon Europe, reinforces our determination to constantly innovate to protect our oceans. OPAT is an example of the positive impact that space technology can have on the environment, helping us to better understand and combat plastic pollution at sea. We look forward to continuing to work closely with our partners, and to tackling future challenges that will help to better preserve our precious marine ecosystems. About Geomatys Geomatys offers expertise in geodesy, the exploitation and processing of complex data, geospatial metadata and advanced representation modes. Our ability to innovate allows us to contribute to creating ever more intelligent solutions to some of society’s biggest challenges across sectors such as Defense, Space, Research, and Risk Assessment. You can contact us about OPAT by e-mail: opat@geomatys.com, or by phone:+33 4 84 49 02 26 Further information, visit our website at www.geomatys.com/en/opat Geomatys avec son projet OPAT remportent le prix CASSINI d’Horizon Europe pour leur contribution à la lutte contre la pollution plastique en mer. À Montpellier, le 08 novembre 2023 Communiqué de Presse Geomatys, PME spécialisée dans le domaine du traitement des données géospatiales, est fière d’annoncer que son projet innovant OPAT (Ocean Plastic Alert & Tracking), a remporté le prestigieux Prix CASSINI, for Digital Space Applications. Ce prix recherche des solutions commerciales innovantes qui tirent parti du programme spatial de l’UE pour détecter, surveiller et éliminer les plastiques, microplastiques et autres déchets de nos océans et voies navigables. Avec une dotation totale de 2,85 millions d’euros, les trois meilleures propositions sont éligibles pour remporter chacune 0,95 million d’euros, qui peuvent être utilisées pour aider les lauréats à développer et à commercialiser davantage leur solution. CASSINI est l’initiative de la Commission européenne visant à soutenir les entrepreneurs, les start-ups et les PME développant des applications et des services innovants tirant parti du programme spatial de l’UE. Dédiée à la promotion de la commercialisation des données et services Galileo, EGNOS et Copernicus, l’EUSPA est activement impliquée dans cette initiative. Cette récompense, qui célèbre les meilleures applications numériques maritimes ou marines pour la lutte contre la pollution plastique, témoigne de l’engagement que prend Geomatys vis-à-vis de la préservation de nos océans. La récompense associée à ce prix va permettre d’accélérer grandement le développement de la plateforme OPAT, conçue pour détecter par satellite les déchets plastiques en mer et prédire leur dérive. L’équipe de Geomatys tient évidemment à exprimer sa plus profonde gratitude à tous ceux qui ont contribué au succès du projet : La région Occitanie, dont le soutien continu et la confiance ont été essentielles pour faire avancer OPAT. La Communauté d’Agglomération Pays Basque pour nous avoir partagé son expérience dans la collecte des déchets en mer et de nous avoir fourni de précieuses données Dr Shungu Garaba de l’Université d’Oldenburg, pour son expertise précieuse et sa collaboration sans faille. Joël Sudre, de l’infrastructure de recherche Data Terra, dont l’engagement envers notre vision commune a été un pilier fondamental de notre succès. Le CNES, via son programme Connect by CNES avec une mention spéciale à M. Eric Brel et M. Ariel Fuchs, pour leur contribution décisive à la réalisation de ce projet ambitieux. L’ Agence Spatiale Européenne (ESA), dont le soutien, via un premier BASS faisabilité a été un élément crucial pour le lancement d’OPAT. Ce prix, décerné par Horizon Europe, renforce notre détermination à innover constamment pour la protection de nos océans. OPAT est un exemple de l’impact positif que la technologie spatiale peut avoir sur l’environnement, en nous aidant à mieux comprendre et à lutter contre la pollution plastique en mer. Nous sommes impatients de continuer à travailler en étroite collaboration avec nos partenaires, ainsi que de relever les défis futurs qui aideront à mieux préserver notre précieux écosystème marin. À propos de Geomatys Geomatys propose son expertise dans le domaine de la géodésie, l’exploitation et le traitement de données complexes, des métadonnées géospatiales ou des
GeoTIFF reader/writer performance comparison
Apache Spatial Information System (SIS) version 1.4 contains a Cloud Optimized GeoTIFF (COG) reader for raster data. The development branch of Apache SIS 1.5 (not yet released at the time of writing this blog) contains also a GeoTIFF writer. Those reader and writer are implemented in pure Java code for avoiding the difficulty of bindings to native libraries such as GDAL. Pure Java code also provides more flexibility for Java developers. For example, the Apache SIS reader accepts any implementation of the Java ReadableByteChannel standard interface as the source of bytes. Another reason for developing GeoTIFF reader and writer in Java was for prototyping the use of new GeoTIFF keys that are proposed in OGC TestBed-19 — Geospatial in space. Coding yet another GeoTIFF reader and writer seems a duplication of work, since most of the geospatial world uses the popular GDAL library for that purpose. But actually, from Apache SIS perspective, there is not so much duplication. The most difficult part in a GeoTIFF reader and writer is to handle tiling and compression efficiently. But this task is largely format-independent, and SIS needs also to handle netCDF and other formats. The Apache SIS library shares code internally, thus reducing the task of GeoTIFF support to header parsing. By contrast, GDAL is largely an aggregation of independent libraries such as libtiff and libpng, each with their own ways to resolve common problems. Nevertheless, coding GeoTIFF support in Java raises questions about how its performances compare to GDAL. There is a widespread belief that Java programs are slower than their C/C++ counterpart. In reality, it depends a lot on the kind of application and how the libraries were coded. Differences in algorithms can play a bigger role than differences in the programming languages. This blog will not answer that debate, because the benchmarks presented here depend a lot on native code, either for I/O operations or for DEFLATE compression (the latter is handled by native code in the java.util.zip standard package). However, the benchmarks in this blog demonstrate the capability of a Java program to avoid adding overhead. The result is that Apache SIS, at least in those benchmarks, compares favorably with GDAL. Method The benchmarks reported in this blog are very limited and only scratch the surface on the topic of raster data handling: All benchmarks were tested with a single image (in two variants). Only one compression method tested (in two variants), together with uncompressed raster. No sub-regions and no sub-samplings tested (there is no technical reasons for this omission). Multi-thread parallelization not tested (would have required some more developments in Apache SIS). Sub-regions and requests for reduced resolutions on COG images should be handled efficiently by Apache SIS, but benchmarking those features would have required a more complex setup, especially if we want to test in a cloud environment. The simple benchmarks in this blog used a single image which was always read fully, from a local file on a laptop. The image was a single non-COG raster with the following properties: Raster Thumbnail Raster Properties Producer: DigitalGlobe Image date: 2014/06/16 File size: 192 Mb Image size: 8192 × 8192 pixels Strip size: 8192 × 128 pixels Sample model: banded (3 separated arrays of red, green and blue). Sample type: bytes, values ranging from 2 to 255. Compression: None CRS: WGS 84 / UTM zone 31N The image was read and rewritten using three libraries: gdal_translate, Java Image I/O and Apache SIS. For each library, the read/write operations were repeated 10 times in order to allow the Java Virtual Machine to warmup. The two first iterations were ignored, and execution time of the remaining 8 iterations were recorded. Average times and standard deviations are reported in this blog. In the particular case of the GDAL library, the execution time of gdalinfo has also been measured and its average value has been subtracted from all gdal_translate times. The intend is to take in account the time needed for loading the GDAL binary, or at least the parts required for reading the image header (it also incidentally includes the time for parsing that header). We apply this correction because our benchmark code relaunches the GDAL command in each iteration, contrarily to Image I/O and Apache SIS libraries which are loaded only during their first iteration. The benchmark code is available on GitHub in the GeoTIFF.java file. The processor of the test machine was Intel Core i7-8750H and the operating system was Fedora Linux 38 (Workstation Edition). Read and write operations were performed in the /tmp/ directory, which uses the tmpfs file system. It means that the raster files reside partially in RAM, so the benchmarks have less delay caused by I/O operations. Method with deflate compression The same tests were executed again with the DEFLATE compression. That compression is performed by the zlib library, accessible in standard Java thought the java.util.zip package. However, the zlib performance varies greatly depending on the data to compress. For fair comparisons, we must ensure that all the tested libraries write the same data. It is not the case by default because: GDAL and Java Image I/O change the sample model from « banded » to « pixel interleaved ». GDAL changes the strip height from 128 pixels to 1 pixel, thus writing strips of 8 kb. Java Image I/O changes the strip height from 128 pixels to 8 pixels, thus writing strips of 64 kb. Apache SIS keeps the sample model and strips height as they were in the image that was read. For avoiding those differences, the input image has been rewritten by Apache SIS with a « pixel interleaved » sample model and strips of 8 pixels in height. In addition, the -co BLOCKYSIZE=8 option has been passed to gdal_translate. A DEFLATE compression has been applied, so the tests will include decompression times in addition of compression times. Results First, we tested reading the uncompressed image and rewriting it uncompressed too. Average execution times are reported below. The « GDAL (reduced) » label means that the average execution time of gdalinfo has been subtracted from the execution time of gdal_translate. Apache SIS appears faster than other libraries for this particular benchmark. It may be because Apache SIS does not reorganize the pixel layout: it writes the image with banded sample model (called « planar configuration » in TIFF), as it was in the image that SIS has read. By contrast, GDAL and Image I/O reorganize the pixels into the pixel interleaved sample model. Note that for a Java application, the Java2D architecture around the Raster, SampleModel and ColorModel classes provides a great level of abstraction, generally making
Geomatys labellisé CNES PME
Depuis juin 2022, Geomatys est titulaire du label CNES PME pour une durée de trois ans, en récompense de son expertise en « standardisation de système d’information géospatiaux interopérables ». Attribué depuis 2020, et comme son nom l’indique, ce label est attribué aux PME innovantes et crédibles agissant dans le domaine du spatial.
Modélisation de la distribution des espèces next-level
Les modèles de répartition des espèces (MDS) sont des modèles statistiques et mécanistes utilisés pour définir la répartition géospatiale des espèces en fonction de la combinaison de variables écologiques (telles que l’environnement biotique et abiotique) offrant des conditions et des possibilités favorisant leur présence. En projetant les MDS sur des environnements futurs, les scientifiques peuvent déterminer où et quand ces conditions seront réunies pour fournir une prédiction de la répartition future des espèces. Ces prédictions sont souvent prévues des mois, des années ou des décennies à l’avance, et sont statiques en ce qui concerne à la fois l’algorithme et les occurrences prédites. Cependant, les facteurs qui affectent les espèces et leurs déplacements ne sont pas statiques. Imaginez que vous puissiez appliquer ces modèles à un monde en évolution en temps réel ! C’est précisément l’aide que nous apportons aux scientifiques en utilisant la technologie de traitement géospatial et de science des données à la volée EXAMIND de Geomatys. Lorsque les conditions environnementales changent, ou sont affectées par des perturbations telles qu’un ouragan ou des projets de développement qui perturbent les habitats actuels, des MDS à échelle fine peuvent être appliqués pour prédire comment les animaux se disperseront. En collaboration avec nos partenaires de la recherche et de l’industrie, nous travaillons à l’application de cette technologie en développement pour, par exemple, gérer les populations animales. Cette capacité deviendra essentielle dans presque tous les domaines, y compris la gestion de la biodiversité, car le changement climatique déstabilise les écosystèmes et les habitudes, et ainsi il perturbe les connaissances sur lesquelles nous nous appuyons actuellement pour prendre des décisions. Un projet dans lequel la technologie de Geomatys facilite ce travail est celui fait pour l’association française pour la gestion et la conservation du cheval de Przewalski, une espèce menacée (TAKH). L’association a présenté son portail Web alimenté par EXAMIND pour visualiser et analyser les populations de chevaux de Przewalski, appelé Shamane, lors du Congrès mondial de la nature de l’UICN de cette année, le 8 septembre 2021 à Marseille. Explorer le platform Shamane (https://takh.geomatys.com/) Bien que l’objectif soit de former des algorithmes d’apprentissage automatique qui puissent aider à prédire le comportement des chevaux en réponse à des facteurs environnementaux variant dans le temps, un travail préliminaire que nous ayons effectué pour faciliter ce projet a été de construire la base de données, en rassemblant des sources de données vastes et disparates, en assurant l’interopérabilité et en les rendant accessibles à l’utilisateur dans un seul environnement. Grâce aux nouvelles fonctionnalités disponible sur son socle EXAMIND en réponse aux besoins des chercheurs TAKH, les utilisateurs peuvent suivre des animaux individuels à travers le temps, basculer leur histoire et leur pedigree, explorer leurs habitats en 4D, interroger des ensembles de données connexes et lancer des analyses, le tout dans l’environnement de l’infrastructure de données spatiales de Shamane. L’outil permet donc non seulement d’analyser les données, mais aussi de fournir des renseignements permettant de prendre des décisions en temps réel en matière de surveillance et de gestion des populations. Vidéo teaser crée pour le TAKH par Les Fées Spéciales La vidéo teaser du projet Shamane ci-dessus illustre comment l’utilisateur peut suivre le mouvement de chevaux individuels génétiquement distincts (représentés par des couleurs différentes, souvent regroupés en troupeaux) dans une vue 3D du paysage. À l’aide du curseur situé en bas de la page, il peut suivre les changements de position des animaux ainsi que l’évolution de l’habitat dans le temps. Cela permet aux chercheurs de déterminer, par exemple, quels types de barrières d’habitat peuvent influencer les déplacements. Dans un prochain temps, ils vont pouvoir également superposer d’autres données, telles que des données météorologiques à cette vue et effectuer des analyses dans la barre latérale de gauche à l’aide d’un notebook de datascience. A priori, ces analyses visent à identifier les facteurs écologiques qui déterminent les comportements de déplacement des animaux afin de soutenir les stratégies de gestion des populations et d’autres efforts de conservation. Bien que l’outil soit disponible via un portail web, l’accès est limité aux utilisateurs autorisés, sécurisé avec la même technologie que celle utilisée par Geomatys dans le domaine de la défense. Ceci est important pour traiter des données sensibles, telles que la localisation précise d’espèces menacées. Cet outil fournit donc une plateforme performante et sécurisée pour gérer la conservation de ces populations fragiles.
Visualisation des conditions météo à la volée en réalité augmenté
Depuis quelques mois les équipes R&D de Geomatys travaillent sur l’exploitation de données GHOM (Géographiques, Hydrographiques, Océano et météo ) en réalité augmentée. L’enjeu étant de convertir, côté serveur à l’aide d’Examind-Server, des formats complexes tel que GRIB, NetCDF ou encore S-57, pour les servir en 3D sur un client Unity et de visualiser ces données à la volée avec des HolloLens. D’autres cas d’usages arrivent en particulier pour le monde maritime, nous vous les présenterons bientôt.
Dataviz : “voir et donner à voir”
Dans le cadre de ses activités Geomatys s’est structuré selon trois axes : 1.La mise en place et l’exploitation de Datalakes Geospatiaux (basé sur des infrastructure Cloud et exploitant des volumes massifs de donnée) 2. La (Geo)Datascience 3. La visualisation de données incluant la 3D et la réalité augmentée. Cet article présente un retour d’expérience sur la mise en place de traitements à la volée sur un DataLake pour les besoins d’une agence spatiale. Les masses de données brutes et les résultats de leurs analyses disponibles pour la prise de décision humaine sont un challenge pour les outils de visualisation. Ainsi si les masses de données actuelles permettent l’émergence des Jumeaux Numériques, pour la Dataviz elle peuvent parfois ressembler à Janus : Autrement dit et pour paraphraser René Char qui s’interroge quand même un peu sur ce qu’il vient faire là, pour les outils de Dataviz conduisant à une prise de décision, “l’essentiel est toujours menacé par l’insignifiant” . C’est en cherchant à dépasser cette ambivalence que nous tâchons de concevoir notre environnement d’exploration et de visualisation de la donnée : EXAMIND Playground dont nous faisons ici une petite revue d’inventaire. S’appuyant sur les capacités de notre socle logiciel à diffuser de large volume de données géospatiaux, le cas échéant en streaming, EXAMIND Playground est conçu comme un ensemble de modules de visualisation cartographique mobilisable et configurable à façon qui s’appuie sur un moteur de visualisation géographique 4D (3D plus la dimension temporelle) sur lequel viennent se greffer des outils d’exploration de la donnée. Ainsi à partir d’une vue d’ensemble contextuelle à son besoin, l’utilisateur va pouvoir se concentrer et zoomer sur des zones spécifiques et éventuellement en observer la dynamique temporelle (cf infra). L’utilisateur va également pouvoir forer sa donnée et examiner l’évolution de plusieurs variables dernière le long d’une trajectoire ou en un point donné. L’outil de visualisation interagit avec le serveur de données ainsi, si le cas d’usage le nécessite, l’utilisateur peut ajouter des objets à l’environnement cartographique et simuler leurs impacts. Comme ici, dans le cas de la simulation de l’impact de la circulation des flamands roses après un ajout de linéaire de haies. Enfin, la donnée géographique pouvant venir enrichir notre perception du monde réel, EXAMIND Playground est utilisable avec des casques de réalité augmentée afin de proposer à l’usager de voir directement son univers enrichi. EXAMIND Playground propose donc toute une panoplie d’outils de visualisation cartographique mobilisables en fonction du besoin et du cas d’usage traité afin de pouvoir explorer au mieux toute la richesse de ses données. Le seul risque à trop bien voir ses données étant d’ « avoir la surprise de trouver un lion dans un placard là où l’on était sûr [au départ] d’y trouver des chemises. »(Frida Kahlo)
Datalakes geospatiaux : Un pas de plus pour faire face à l’augmentation des volumes de données brutes
Dans le cadre de ses activités pour les acteurs du domaine Spatial et de l’Observation de la Terre, Geomatys a structuré ses activités selon trois axes : Cet article présente un retour d’expérience sur la mise en place de traitements à la volée sur un DataLake pour les besoins d’une agence spatiale. Que l’on soit en charge de la production et la collecte de données où en charge d’un DataLake et de l’analyse ultérieure de ces mêmes données, force est de constater que la quantité d’information produite ne cesse d’augmenter. Les segments sols et centres de mission scientifiques, n’échappent pas à cette tendance, en raison notamment des nouveaux instruments scientifiques avec de très hautes résolutions, entraînant des volumes de données à produire, stocker et transmettre toujours plus conséquents. Cependant, combien de données seront réellement utilisées au regard du volume de données brutes acquises ? Si l’on prend le cas du satellite optique Sentinel 2, une recherche sur la plateforme SciHub sur l’année 2020, indique que, tous types de produits confondus, un peu moins de 11 Millions de produits ont été générés cette année là et qu’ environ 1,7 millions possèdent une couverture nuageuse supérieure à 95 % soit la quasi totalité de l’image. Il est donc probable que plus de 15% des données acquises en 2020 ne soient jamais utilisées. Ce pourcentage peut varier en fonction du capteur à l’origine de la mesure (radar, optique…) mais le constat reste valable pour tous, un nombre non négligeable de données brutes ne sera pas utilisé pour produire des analyses. A ce pourcentage de données “non utilisables” s’ajoutent les données pour lesquelles la mesure est exploitable mais qui ne seront simplement pas utilisées par manque d’utilisateurs pour la zone ou la période. Pour le producteur (et le gestionnaire de DataLake) cela représente une quantité de données non négligeable (environ 1,7 PetaOctet de données par an. dans le cas de Sentinel 2). Dans le cas de chaînes de production complexes telles que les segments sols de satellite ce nombre peut être multiplié par le nombre de post-traitements que subit la donnée depuis la mesure brute (L0 ou L1) jusqu’à devenir un produit prêt à l’utilisation (L2 à L4). Toujours dans le cas Sentinel 2, trois post-traitements sont appliqués (niveau L1A, L1B et L1C) à la donnée avant d’obtenir une donnée de niveau L2, produite systématiquement. Finalement, ce sont donc plusieurs dizaines de Po de données qui ont été traitées et stockées et qui ne serviront pas. Outre que cela ne s’inscrit pas vraiment dans une démarche “GreenIT”, cela impacte également le coût de l’infrastructure matérielle. Passer d’un traitement systématique à une donnée prête à l’emploi (dans la mouvance de la démarche Analysis Ready Data) et produite à la demande, permettrait d’éviter cette sur-production inutile (note pour l’aspect GreenIT : nous laissons au futur résultat d’une étude ACV le soin de déterminer le point d’équilibre entre traiter deux fois une même image ou mettre le résultat en cache après la première demande, l’un consommant plus d’énergie ou l’autre nécessitant plus de disque dur). Aujourd’hui, cette approche “à la demande” est de plus en plus mise en œuvre pour des traitements à partir des données post-traités (production à la demande d’occupation des sols, de taux d’humidité comme pour le projet européen Phidias sur lequel Geomatrys est impliqué au côté de nombreux partenaires dont le CNES le CINES et l’IRD …), évitant ainsi tout ou partie de la production systématique. Cependant, la plupart des segments sols (du niveau L0 au niveau L2 dans le cas de Sentinel 2) reste sur une approche systématique malgré les quantités de données inutiles. Pourquoi ? Une raison possible, sans doute pas la seule, est qu’un des post-traitements essentiels consiste à projeter sur une grille régulière les mesures dérivées du signal capté par le satellite. La projection des données consiste à associer des valeurs du signal (le signal pour chaque pixels) de manière directe ou indirecte à des coordonnées géospatiales distribuées selon une grille régulière. Cela rend les données beaucoup plus faciles à exploiter que des valeurs distribuées de manière irrégulière. Or, l’algorithme de re-échantillonage à partir de ces simples valeurs est complexe et peut s’avérer coûteux en termes de performances. Depuis 2018, RESTEC (Remote Sensing Technology Center of Japan) société affiliée à l’Agence Spatiale Japonaise (JAXA), travaille avec Geomatys sur l’application de cette projection à la volée pour les données issues des satellites GCOM-C et W. Exemple de sortie d’un service Analysis Ready Data – WMS via Examind Dans l’exemple du GCOM-W, la donnée brute à laquelle est appliquée la projection à la volée correspond à une partie conséquente de l’orbite du satellite. La position de chaque pixel est exprimée en latitude et longitude pour chaque pixel, ainsi de l’équateur au pôle existe t’il une très grande variabilité dans la taille des pixels. L’objectif est donc de fournir à l’utilisateur un accès à la volée à des données prêtes à l’emploi (approche Analysis Ready Data), moins dépendant de la structure initiale des produits et, dans le cas de GCOM-W, de l’orbite du satellite. Pour cela, l’ensemble des données est indexé comme une couche spatio-temporelle unique (ou cube de données). Ainsi l’utilisateur peut télécharger l’emprise spatio-temporelle des données qu’il souhaite via des services standards (WCS ici) indépendamment de la structure des données acquises par le satellite. Proposer un tel service à la volée nécessite de disposer d’une opération de projection efficace. C’est sur cet aspect que nous avons concentré le gros de nos travaux durant 2 ans. Il est assez facile de déterminer les coordonnées géographiques (latitude et longitude) de chaque pixel lorsque ces coordonnées sont déclarées dans le fichier. Il est beaucoup plus difficile d’effectuer le cheminement inverse, c’est-à-dire de trouver le pixel auquel correspond des coordonnées géographiques, lorsque ces pixels ne sont pas distribués sur une grille régulière. L’approche brute (inapplicable pour les grandes images) consisterait à itérer sur chaque pixel jusqu’à trouver le plus proche. L’approche présentée ci-dessous, et mise en œuvre par Geomatys permet de résoudre la problématique à la volée avec une précision et
Intelligence Artificielle – du hasard et de la nécessité
“Vivre, c’est transformer en conscience une expérience aussi large que possible”disait André Malraux. Nos Intelligences Artificielles contemporaines, souvent fantasmées pour leurs capacités, sont bien loin de ces considérations. Il ne s’agit pas ici de nier, les résultats spectaculaires obtenus depuis le tournant des années 2010, dans le domaine des algorithmes d’apprentissage ou Machine Learning, dû en partie, d’une part à la démocratisation des capacités de calcul nécessaires à ces algorithmes et d’autres part au verrou de la dimensionnalité qu’ont su, si ce n’est résoudre, au moins grandement dégripper les réseaux de neurones convolutifs (ou CNN). La libération de ces verrous a trouvé des applications pour tous et dans tous les domaines , qui plus est de manière si rapide, que les capacités nouvelles de ces outils, ainsi mis en lumière, peuvent se transformer pour certains en miroir aux alouettes. Qui n’a pas entendu ou lu depuis quelques années des récits prophétiques où les robots bientôt rêveraient. A Geomatys, peut être en partie car un de ses fondateurs possédait un retour d’expérience notable sur ces outils manipulés durant sa thèse au milieu des années 2000, de leurs avantages et de leurs limites, nous avons dans un premier temps, regardé ce bel objet qu’étaient les réseaux de neurones convolutifs comme un prolongement de nos activités plutôt que comme un axe d’activité à part entière. Ainsi l’avons nous mis en en œuvre très tôt pour des besoins de classification d’objet dans des d’image satellites, où à d’autres fins mais sans pour autant en faire l’alpha et l’oméga de nos activités futures. Il faut sans doute y voir ici, un hasard conjoncturel où la connaissance de l’outil nous a empêché d’adhérer à la mythologie collective se mettant en place. Ainsi avons-nous continué à consolider nos fondamentaux quant à la maîtrise de la gestion de l’information spatiale pour les grosses infrastructures de données, cet outil étant un parmi tant d’autres. Or aujourd’hui, à la ville comme à la campagne, force est de constater qu’il y a les entreprises qui en sont et celles qui n’en sont pas. Nécessité faisant loi, nous faisons donc ici notre coming out communicationnel et présentons ci-après nos activités dans le domaine pour affirmer que oui, nous en sommes! Aujourd’hui l’IMINT mobilise grandement les réseaux de neurones convolutifs pour automatiser très efficacement les tâches de reconnaissances d’objets dans une image, et avec force données d’apprentissage cela fonctionne très bien eu égard aux types de corrélations spatiales qu’un CNN est capable de capturer. De nombreuses sociétés se sont donc positionnées sur ce segment d’activité. Ayant raté le premier train, nous avons donc décidé de construire nous même notre locomotive et de nous positionner sur ce que nous pensons constituer le gros du potentiel encore sous exploité du Machine Learning, et avons démarré depuis un an trois projets distincts sur chacun des domaines. Couplé aux 15 années d’expertises de Geomatys dans le domaine de l’interopérabilité, du traitement et des infrastructures massives de données géospatiales, et de consolidations de cette expertise dans sa gamme logiciel Examind, nous oeuvrons désormais à transformer nos expériences dans le domaine du machine learning en des fonctionnalités facilement re-mobilisables pour nos client. Ce n’est pas Malraux mais ce n’est pas mal non plus.
Geomatys begins work on OGC Testbed-16
The Open Geospatial Consortium (OGC) organizes a yearly Innovation Initiative (a “testbed”) where members collaborate to quickly prototype the latest solutions to geo-spatial data problems. Geomatys has begun working on this year’s initiative, Testbed-16, which will address Earth Observation Clouds; Data Integration, Interoperability & Analytics; Data Containers; and Security. The full scope of Testbed-16 is summarized in the following schematic: Geomatys will work on 2 components of the testbed workflow: one dealing with Jupyter Notebook and the other with Jupyter Kernel: Geomatys is working on a Datacube solution providing Java/Python API accessible through Jupyter and Zeppelin notebooks. Planned work : 1.Within Geomatys (extending beyond the Testbed objectives): 2. With other OGC Testbed-16 teams: 3. Specific contributions to the Testbed: Architecture of the thematic exploitation platform (TEP) 1 ADES (Application Deployment and Execution Service) is a single server-side component and it is in charge of all aspects pertaining to the deployment and execution of Earth Observation applications on different cloud providers 2 EMS (Execution Management Service) is in charge to validate user credentials, perform product search on OpenSearch Catalogue, transfer requests to the relevant ADES server and execute workflow, dispatching each step to differents ADES where are located the relevant data and merge all results provide by ADES More information: https://www.ogc.org/projects/initiatives/t-16
Geomatys en charge du catalogue Phidias
Le projet Phidias, débuté en octobre 2019, doit préfigurer la mise en place d’une infrastructure de données géospatiale Big Data et multi-thématiques. Il regroupe donc des partenaires aux compétences en calcul scientifique haute performance affirmé et les équipes informatiques d’infrastructure thématique (océanographie, surface continentale, atmosphère). A terme, l’infrastructure Phidias doit fournir un ensemble de services et d’outils interdisciplinaires basés sur des ressources HPC, mobilisables par les différents pôles et facilitant le croisement des données de chacune des infrastructures distantes. Dans ce cadre, Geomatys est en charge de la mise en place d’un catalogue au niveau de la fédération qui permet de découvrir les données des pôles et de solliciter les traitements et services disponibles. Chaque pôle est riche d’un très grand nombre de données, décrites et diffusées selon les pratiques usuelles du domaine, la découverte et l’utilisation des données à un plus haut niveau passent donc par un alignement des variables, unités de mesure et vocabulaire métier. Cet enjeux est en passe d’être résolu par l’utilisation d’ontologies et l’utilisation des derniers concepts en matière de technologie sémantique (JSON-LD…). L’objectif étant de disposer d’un catalogue présentant des ressources avec une description fournie après un enrichissement de vocabulaire automatique et contrôlé qui faciliteront leurs découvertes via des utilisateurs humain mais également leurs utilisations dans des chaînes de traitements complexes mobilisant des ressources multi-thématiques. D’autre post viendront illustrer ces éléments au fur et à mesure des avancées notables du projet. En savoir plus : Press Release : PHIDIAS Launch User-friendly Browsing Experience with HPC Service Access Portal