CrawlSpec regroupe les outils nécessaires pour l’alimentation et l’exploitation de la base de données en se basant sur 4 fonctionnalités principales : la centralisation, l’intégration, l’extraction et l’exploitation des données. L’étape préliminaire est la mise en place de la sémantique pour identifier les différents objets repris dans la base de données, à savoir : les identifiants des données, les catégories de produits ainsi que les paramètres analytiques qualitatifs et quantitatifs. Ensuite, une structure de fichier MS Excel permet de centraliser, par projet, les données de référence qualitatives et quantitatives, issues des différents laboratoires et unités d’expérimentation internes et externes à l’institution.
Tous les fichiers de données spectrales acquises en laboratoire ou sur site sont stockés sous format propriétaire et dans une arborescence structurée en fonction du type d’instrument, de la catégorie de produit et du projet. Sur cette base, une application informatique locale (CrawlSpec Manager) vise à intégrer les informations dans une base de données centralisée et sécurisée, tout en vérifiant leur intégrité.
Une autre fonctionnalité propose une application web (CrawlSpec Explorer) destinée à soumettre des requêtes à la base de données. Cette interface conviviale permet d’extraire les données spectrales et les métadonnées qui y sont liées. Cela peut se faire suivant des requêtes standardisées sur une catégorie de produits, un projet ou un lot d’échantillons.
Les résultats sont exportés sous différents formats de fichier suivant les spécifications de l’utilisateur.
CrawlSpec permet de pérenniser l’exploitation des données pour le développement de modèles de calibration et de discrimination. Cet outil de gestion de données spectrales permettra d’accompagner les secteurs agricoles et alimentaires dans la mise en œuvre de l’Industrie 4.0. Il contribuera également à partager l’expertise du CRA-W dans le domaine des capteurs optiques et de la modélisation.
