DataForGood-2023

Data For Good 2023

Open Food Facts participe à la saison 11 de Data For Good, avec comme thématique la détection automatique des ingrédients à partir des images des produits.

Une description détaillée du projet est disponible sur le Notion de Data For Good.

Communication

On a un chan #dataforgood-ingredients sur notre slack (utiliser ce lien d'invitation)

Notes de meeting: https://docs.google.com/document/d/1du2iUqgNyEN1RckBIlWnczl9jVl_GeT0jPMx6Dz08_w/edit?usp=sharing

Introduction

Pour détecter la zone de l'image où se trouve la liste d'ingrédients, une approche possible est de détecter les mots sur la photo correspondant à des ingrédients, puis de trouver la zone dans la photo où la densité d'ingrédients est suffisamment élevée pour que celle-ci corresponde à la zone d'ingrédients.

Ce gist montre comment utiliser Robotoff pour extraire les ingrédients et la position des mots associés dans l'image.

Une campagne d'annotation d'image de liste d'ingrédients a été démarrée ici : elle permettra d'avoir des données ground-truth pour évaluer la fiabilité du système de croping des listes d'ingrédients.

Resources utiles

• Comment générer les URLs des photos de produits sur Open Food Facts à partir des métadonnées produit
• Comment l'OCR est utilisé à Open Food Facts, et comment récupérer le jeu de données d'OCR
• Documentation Robotoff dont installation
• Comprendre les Taxonomy dont celle des ingredients (téléchargeable aussi sous forme json)