Comptage et prédiction de la

production des tomates cerises par l’IA

AgriEdge@um6p.ma
www.agriedge.um6p.ma Photo Prise: Les Domaines Agricoles, Dakhla,
24 mars 2021
 Le marché international des tomates cerises impose
plusieurs contraintes

Dynamique
offre/demande
Communiquer une
information préalable au
client sur la production
future
Chaine Logistique
contraignante

Pour dépasser ces contraintes, le producteur doit fournir une

prédiction fiable de sa production

Comptage des tomates cerises

Source: www.tridge.com/trades 2
 A travers ce projet, nous avons cherché à minimiser
l’erreur de prédiction de la production
𝑡: 𝐴𝑐𝑡𝑢𝑒𝑙𝑙𝑒𝑚𝑒𝑛𝑡 𝑇: 𝑑𝑎𝑡𝑒 𝑑𝑒 𝑟é𝑐𝑜𝑙𝑡𝑒

𝐸𝑟𝑟𝑒𝑢𝑟(𝑇) = 𝑃𝑟é𝑑𝑖𝑐𝑡𝑖𝑜𝑛 𝑇 (𝑡) − 𝑃𝑟𝑜𝑑𝑢𝑐𝑡𝑖𝑜𝑛 𝑟é𝑒𝑙𝑙𝑒(𝑇)

𝑃𝑟é𝑑𝑖𝑐𝑡𝑖𝑜𝑛 𝑇 (𝑡) = 𝑓 𝐜𝐨𝐦𝐩𝐭𝐚𝐠𝐞 𝐭 , 𝑚é𝑡é𝑜, 𝑣𝑎𝑟𝑖é𝑡é, 𝑑𝑎𝑡𝑒 𝑑𝑒 𝑝𝑙𝑎𝑛𝑡𝑎𝑡𝑖𝑜𝑛 …

Comptage

# Récoltées

L’objectif de la première phase est de faire le comptage en

s’appuyant sur l’Intelligence Artificielle
Comptage des tomates cerises
3
 Le projet s’appuie fortement sur des travaux d’AgriEdge
dans la détection des objets par IA

Projet comptage des

tomates cerises

Projet AgriEdge sur la

Transfer détection automatique des
learning objets

Modèles pré-entrainés de détection des

objets

Comptage des tomates cerises

4
 Actuellement, le comptage se fait manuellement

Transformation
du tableau de Gestion du
comptage en stockage et de
format l’historique
numérique

Comptage Estimation du
manuel des compte global
tomates dans la serre

Comptage des tomates cerises

5
 Actuellement, le comptage se fait manuellement

Transformation
du tableau de Gestion du
comptage en stockage et de
format l’historique
numérique

Comptage Estimation du
manuel des compte global
tomates cerises dans la serre

Comptage des tomates cerises

6
 Actuellement, le comptage se fait manuellement

Transformation
du tableau de Gestion du
comptage en stockage et de
format l’historique
numérique

Comptage Estimation du
manuel des compte global
tomates cerises dans la serre

Comptage des tomates cerises

7
 Actuellement, le comptage se fait manuellement

Transformation
du tableau de Gestion du
comptage en stockage et de
format l’historique
numérique

Comptage Estimation du
manuel des compte global
tomates cerises dans la serre

Comptage des tomates cerises

8
 Actuellement, le comptage se fait manuellement

Transformation
du tableau de Gestion du
comptage en stockage et de
format l’historique
numérique

Comptage Estimation du
manuel des compte global
tomates cerises dans la serre

Comptage des tomates cerises

9
 Actuellement, le comptage se fait manuellement

Transformation
du tableau de Gestion du
comptage en stockage et de
format l’historique
numérique

Comptage Estimation du
manuel des compte global
tomates cerises dans la serre

C’est un process qui consomme du temps et qui peut

manquer de précision

Comptage des tomates cerises

10
 Nous proposons, pour le comptage, une solution qui se
base sur l’intelligence artificielle

Comptage des
Agent 1 tomates cerises, Gestion du
fleurs et récoltées stockage et de
par bouquet/image l’historique

Prise des photos Estimation du

des bouquets compte global

Cette solution permet de réduire significativement le temps

de comptage avec une précision meilleure

Comptage des tomates cerises

11
 Le développement de cette solution est passé par 5
étapes

05 Validation de la
solution

04 Application
mobile

03
EVENT
Modélisation

02 Labellisation des
images

01 Collecte des
données

Comptage des tomates cerises

12
 Pour la collecte de data, Agriedge s’est rendu sur place
pour l’effectuer en collaboration avec DA

Déroulement Résultat

❑ Explication de la démarche sur place

❑ 2121 images collectées pour:
❑ Création de trois groupes ❑ Fleurs
❑ Récoltées
❑ Collecte dans un cycle de 20 minutes de ❑ Fruits
collecte–15 minutes de vérification

Comptage des tomates cerises

13
 Les images collectées ont été labellisées pour préparer la
phase modélisation

Labelliser une image: distinguer le contour de chaque objet d’intérêt: fruit,

récolté, fleur

Récoltée Tomate Récoltée Fleur

cerise

Comptage des tomates cerises

14
 Les images labellisées ont alimenté un modèle d’IA basé
sur les réseaux de neurones

Nombre des tomates

Image Image
cerises, récoltées, fleurs

Comptage des tomates cerises

15
 Le modèle obtenu a été testé pour s’assurer de sa qualité
et sa robustesse

Comparer le
Comptage
Sélectionner Comptage en résultat
manuel des
des images de utilisant le global du
différentes
test modèle modèle
classes
/manuel

Comptage des tomates cerises

16
 Exemples d’images générées par le modèle pour le
comptage (1/2)

Modèle IA

Comptage des tomates cerises

17
 Exemples d’images générées par le modèle pour le
comptage (2/2)

Comptage des tomates cerises

18
 Les résultats montrent qu’on dispose d’un modèle très
robuste avec une erreur de 2,6%

(𝐶𝑜𝑚𝑝𝑡𝑒 𝑚𝑜𝑑è𝑙𝑒 − 𝐶𝑜𝑚𝑝𝑡𝑒 𝑚𝑎𝑛𝑢𝑒𝑙) 2,8% 2,1% 2,9%

𝑒𝑟𝑟𝑒𝑢𝑟 =
𝐶𝑜𝑚𝑝𝑡𝑒 𝑚𝑎𝑛𝑢𝑒𝑙

Récoltées Tomates cerises Fleurs

Comptage des tomates cerises

19
 Certains points de vigilance concernant la prise d’images
(1/2)

Comptage des tomates cerises

20
 Certains points de vigilance concernant la prise d’images
(2/2)

Comptage des tomates cerises

21
 Pour simplifier l’utilisation du modèle, nous avons
développé une application mobile…

Stockage des
Image images
Serveur

𝐂𝐨𝐦𝐩𝐭𝐞 𝐠𝐥𝐨𝐛𝐚𝐥
Image
Modèle Modèle
𝐂𝐨𝐦𝐩𝐭𝐚𝐠𝐞𝐭 du bouquet Intelligence d’estimation du
artificielle comptage global

Comptage des tomates cerises

22
 …disposant d’une interface d’utilisation intuitive

Scan du code QR
du bouquet

Prise de la
l’image

Résultats de
prédiction Envoie de la
photo prise au
serveur
Comptage des tomates cerises
23
 Plusieurs campagnes de test ont été réalisées

Inspection des
Campagne N° 1 Visite terrain par Campagne N° 2 erreurs et Campagne N° 3
l’équipe formulation des
AgriEdge recommandation

Juin - Aout 2021 Septembre 2021 Septembre-Novembre Novembre 2021 Novembre 2021-Mars
2021 2022

Comptage des tomates cerises

24
 La première campagne de test a donné les résultats
suivants

(𝐶𝑜𝑚𝑝𝑡𝑒 𝑚𝑜𝑑è𝑙𝑒 − 𝑀𝑎𝑛𝑢𝑒𝑙 𝑑é𝑐𝑙𝑎𝑟é)

𝑒𝑟𝑟𝑒𝑢𝑟 =
𝑀𝑎𝑛𝑢𝑒𝑙 𝑑é𝑐𝑙𝑎𝑟é

17% 24% 12%

Récoltées Tomates cerises Fleurs

Comptage des tomates cerises

25
 La première campagne a permis d’identifier les
problèmes suivants
Ecart entre le manuel Qualité des Confusion petits
déclaré et le comptage images à fruits - récoltés
observé sur l’image améliorer

Comptage des tomates cerises

26
 Deux recommandations principales ont été formulées

Travailler davantage sur la qualité des images

1 • Focus sur le bouquet d’intérêt
• Background couvrant l’arrière plan

Prendre des photos du devant du bouquet pour

les petits fruits (mode selfie)
➢ Ceci permet d’avoir le petit fruit apparent dans 2
l’image

Comptage des tomates cerises

27
 La deuxième campagne de test a donné les résultats
suivants

(𝐶𝑜𝑚𝑝𝑡𝑒 𝑚𝑜𝑑è𝑙𝑒 − 𝑀𝑎𝑛𝑢𝑒𝑙 𝑑é𝑐𝑙𝑎𝑟é)

𝑒𝑟𝑟𝑒𝑢𝑟 =
𝑀𝑎𝑛𝑢𝑒𝑙 𝑑é𝑐𝑙𝑎𝑟é

17% 4% 6%

Récoltées Tomates cerises Fleurs

L’amélioration de la qualité des images par rapport à la première

campagne de test a permis de mieux détecter les fleurs et les fruits.

Comptage des tomates cerises

28
 La deuxième campagne de test a permis d’identifier deux
principaux problèmes
Qualité de l’image Confusion petits fruits - récoltés

I faudra travailler davantage la qualité La recommandation de prendre des

des images photos en mode selfie est rarement
considérée
Comptage des tomates cerises
29
 Le dernier test réalisé a démontré la robustesse de la solution
pour le comptage, tenant compte des recommandations

Des résultats pertinents par bouquet, les trois Une différence global minime pour les fleurs et
objets sont précisément détectés les fruits entre le manuel et le modèle
Modèle Manuel

Fruit 4%

Récolté 17%

Fleur 0%

Source: Base de données serveur

Période: Campagne 21/22

Comptage des tomates cerises

30
 En résumé, la première phase a inclut…

Comptage = g(image)
Un modèle réseau de neurones de comptage dont
l’erreur moyenne est 2,6%

Une application mobile qui simplifie la collecte et

la gestion des données de comptage

Comptage des tomates cerises

31
 Comme deuxième étape de modélisation, nous avons élargi
le travail sur la partie prédiction
𝑡: 𝐴𝑐𝑡𝑢𝑒𝑙𝑙𝑒𝑚𝑒𝑛𝑡 𝑇: 𝑑𝑎𝑡𝑒 𝑑𝑒 𝑟é𝑐𝑜𝑙𝑡𝑒

𝑃𝑟é𝑑𝑖𝑐𝑡𝑖𝑜𝑛 𝑇 (𝑡) = 𝑓 𝐜𝐨𝐦𝐩𝐭𝐚𝐠𝐞 𝐭 , 𝑚é𝑡é𝑜, 𝑑𝑜𝑛𝑛é𝑒𝑠 𝑠𝑒𝑟𝑟𝑒 …

𝑐𝑜𝑚𝑝𝑡𝑎𝑔𝑒 𝑡 = 𝑔 𝑖𝑚𝑎𝑔𝑒 𝑡

Prise en considération d’autres

𝑓(.)
paramètres de la serre:
• Climat
• Conditions dans la serre
• …

Comptage des tomates cerises

32
 Des données météo/serre ont été partagées…

Météo Serre
• Minimum température • Serre
• Moyenne température • Superficie
• Max température • Age Plastique
1 Janvier 2019 16 mars 2022 • Stag. Serre
Données • Type: Sol/Hors Sol
• Campagne
18/19 19/20 20/21

Production par
semaine
18/19 19/20 20/21

Comptage des tomates cerises

33
 …et elles ont été préparées pour une modélisation
Intelligence Artificielle

Température Température Température Stag. Age T: Semaine

T-1 T-2 T-3 Serre Plastique
Supérficie Production

75% Entrainement

25% Evaluation

Modélisation Intelligence
Artificielle R²
67
𝑃𝑟𝑜𝑑𝑢𝑐𝑡𝑖𝑜𝑛 𝑇 (𝑡) = 𝑓 𝑀é𝑡é𝑜, 𝑆𝑒𝑟𝑟𝑒 %

Comptage des tomates cerises

34
 En résumé, le projet a permis de compléter les axes
suivants…
…une opération de comptage précise à travers …un modèle de prédiction de la production
une app mobile facile à utiliser

𝐏𝐫𝐨𝐝𝐮𝐜𝐭𝐢𝐨𝐧(𝐭) = 𝐟 𝐦é𝐭é𝐨, 𝐝𝐨𝐧𝐧é𝐞𝐬 𝐬𝐞𝐫𝐫𝐞

Erreur
Prise des ~2.5%
photos des
bouquets
Comptage des
objets d’intérêt

Estimation du 18/19
compte total de la R²
serre 3 campagnes 19/20 67%
Gestion et
stockage et de 20/21
l’historique

Des données supplémentaires permettront d’avoir

une précision plus grande

Comptage des tomates cerises

35
 Comptage et prédiction de la
production des tomates cerises par l’IA

AgriEdge@um6p.ma
www.agriedge.um6p.ma Photo Prise: Les Domaines Agricoles, Dakhla,
24 mars 2021