Un Projet POC (Proof of Concept ou Preuve de Concept) est un projet à petite échelle mené pour évaluer la viabilité et l’efficacité d’une approche ou d’une solution d’annotation des données. Il s’agit du premier projet qui vise à valider de nombreuses hypothèses avant de lancer un projet de production. Ce projet permet de fixer de nombreuses variables, telles que :
- Les standards de qualité attendus par le client. Ces derniers peuvent être fixés par des KPIs (indicateurs clés de performance).
- Le temps passé par asset à annoter (inversement proportionnel à l’expertise de l’annotateur, mais proportionnel à la qualité attendue)
- L’équilibre “temps passé/qualité produite” sur les annotations : il est toujours possible d’améliorer la qualité des annotations, cependant, le temps/asset peut être affecté en conséquence.
- Le type d’annotation à effectuer (bounding boxes, polygones, segmentation, etc.)
- La sélection d’un outil d’annotation adapté et bien configuré
- La sélection d’annotateurs et de chef(s) de projet adaptés à la tâche et leur formation.
- La définition d’un processus d’annotation (nombres de passages, vérifications, consensus, etc.). C’est une étape nécessaire si la qualité à atteindre est très importante.
Passer par un Projet POC rend plus simple le passage à l’échelle : cela limite les erreurs et le gaspillage de temps et d’argent lors de la mise à l’échelle.
Chez People for AI, nous privilégions de commencer par un projet POC payant, pour avoir assez de budget pour effectuer des tests et une étude plus approfondis du projet d’annotation.
Le Projet POC permet aussi de clarifier le guide d’annotation et de le rendre le plus exhaustif possible. Il permet aussi de bien former les annotateurs à partir de ce guide.
Synonyms : Project Test – “Calibration batch” (cf Scale.ai) – « Projet de training » ou « Training project » (cf Kili-technology) – Prototype
