diff --git a/topics/imaging/images/Annotation_AI_Pipeline/Check_data.png b/topics/imaging/images/Annotation_AI_Pipeline/Check_data.png new file mode 100644 index 00000000000000..35b97a4dfbd0fa Binary files /dev/null and b/topics/imaging/images/Annotation_AI_Pipeline/Check_data.png differ diff --git a/topics/imaging/images/Annotation_AI_Pipeline/Visualize_output_Coco_Visualizer.gif b/topics/imaging/images/Annotation_AI_Pipeline/Visualize_output_Coco_Visualizer.gif new file mode 100644 index 00000000000000..969b208e885a09 Binary files /dev/null and b/topics/imaging/images/Annotation_AI_Pipeline/Visualize_output_Coco_Visualizer.gif differ diff --git a/topics/imaging/images/Annotation_AI_Pipeline/Visualize_output_SAM3-ezgif.com-video-to-gif-converter.gif b/topics/imaging/images/Annotation_AI_Pipeline/Visualize_output_SAM3-ezgif.com-video-to-gif-converter.gif new file mode 100644 index 00000000000000..255589bd8c0fa0 Binary files /dev/null and b/topics/imaging/images/Annotation_AI_Pipeline/Visualize_output_SAM3-ezgif.com-video-to-gif-converter.gif differ diff --git a/topics/imaging/tutorials/Annotation_AI_Pipeline/data-library.yaml b/topics/imaging/tutorials/Annotation_AI_Pipeline/data-library.yaml new file mode 100644 index 00000000000000..f66ce1da1cf793 --- /dev/null +++ b/topics/imaging/tutorials/Annotation_AI_Pipeline/data-library.yaml @@ -0,0 +1,16 @@ +--- +destination: + type: library + name: GTN - Material + description: Galaxy Training Network Material + synopsis: Galaxy Training Network Material. See https://training.galaxyproject.org +items: +- name: Imaging + description: Image analysis using Galaxy + items: + - name: Annotation AI Pipeline + items: + - info: Lieujaune-PorzBreign-GOPR5167_Edited video + url: https://zenodo.org/records/20639741/files/Lieujaune-PorzBreign-GOPR5167_Edited.mp4?download=1 + ext: mp4 + src: url diff --git a/topics/imaging/tutorials/Annotation_AI_Pipeline/faqs/index.md b/topics/imaging/tutorials/Annotation_AI_Pipeline/faqs/index.md new file mode 100644 index 00000000000000..9ce3fe4fce824b --- /dev/null +++ b/topics/imaging/tutorials/Annotation_AI_Pipeline/faqs/index.md @@ -0,0 +1,3 @@ +--- +layout: faq-page +--- diff --git a/topics/imaging/tutorials/Annotation_AI_Pipeline/tutorial.bib b/topics/imaging/tutorials/Annotation_AI_Pipeline/tutorial.bib new file mode 100644 index 00000000000000..5ee21b94051995 --- /dev/null +++ b/topics/imaging/tutorials/Annotation_AI_Pipeline/tutorial.bib @@ -0,0 +1,44 @@ + +# This is the bibliography file for your tutorial. +# +# To add bibliography (bibtex) entries here, follow these steps: +# 1) Find the DOI for the article you want to cite +# 2) Go to https://doi2bib.org and fill in the DOI +# 3) Copy the resulting bibtex entry into this file +# +# To cite the example below, in your tutorial.md file +# use {% cite Batut2018 %} +# +# If you want to cite an online resourse (website etc) +# you can use the 'online' format (see below) +# +# You can remove the examples below + +@article{https://doi.org/10.48550/arxiv.2511.16719, + doi = {10.48550/ARXIV.2511.16719}, + url = {https://arxiv.org/abs/2511.16719}, + author = {Carion, Nicolas and Gustafson, Laura and Hu, Yuan-Ting and Debnath, Shoubhik and Hu, Ronghang and Suris, Didac and Ryali, Chaitanya and Alwala, Kalyan Vasudev and Khedr, Haitham and Huang, Andrew and Lei, Jie and Ma, Tengyu and Guo, Baishan and Kalla, Arpit and Marks, Markus and Greer, Joseph and Wang, Meng and Sun, Peize and R\"{a}dle, Roman and Afouras, Triantafyllos and Mavroudi, Effrosyni and Xu, Katherine and Wu, Tsung-Han and Zhou, Yu and Momeni, Liliane and Hazra, Rishi and Ding, Shuangrui and Vaze, Sagar and Porcher, Francois and Li, Feng and Li, Siyuan and Kamath, Aishwarya and Cheng, Ho Kei and Dollár, Piotr and Ravi, Nikhila and Saenko, Kate and Zhang, Pengchuan and Feichtenhofer, Christoph}, + keywords = {Computer Vision and Pattern Recognition (cs.CV), Artificial Intelligence (cs.AI), FOS: Computer and information sciences, FOS: Computer and information sciences}, + title = {SAM 3: Segment Anything with Concepts}, + publisher = {arXiv}, + year = {2025}, + copyright = {arXiv.org perpetual, non-exclusive license} +} + +@article{https://doi.org/10.48550/arxiv.1405.0312, + doi = {10.48550/ARXIV.1405.0312}, + url = {https://arxiv.org/abs/1405.0312}, + author = {Lin, Tsung-Yi and Maire, Michael and Belongie, Serge and Bourdev, Lubomir and Girshick, Ross and Hays, James and Perona, Pietro and Ramanan, Deva and Zitnick, C. Lawrence and Dollár, Piotr}, + keywords = {Computer Vision and Pattern Recognition (cs.CV), FOS: Computer and information sciences, FOS: Computer and information sciences}, + title = {Microsoft COCO: Common Objects in Context}, + publisher = {arXiv}, + year = {2014}, + copyright = {arXiv.org perpetual, non-exclusive license} +} + +@online{gtn-website, + author = {GTN community}, + title = {GTN Training Materials: Collection of tutorials developed and maintained by the worldwide Galaxy community}, + url = {https://training.galaxyproject.org}, + urldate = {2021-03-24} +} diff --git a/topics/imaging/tutorials/Annotation_AI_Pipeline/tutorial.md b/topics/imaging/tutorials/Annotation_AI_Pipeline/tutorial.md new file mode 100644 index 00000000000000..8e6c776a071667 --- /dev/null +++ b/topics/imaging/tutorials/Annotation_AI_Pipeline/tutorial.md @@ -0,0 +1,247 @@ +--- +layout: tutorial_hands_on + +title: AI pipeline for annotating marine species (Project Moorev - Marine) +zenodo_link: https://doi.org/10.5281/zenodo.20639741 +questions: +- How can we use artificial intelligence to annotate images of marine species? +- How can we check and correct these annotations? +objectives: +- Use SAM3 to automatically detect marine species from a simple keyword +- Correct generated annotations with Edit COCO Annotation +time_estimation: 30m +key_points: +- AI does most of the annotation work, but a human eye is still needed to check and correct it. +- Once set up, this pipeline can be reused for other species or other projects. +tags: + - Marine ecosystems + - biodiversity + - AI segmentation + - YOLO + - deep learning + - object detection +contributions: + authorship: + - TuturBaba + - yvanlebras + - NadineLeBris + funding: + - moorev + - sorbonneuniv + - ISYEB + - mnhn + - pndb +lang: en +translations: + - fr +--- + +In this tutorial, we will explore a complete pipeline for annotating images and videos of marine species. As an example, we will use a video from the [Moorev](https://moorev.fr/) project, cut into a short clip and available on Zenodo. + +This pipeline has two main steps: +1. **Automatic annotation** using a text prompt with {% tool [SAM3 Semantic Segmentation](toolshed.g2.bx.psu.edu/repos/ecology/sam3_semantic_segmentation/sam3_semantic_segmentation/1.0.1+galaxy6) %} +2. **Correction and validation** of the annotations with {% tool [Edit COCO Annotation](toolshed.g2.bx.psu.edu/repos/bgruening/edit_coco_annotation/edit_coco_annotation/1.0.0+galaxy0) %} + +> Learn more about the MOOREV project +> +> **MOOREV**: Microclimates and observation tools for the responses of marine life on the seafloor +> +> **Observing interactions between marine species facing microclimatic gradients on the shore** +> +> The MOOREV project is led by Nadine Le Bris (Sorbonne University, Concarneau Marine Station), +> with support from the National Museum of Natural History, the CNRS, and the Fondation de France. +> It started in 2022. Its goal is to better understand, and help others understand, the effects of +> climate disturbance on coastal biodiversity. +> +> The project uses underwater imaging methods to observe benthic species at the individual level, +> across different shore habitats. Groups of school students repeat data collection at their study +> sites, which are labelled by the Educational Marine Areas program of the French Biodiversity +> Office, across tide cycles, seasons, and years. +> +> The project brings together researchers and environmental education professionals. It is +> co-built with school classes and their teachers, using the shore as a natural laboratory. In the +> long term, it aims to support protection and conservation measures, taking into account the links +> between climate change and marine socio-ecosystems. +> +{: .details} + +> In this tutorial, we will cover: +> +> 1. TOC +> {:toc} +> +{: .agenda} + +# Loading the data + +The video used in this tutorial is a short clip taken directly from the Moorev project, available on Zenodo. This clip was chosen because it shows most of the features of the tools presented here. + +> Load the video into Galaxy +> +> 1. Create a new history for this tutorial (for example: "Annotation Moorev") +> +> {% snippet faqs/galaxy/histories_create_new.md %} +> +> {% snippet faqs/galaxy/histories_rename.md %} +> +> 2. Import the file from [Zenodo]({{ page.zenodo_link }}): +> +> ``` +> https://zenodo.org/records/20639741/files/Lieujaune-PorzBreign-GOPR5167_Edited.mp4?download=1 +> ``` +> +> {% snippet faqs/galaxy/datasets_import_via_link.md %} +> +> 3. Check that the file is shown in **green** in the history before you continue +> +> 4. Check the datatype +> +> > Check the datatype +> > +> > Galaxy assigns the datatype automatically. Since most tools use it to filter their inputs, it is important to make sure it is correct. In our case, check that the type is `mp4`. If it is not, the import may have had an error, and you can change the type manually. +> > +> > ![Check the datatype](../../images/Annotation_AI_Pipeline/Check_data.png){: style="width:75%; display:block; margin:auto;"} +> > +> > {% snippet faqs/galaxy/datasets_change_datatype.md datatype="mp4" %} +> > +> {: .tip} +{: .hands_on} + +# Automatic annotation with SAM3 + +SAM3 is a text-guided segmentation model. It automatically detects and segments objects that match your prompt, with no need for previous annotations. + +> A dedicated SAM3 tutorial exists +> +> If you want to learn more about SAM3 and its parameters, check out the dedicated tutorial: +> [SAM3 Tutorial]({% link topics/ecology/tutorials/SAM3/tutorial.md %}) +> +{: .tip} + +> Setting up SAM3 +> +> 1. {% tool [SAM3 Semantic Segmentation](toolshed.g2.bx.psu.edu/repos/ecology/sam3_semantic_segmentation/sam3_semantic_segmentation/1.0.1+galaxy6) %} with these parameters: +> +> - {% icon param-file %} *"Model data"*: `Segment Anything Model 3 (SAM 3)` (default) +> - {% icon param-select %} *"Input type"*: `One video` +> - {% icon param-file %} *"Input video file"*: `1: Lieujaune-PorzBreign-GOPR5167_Edited.mp4` +> - {% icon param-select %} *"Video quality"*: `Original quality (lossles)` (default) +> - {% icon param-select %} *"Additional output formats"*: `Empty` (default) +> - {% icon param-select %} *"Export individual frames"*: `Both annoted and raw frames` +> - {% icon param-text %} *"Text prompt"*: `fish` +> - {% icon version %} *"Confidence threshold"*: `0.5` +> - {% icon version %} *"Video frame stride"*: `5` +> - {% icon param-toggle %} *"Show bounding boxes on annotated output"*: `Yes` +> - {% icon param-toggle %} *"Normalize outputs?"*: `No` (default) +> +> 2. Click **Run Tool** +> +> > Processing time +> > +> > Processing can take several minutes, depending on the length of the video and the server resources. Wait until the outputs turn green in the history. +> > +> {: .comment} +> +> 3. Once it is finished, you will have these items in your history: +> - **5: Annotation COCO**: `annotations.json` — the segmentation masks in COCO format +> - **4: Annotated Frames**: the collection of extracted images (annotated) +> - **3: Raw Frames**: the collection of extracted images (not annotated) +> - **2: COCO Extracted Frames**: the annotated video, for visual checking +> +> 4. Check the results visually by clicking {% icon galaxy-eye %} on **Annotated Outputs** +> +> ![SAM3 segmentation result on the video](../../images/Annotation_AI_Pipeline/Visualize_output_SAM3-ezgif.com-video-to-gif-converter.gif){: style="width:75%; display:block; margin:auto;"} +> +> > Limits of SAM3 +> > +> > As you can see, not all annotations are perfect. False positives are the most common problem. This is why the next step, correction and validation, is essential. +> > +> {: .comment} +> +{: .hands_on} + +# Correcting and validating the annotations + +We will now see how to correct the annotations with **Edit COCO Annotation**, and then check the result with **COCO Annotation Visualizer**. + +## Correcting with Edit COCO Annotation + +The **Edit COCO Annotation** tool lets you modify COCO annotations without opening the images. It has three modes: + +- **Keep**: keep only the listed IDs (remove all the others) — useful when only a few IDs need to be kept; it can also rename them +- **Remove**: remove only the listed IDs +- **Rename**: rename the listed IDs without removing any others + +> Keep, remove, or rename annotations +> +> 1. {% tool [Edit COCO Annotation](toolshed.g2.bx.psu.edu/repos/bgruening/edit_coco_annotation/edit_coco_annotation/1.0.0+galaxy0) %} with these parameters: +> +> - {% icon param-file %} *"COCO annotation file"*: `5: Annotation COCO ` +> - {% icon param-select %} *"Mode"*: `Keep - keep only listed IDs (remove all others)` +> - {% icon param-repeat %} *"1: Track to keep"* +> - {% icon param-text %} *"Track IDs"*: `0,4-6` +> - {% icon param-text %} *"Rename"*: `Gobiusculus flavescens` +> - {% icon param-text %} *"Frame min"*: `Empty` (default) +> - {% icon param-text %} *"Frame max"*: `Empty` (default) +> - {% icon param-repeat %} *"2: Track to keep"* +> - {% icon param-text %} *"Track IDs"*: `2` +> - {% icon param-text %} *"Rename"*: `Crenilabre` +> - {% icon param-text %} *"Frame min"*: `Empty` (default) +> - {% icon param-text %} *"Frame max"*: `Empty` (default) +> +> > The same result in two steps +> > +> > You can also get the same result in two steps: use **Remove** to remove IDs 1 and 3, then use **Rename** to rename the remaining groups. +> > +> > Note: SAM3 can sometimes give the same Track ID to two different objects at different moments in the video. This is why the **Frame min** and **Frame max** parameters were added. +> > +> {: .comment} +> +> 2. Once it is finished, you will have this item in your history: +> - **54: Edited COCO annotations**: the JSON file in COCO format, modified with the parameters set above +> +{: .hands_on} + +### Visualizing the annotations with COCO Annotation Visualizer + +This tool lets you easily visualize a JSON file in COCO format, shown on top of a video or images. Here we use it to check our annotations after correction. + +> Visualize the COCO annotations +> +> 1. {% tool [COCO Annotation Visualizer](toolshed.g2.bx.psu.edu/repos/bgruening/coco_annotation_visualizer/coco_annotation_visualizer/1.0.0) %} with these parameters: +> +> - {% icon param-select %} *"Input Type"*: `One Video` +> - {% icon param-file %} *"Input video file"*: `1: Lieujaune-PorzBreign-GOPR5167_Edited.mp4` +> - {% icon version %} *"Frame stride"*: `5` +> - {% icon param-file %} *"COCO annotation file"*: `54: Edited COCO annotations` +> - {% icon param-text %} *"Filter categories"*: `Empty` (default) +> - In *"Display options"*: +> - {% icon param-toggle %} *"Show bounding boxes"*: `No` +> - {% icon param-toggle %} *"Show segmentation masks"*: `Yes` (default) +> - {% icon param-toggle %} *"Show category labels"*: `Yes` (default) +> - {% icon param-toggle %} *"Show annotation count"*: `No` (default) +> - {% icon version %} *"Mask opacity"*: `0.4` (default) +> - {% icon version %} *"Bounding box thickness"*: `2` (default) +> - {% icon version %} *"Label font scale"*: `0.6` (default) +> - {% icon param-select %} *"Color mode"*: `Per instance (different color for each annotation)` +> - {% icon param-select %} *"Output image format"*: `PNG (lossless)` (default) +> - {% icon param-select %} *"Output mode"*: `Both (frames and video)` +> - {% icon version %} *"Video frame rate (FPS)"*: `5.0` +> - {% icon param-toggle %} *"Annotated frames only"*: `Yes` (default) +> +> 2. Once it is finished, you will have these items in your history: +> - **56: Annoted video**: the annotated video +> - **55: Annotated images**: each annotated frame +> +> ![Annotated video with the COCO segmentation masks](../../images/Annotation_AI_Pipeline/Visualize_output_Coco_Visualizer.gif "56: Annoted video "){: style="width:65%; display:block; margin:auto;"} +{: .hands_on} + +# Conclusion + +You now know how to use this complete pipeline to annotate videos of marine species: + +- **SAM3** automatically generates annotations from a simple text prompt +- **Edit COCO** lets you quickly clean up annotations by keeping, removing, or renaming track IDs +- **COCO Annotation Visualizer** lets you visually check the results at each step + +This pipeline can be reused for other species or other marine imaging projects — you just need to adapt the prompt and the SAM3 confidence settings. diff --git a/topics/imaging/tutorials/Annotation_AI_Pipeline/tutorial_FR.md b/topics/imaging/tutorials/Annotation_AI_Pipeline/tutorial_FR.md new file mode 100644 index 00000000000000..a52d1d56f8164a --- /dev/null +++ b/topics/imaging/tutorials/Annotation_AI_Pipeline/tutorial_FR.md @@ -0,0 +1,250 @@ +--- +layout: tutorial_hands_on + +title: Pipeline d'annotation d'espèces marines par IA (Project Moorev - Marine) +zenodo_link: https://doi.org/10.5281/zenodo.20639741 +questions: +- Comment utiliser l'intelligence artificielle pour annoter des images d'espèces marines ? +- Comment vérifier et corriger ces annotations ? +objectives: +- Utiliser SAM3 pour détecter automatiquement des espèces marines à partir d'un simple mot-clé +- Corriger les annotations générées avec Edit COCO Annotation +time_estimation: 30m +key_points: +- L'IA fait le gros du travail d'annotation, mais un œil humain reste indispensable pour vérifier et corriger. +- Une fois mis en place, ce pipeline est réutilisable pour d'autres espèces ou d'autres projets. +tags: + - Marine ecosystems + - biodiversity + - AI segmentation + - YOLO + - deep learning + - object detection +contributions: + authorship: + - TuturBaba + - yvanlebras + - NadineLeBris + funding: + - moorev + - sorbonneuniv + - ISYEB + - mnhn + - pndb +lang: fr +translations: + - en +--- + +Dans ce tutoriel, nous allons explorer un pipeline complet pour l'annotation d'images et de vidéos d'espèces marines. Nous utiliserons comme exemple une vidéo issue du projet [Moorev](https://moorev.fr/), découpée et disponible sur Zenodo. + +Ce pipeline se décompose en deux grandes étapes : +1. **Annotation automatique** par prompt textuel avec {% tool [SAM3 Semantic Segmentation](toolshed.g2.bx.psu.edu/repos/ecology/sam3_semantic_segmentation/sam3_semantic_segmentation/1.0.1+galaxy6) %} +2. **Correction et validation** des annotations avec {% tool [Edit COCO Annotation](toolshed.g2.bx.psu.edu/repos/bgruening/edit_coco_annotation/edit_coco_annotation/1.0.0+galaxy0) %} + +> En savoir plus sur le projet MOOREV +> +> **MOOREV** : Microclimats et outils d'observation des réponses du vivant sur les fonds marins +> +> **Observer les interactions entre espèces marines face aux gradients microclimatiques sur l'estran** +> +> Le projet MOOREV, porté par Nadine Le Bris (Sorbonne Université, Station Marine de Concarneau), +> avec le soutien du Muséum National d'Histoire Naturelle, du CNRS et de la Fondation de France, +> a été lancé en 2022. Son objectif : mieux comprendre et faire comprendre les effets des +> perturbations climatiques sur la biodiversité du littoral. +> +> L'approche repose sur des méthodes d'imagerie sous-marine pour observer les espèces benthiques +> à l'échelle individuelle, sur différents habitats de l'estran. Des groupes de scolaires +> répètent des acquisitions de données sur leurs sites d'étude, labellisés par le programme +> Aires Marines Éducatives de l'Office Français de la Biodiversité, au fil des cycles de marée, +> des saisons et des années. +> +> Le projet associe chercheurs et professionnels de l'éducation à l'environnement, et est +> co-construit avec des classes et leurs enseignants, en utilisant le littoral comme laboratoire +> naturel. À terme, il vise à soutenir la mise en œuvre de mesures de protection et de +> conservation, en tenant compte des interactions entre changement climatique et socio-écosystèmes +> marins. +> +{: .details} + +> Dans ce tutoriel, nous allons couvrir : +> +> 1. TOC +> {:toc} +> +{: .agenda} + +# Chargement des données + +La vidéo utilisée dans ce tutoriel est un extrait issu directement du projet Moorev, disponible sur Zenodo. Cet extrait a été sélectionné car il permet d'illustrer la majorité des fonctionnalités des outils présentés. + +> Charger la vidéo dans Galaxy +> +> 1. Créez un nouvel historique pour ce tutoriel (par exemple : "Annotation Moorev") +> +> {% snippet faqs/galaxy/histories_create_new.md %} +> +> {% snippet faqs/galaxy/histories_rename.md %} +> +> 2. Importez le fichier depuis [Zenodo]({{ page.zenodo_link }}) : +> +> ``` +> https://zenodo.org/records/20639741/files/Lieujaune-PorzBreign-GOPR5167_Edited.mp4?download=1 +> ``` +> +> {% snippet faqs/galaxy/datasets_import_via_link.md %} +> +> 3. Vérifiez que le fichier apparaît en **vert** dans l'historique avant de continuer +> +> 4. Vérifiez le type de données +> +> > Vérifier le type de données +> > +> > Le type de données est attribué automatiquement par Galaxy. Comme la majorité des outils l'utilisent pour filtrer leurs entrées, il est important de s'assurer qu'il est correct. Dans notre cas, vérifiez que le type est bien `mp4`. Si ce n'est pas le cas, l'import a peut-être rencontré une erreur, vous pouvez modifier le type manuellement. +> > +> > ![Vérifier le type de données](../../images/Annotation_AI_Pipeline/Check_data.png){: style="width:75%; display:block; margin:auto;"} +> > +> > {% snippet faqs/galaxy/datasets_change_datatype.md datatype="mp4" %} +> > +> {: .tip} +{: .hands_on} + +# Annotation automatique avec SAM3 + +SAM3 est un modèle de segmentation guidé par texte. Il détecte et segmente automatiquement les objets correspondant à votre prompt, sans nécessiter d'annotations préalables. + +> Un tutoriel dédié à SAM3 existe +> +> Si vous souhaitez en savoir plus sur SAM3 et ses paramètres, consultez le tutoriel dédié : +> [Tutoriel SAM3]({% link topics/ecology/tutorials/SAM3/tutorial.md %}) +> +{: .tip} + +> Paramétrage de SAM3 +> +> 1. {% tool [SAM3 Semantic Segmentation](toolshed.g2.bx.psu.edu/repos/ecology/sam3_semantic_segmentation/sam3_semantic_segmentation/1.0.1+galaxy6) %} avec ces paramètres : +> +> - {% icon param-file %} *"Model data"* : `Segment Anything Model 3 (SAM 3)` (par défaut) +> - {% icon param-select %} *"Input type"* : `One video` +> - {% icon param-file %} *"Input video file"* : `1: Lieujaune-PorzBreign-GOPR5167_Edited.mp4` +> - {% icon param-select %} *"Video quality"* : `Original quality (lossles)` (par défaut) +> - {% icon param-select %} *"Additional output formats"* : `Empty` (par défaut) +> - {% icon param-select %} *"Export individual frames"* : `Both annoted and raw frames` +> - {% icon param-text %} *"Text prompt"* : `fish` +> - {% icon version %} *"Confidence threshold"* : `0.5` +> - {% icon version %} *"Video frame stride"* : `5` +> - {% icon param-toggle %} *"Show bounding boxes on annotated output"* : `Yes` +> - {% icon param-toggle %} *"Normalize outputs?"* : `No` (par défaut) +> +> 2. Cliquez sur **Run Tool** +> +> > Temps de traitement +> > +> > Le traitement peut prendre plusieurs minutes selon la longueur de la vidéo et les ressources du serveur. Patientez jusqu'à ce que les sorties apparaissent en vert dans l'historique. +> > +> {: .comment} +> +> 3. Une fois terminé, vous obtenez dans votre historique : +> - **5: Annotation COCO** : `annotations.json` — les masques de segmentation au format COCO +> - **4: Annotated Frames** : la collection d'images extraites (annotées) +> - **3: Raw Frames** : la collection d'images extraites (non annotées) +> - **2: COCO Extracted Frames** : la vidéo annotée pour vérification visuelle +> +> 4. Vérifiez visuellement les résultats en cliquant sur {% icon galaxy-eye %} sur **Annotated Outputs** +> +> ![Résultat de segmentation SAM3 sur la vidéo](../../images/Annotation_AI_Pipeline/Visualize_output_SAM3-ezgif.com-video-to-gif-converter.gif){: style="width:75%; display:block; margin:auto;"} +> +> > Limites de SAM3 +> > +> > Comme vous pouvez le constater, toutes les annotations ne sont pas parfaites, les faux positifs sont le problème le plus fréquent. C'est pourquoi l'étape suivante de correction et validation est indispensable. +> > +> {: .comment} +> +{: .hands_on} + +# Correction et validation des annotations + +Nous allons voir comment corriger les annotations avec **Edit COCO Annotation**, puis vérifier le résultat avec **COCO Annotation Visualizer**. + +## Corriger avec Edit COCO Annotation + +L'outil **Edit COCO Annotation** permet de modifier les annotations COCO sans avoir à ouvrir les images. Il propose trois modes : + +- **Keep** : garder uniquement les IDs listés (supprimer tous les autres) — utile quand peu d'IDs sont à conserver, permet aussi de les renommer +- **Remove** : supprimer uniquement les IDs listés +- **Rename** : renommer les IDs listés sans en supprimer d'autres + +> Garder, supprimer ou renommer des annotations +> +> 1. {% tool [Edit COCO Annotation](toolshed.g2.bx.psu.edu/repos/bgruening/edit_coco_annotation/edit_coco_annotation/1.0.0+galaxy0) %} avec ces paramètres : +> +> - {% icon param-file %} *"COCO annotation file"* : `5: Annotation COCO ` +> - {% icon param-select %} *"Mode"* : `Keep - keep only listed IDs (remove all others)` +> - {% icon param-repeat %} *"1: Track to keep"* +> - {% icon param-text %} *"Track IDs"* : `0,4-6` +> - {% icon param-text %} *"Rename"* : `Gobiusculus flavescens` +> - {% icon param-text %} *"Frame min"* : `Empty` (par défaut) +> - {% icon param-text %} *"Frame max"* : `Empty` (par défaut) +> - {% icon param-repeat %} *"2: Track to keep"* +> - {% icon param-text %} *"Track IDs"* : `2` +> - {% icon param-text %} *"Rename"* : `Crenilabre` +> - {% icon param-text %} *"Frame min"* : `Empty` (par défaut) +> - {% icon param-text %} *"Frame max"* : `Empty` (par défaut) +> +> > Résultat équivalent en deux étapes +> > +> > Il est aussi possible d'obtenir le même résultat en deux étapes : utiliser **Remove** pour supprimer les IDs 1 et 3, puis **Rename** pour renommer les groupes restants. +> > +> > À noter : SAM3 peut parfois attribuer le même Track ID à deux objets différents à des moments distincts de la vidéo. C'est pour cette raison que les paramètres **Frame min** et **Frame max** ont été ajoutés. +> > +> {: .comment} +> +> 2. Une fois terminé, vous obtenez dans votre historique : +> - **54: Edited COCO annotations** : le fichier JSON au format COCO, modifié selon les paramètres renseignés ci-dessus +> +{: .hands_on} + +### Visualiser les annotations avec COCO Annotation Visualizer + +Cet outil permet de visualiser facilement un fichier JSON au format COCO superposé sur une vidéo ou des images. Nous l'utilisons ici pour vérifier nos annotations après correction. + +> Visualiser les annotations COCO +> +> 1. {% tool [COCO Annotation Visualizer](toolshed.g2.bx.psu.edu/repos/bgruening/coco_annotation_visualizer/coco_annotation_visualizer/1.0.0) %} avec ces paramètres : +> +> +> - {% icon param-select %} *"Input Type"* : `One Video` +> - {% icon param-file %} *"Input video file"* : `1: Lieujaune-PorzBreign-GOPR5167_Edited.mp4` +> - {% icon version %} *"Frame stride"* : `5` +> - {% icon param-file %} *"COCO annotation file"* : `54: Edited COCO annotations` +> - {% icon param-text %} *"Filter categories"* : `Empty` (par défaut) +> - Dans *"Display options"* : +> - {% icon param-toggle %} *"Show bounding boxes"* : `No` +> - {% icon param-toggle %} *"Show segmentation masks"* : `Yes` (par défaut) +> - {% icon param-toggle %} *"Show category labels"* : `Yes` (par défaut) +> - {% icon param-toggle %} *"Show annotation count"* : `No` (par défaut) +> - {% icon version %} *"Mask opacity"* : `0.4` (par défaut) +> - {% icon version %} *"Bounding box thickness"* : `2` (par défaut) +> - {% icon version %} *"Label font scale"* : `0.6` (par défaut) +> - {% icon param-select %} *"Color mode"* : `Per instance (different color for each annotation)` +> - {% icon param-select %} *"Output image format"* : `PNG (lossless)` (par défaut) +> - {% icon param-select %} *"Output mode"* : `Both (frames and video)` +> - {% icon version %} *"Video frame rate (FPS)"* : `5.0` +> - {% icon param-toggle %} *"Annotated frames only"* : `Yes` (par défaut) +> +> 2. Une fois terminé, vous obtenez dans votre historique : +> - **56: Annoted video** : la vidéo annotée +> - **55: Annotated images** : chaque frame annotée +> +> ![Vidéo annotée avec les masques de segmentation COCO](../../images/Annotation_AI_Pipeline/Visualize_output_Coco_Visualizer.gif "56: Annoted video "){: style="width:65%; display:block; margin:auto;"} +{: .hands_on} + +# Conclusion + +Vous savez maintenant utiliser ce pipeline complet pour annoter des vidéos d'espèces marines : + +- **SAM3** génère automatiquement des annotations à partir d'un simple prompt textuel +- **Edit COCO** permet de nettoyer rapidement les annotations en gardant, supprimant ou renommant des IDs de tracks +- **COCO Annotation Visualizer** permet de vérifier visuellement les résultats à chaque étape + +Ce pipeline est réutilisable pour d'autres espèces ou d'autres projets d'imagerie marine — il suffit d'adapter le prompt et les paramètres de confiance de SAM3.