Du repérage sémantique robuste d’actions vers leur détection dans les vidéos - ONERA - Office national d'études et de recherches aérospatiales Accéder directement au contenu
Thèse Année : 2021

From robust semantic action spotting to detection in videos

Du repérage sémantique robuste d’actions vers leur détection dans les vidéos

Résumé

Video understanding requires both spatial and temporal characterization of their content. Thus, given the success of statistical learning methods using neural networks for automatic image analysis, these methods were quickly extended to the spatio-temporal context. The temporal dimension introduces new algorithmic issues, whether for video characterization or for semantic information extraction. In this thesis, we are interested in temporal action detection, which aims not only at recognizing the actions present in a video, but also at knowing their temporal limits. More precisely, we study the impact that the search for a fine temporal localization can have on the robustness of semantic extraction. Thus, in the first part of this manuscript, we address the problem of action spotting, which aims at robust semantic extraction without strong temporal localization constraints. For this purpose, we introduce an algorithm based on a reinforcement learning technique, allowing to reduce the sensitivity to annotations during the learning process and thus to improve the quality of the semantic extraction. In a second part, we extend this method in order to also obtain indications on the temporal location of actions. We also introduce the notion of self-assessment which allows us to focus the process of extracting content of interest on areas with a high probability of containing an action. Finally, we propose to study the limitations of these approaches and suggest ways to achieve a precise temporal localization of actions.
La compréhension de vidéos nécessite une caractérisation à la fois spatiale et temporelle de leur contenu. Ainsi, face au succès des méthodes d’apprentissage statistique par réseaux de neurones pour l’analyse automatique d’images, ces méthodes ont rapidement été étendues au contexte spatio-temporel. La dimension temporelle introduit de nouvelles problématiques algorithmiques, que ce soit pour la caractérisation des vidéos ou pour l’extraction d’informations sémantiques. Dans cette thèse, nous nous intéressons à la détection temporelle d’actions qui vise, non seulement à reconnaître les actions présentes dans une vidéo, mais aussi à en connaître les limites temporelles. Plus précisément, nous étudions l’impact que peut avoir la recherche d’une localisation temporelle fine sur la robustesse de l’extraction sémantique. Ainsi, dans la première partie de ce manuscrit, nous abordons le problème du repérage d’actions, qui vise une extraction sémantique robuste sans contrainte forte de localisation temporelle. Pour cela, nous introduisons un algorithme basé sur une technique d’apprentissage par renforcement, permettant de réduire la sensibilité aux annotations lors de l’apprentissage et ainsi d’améliorer la qualité de l’extraction sémantique. Dans une seconde partie, nous étendons cette méthode de manière à obtenir également des indications sur la localisation temporelle des actions. Nous introduisons aussi la notion de confiance temporelle qui permet de focaliser le processus d’extraction de contenu d’intérêt sur les zones ayant une forte probabilité de contenir une action. Enfin, nous proposons d’étudier les limites de ces approches et proposons des pistes pour arriver à une localisation temporelle précise des actions.
Fichier principal
Vignette du fichier
VAUDAUX_RUTH_these_2021.pdf (10.87 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04028222 , version 1 (26-08-2022)
tel-04028222 , version 2 (14-03-2023)

Identifiants

  • HAL Id : tel-04028222 , version 2

Citer

Guillaume Vaudaux-Ruth. Du repérage sémantique robuste d’actions vers leur détection dans les vidéos. Intelligence artificielle [cs.AI]. Sorbonne Université, 2021. Français. ⟨NNT : 2021SORUS563⟩. ⟨tel-04028222v2⟩
163 Consultations
45 Téléchargements

Partager

Gmail Facebook X LinkedIn More