Toulouse Hyperspectral Data Set: A benchmark data set to assess semi-supervised spectral representation learning and pixel-wise classification techniques
Ensemble de données hyperspectrales de Toulouse : un ensemble de données de référence pour évaluer l'apprentissage de la représentation spectrale semi-supervisée et les techniques de classification par pixel
Résumé
Airborne hyperspectral images can be used to map the land cover in large urban areas, thanks to their very high spatial and spectral resolutions on a wide spectral domain. While the spectral dimension of hyperspectral images is highly informative of the chemical composition of the land surface, the use of state-of-the-art machine learning algorithms to map the land cover has been dramatically limited by the availability of training data. To cope with the scarcity of annotations, semi-supervised and self-supervised techniques have lately raised a lot of interest in the community. Yet, the publicly available hyperspectral data sets commonly used to benchmark machine learning models are not totally suited to evaluate their generalization performances due to one or several of the following properties: a limited geographical coverage (which does not reflect the spectral diversity in metropolitan areas), a small number of land cover classes and a lack of appropriate standard train/test splits for semi-supervised and self-supervised learning. Therefore, we release in this paper the Toulouse Hyperspectral Data Set that stands out from other data sets in the above-mentioned respects in order to meet key issues in spectral representation learning and classification over large-scale hyperspectral images with very few labeled pixels. Besides, we discuss and experiment self-supervised techniques for spectral representation learning, including the Masked Autoencoder (He et al., 2022), and establish a baseline for pixel-wise classification achieving 85% overall accuracy and 77% F1 score. The Toulouse Hyperspectral Data Set and our code are publicly available at www.toulouse-hyperspectral-data-set.com and www.github.com/Romain3Ch216/tlse-experiments/, respectively.
Les images hyperspectrales aéroportées peuvent être utilisées pour cartographier l'occupation du sol dans les grandes zones urbaines, grâce à leur très grande hautes résolutions spatiales et spectrales sur un large domaine spectral. Alors que la dimension spectrale de l'hyperspectral les images sont très informatives sur la composition chimique de la surface terrestre, l'utilisation de machines de pointe les algorithmes d’apprentissage pour cartographier la couverture terrestre ont été considérablement limités par la disponibilité des données de formation. Pour faire face à la rareté des annotations, des techniques semi-supervisées et auto-supervisées ont récemment été développées.beaucoup d'intérêt pour la communauté. Pourtant, les ensembles de données hyperspectrales accessibles au public et couramment utilisés pour les modèles d'apprentissage automatique de référence ne sont pas totalement adaptés pour évaluer leurs performances de généralisation en raison à un ou plusieurs des biens suivants : une couverture géographique limitée (qui ne reflète pas la diversité spectrale dans les zones métropolitaines), un petit nombre de classes d'occupation du sol et un manque de répartitions standard train/test pour un apprentissage semi-supervisé et auto-supervisé. C’est pourquoi nous publions dans cet article le jeu de données hyperspectrales de Toulouse qui se distingue des autres jeux de données par les aspects mentionnés ci-dessus afin de répondre aux problématiques clés de l'apprentissage et de la classification des représentations spectrales sur des systèmes hyperspectraux à grande échelle.images avec très peu de pixels étiquetés. En outre, nous discutons et expérimentons des techniques auto-supervisées pour l'analyse spectrale. l’apprentissage des représentations, y compris le Masked Autoencoder (He et al., 2022), et établir une base de référence pour classification par pixel atteignant une précision globale de 85 % et un score F1 de 77 %. Les données hyperspectrales de Toulouse Set et notre code sont accessibles au public sur www.toulouse-hyperspectral-data-set.com et www.github.com/Romain3Ch216/tlse-experiments/.
Origine | Fichiers produits par l'(les) auteur(s) |
---|