Article (Scientific journals)
Voxel-Based 3D Point Cloud Semantic Segmentation: Unsupervised Geometric and Relationship Featuring vs Deep Learning Methods
Poux, Florent; Billen, Roland
2019In ISPRS International Journal of Geo-Information, 8 (5), p. 213
Peer Reviewed verified by ORBi
 

Files


Full Text
poux-ijgi-08-00213.pdf
Publisher postprint (8.32 MB)
Download

This is an open access article distributed under the Creative Commons Attribution License which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited (CC BY 4.0)


All documents in ORBi are protected by a user license.

Send to



Details



Keywords :
3D point cloud; voxel; feature extraction; semantic segmentation; classification; 3D semantics; deep learning; object detection; apprentissage en profondeur; détection d'objets; Nuage de points 3D; extraction de caractéristiques; segmentation sémantique; sémantique 3D
Abstract :
[en] Automation in point cloud data processing is central in knowledge discovery within decision-making systems. The definition of relevant features is often key for segmentation and classification, with automated workflows presenting the main challenges. In this paper, we propose a voxel-based feature engineering that better characterize point clusters and provide strong support to supervised or unsupervised classification. We provide different feature generalization levels to permit interoperable frameworks. First, we recommend a shape-based feature set (SF1) that only leverages the raw X, Y, Z attributes of any point cloud. Afterwards, we derive relationship and topology between voxel entities to obtain a three-dimensional (3D) structural connectivity feature set (SF2). Finally, we provide a knowledge-based decision tree to permit infrastructure-related classification. We study SF1/SF2 synergy on a new semantic segmentation framework for the constitution of a higher semantic representation of point clouds in relevant clusters. Finally, we benchmark the approach against novel and best-performing deep-learning methods while using the full S3DIS dataset. We highlight good performances, easy-integration, and high F1-score (> 85%) for planar-dominant classes that are comparable to state-of-the-art deep learning.
[fr] L'automatisation du traitement des données des nuages de points est essentielle à la découverte des connaissances dans les systèmes décisionnels. La définition des caractéristiques pertinentes est souvent essentielle pour la segmentation et la classification, les principaux défis étant l'automatisation des flux de travail. Dans cet article, nous proposons une ingénierie des caractéristiques basée sur le voxel qui permet de mieux caractériser les groupes de points et d'apporter un soutien solide à la classification supervisée ou non supervisée. Nous fournissons différents niveaux de généralisation des fonctionnalités pour permettre un cadres interopérable. Tout d'abord, nous recommandons un jeu de caractéristiques basé sur la forme (SF1) qui exploite uniquement les attributs bruts X, Y, Z d'un nuage de points. Ensuite, nous dérivons la relation et la topologie entre les entités voxel pour obtenir un ensemble de caractéristiques de connectivité structurelle tridimensionnelle (3D) (SF2). Enfin, nous fournissons un arbre décisionnel fondé sur les connaissances pour permettre la classification liée à l'infrastructure. Nous étudions la synergie SF1/SF2 sur un nouveau cadre de segmentation sémantique pour la constitution d'une représentation sémantique supérieure des nuages de points dans les clusters pertinents. Enfin, nous comparons l'approche à des méthodes d'apprentissage approfondi novatrices et performantes tout en utilisant l'ensemble des données S3DIS. Nous mettons l'accent sur les bonnes performances, la facilité d'intégration et un score F1 élevé (> 85%) pour les classes à dominance planaire, comparables à l'apprentissage profond de pointe.
[de] Die Automatisierung in der Punktwolken-Datenverarbeitung ist von zentraler Bedeutung für die Wissensermittlung in Entscheidungssystemen. Die Definition relevanter Merkmale ist oft der Schlüssel zur Segmentierung und Klassifizierung, wobei automatisierte Arbeitsabläufe die größten Herausforderungen darstellen. In diesem Beitrag schlagen wir ein voxelbasiertes Feature Engineering vor, das die Charakterisierung von Punktclustern verbessert und die überwachte oder unbeaufsichtigte Klassifizierung stark unterstützt. Wir bieten verschiedene Generalisierungsebenen für Merkmale an, um interoperable Frameworks zu ermöglichen. Zuerst empfehlen wir einen Shape-based Feature Set (SF1), der nur die rohen X, Y, Z Attribute einer beliebigen Punktwolke nutzt. Anschließend leiten wir Beziehung und Topologie zwischen Voxel-Entitäten ab, um einen dreidimensionalen (3D) strukturellen Konnektivitäts-Featuresatz (SF2) zu erhalten. Schließlich stellen wir einen wissensbasierten Entscheidungsbaum zur Verfügung, der eine infrastrukturbezogene Klassifizierung ermöglicht. Wir untersuchen SF1/SF2-Synergie auf einem neuen semantischen Segmentierungsrahmen für die Konstitution einer höheren semantischen Darstellung von Punktwolken in relevanten Clustern. Schließlich vergleichen wir den Ansatz mit neuartigen und leistungsfähigen Deep-Learning-Methoden unter Verwendung des vollständigen S3DIS-Datensatzes. Wir heben gute Leistungen, einfache Integration und einen hohen F1-Score (> 85%) für planardominante Klassen hervor, die mit dem modernsten Deep Learning vergleichbar sind.
[es] La automatización en el procesamiento de datos de nubes de puntos es fundamental para el descubrimiento de conocimientos dentro de los sistemas de toma de decisiones. La definición de las características relevantes es a menudo clave para la segmentación y la clasificación, y los flujos de trabajo automatizados presentan los principales desafíos. En este trabajo, proponemos una ingeniería de características basada en vóxeles que caracteriza mejor a los grupos de puntos y proporciona un fuerte apoyo a la clasificación supervisada o no supervisada. Proporcionamos diferentes niveles de generalización de características para permitir marcos interoperables. Primero, recomendamos un conjunto de características basadas en la forma (SF1) que sólo aprovecha los atributos X, Y, Z sin procesar de cualquier nube de puntos. Posteriormente, derivamos la relación y topología entre las entidades voxel para obtener un conjunto de características de conectividad estructural tridimensional (3D) (SF2). Finalmente, proporcionamos un árbol de decisión basado en el conocimiento para permitir la clasificación relacionada con la infraestructura. Estudiamos la sinergia SF1/SF2 sobre un nuevo marco de segmentación semántica para la constitución de una representación semántica superior de nubes de puntos en clusters relevantes. Por último, comparamos el enfoque con métodos de aprendizaje profundo novedosos y de mejor rendimiento mientras utilizamos todo el conjunto de datos de S3DIS. Destacamos el buen rendimiento, la facilidad de integración y la alta puntuación de F1 (> 85%) en las clases con dominio planar que son comparables a los últimos avances en el aprendizaje profundo.
[it] L'automazione nell'elaborazione dei dati delle nuvole di punti è fondamentale per la scoperta delle conoscenze all'interno dei sistemi decisionali. La definizione delle caratteristiche rilevanti è spesso fondamentale per la segmentazione e la classificazione, con flussi di lavoro automatizzati che presentano le principali sfide. In questo articolo, proponiamo un'ingegneria delle caratteristiche basata su voxel che caratterizza meglio i cluster di punti e fornisce un forte supporto alla classificazione supervisionata o non supervisionata. Forniamo diversi livelli di generalizzazione delle caratteristiche per consentire l'interoperabilità dei framework. In primo luogo, consigliamo un set di funzionalità basate sulla forma (SF1) che sfrutta solo gli attributi grezzi X, Y, Y, Z di qualsiasi nuvola di punti. Successivamente, deriviamo la relazione e la topologia tra entità voxel per ottenere un set di funzionalità di connettività strutturale tridimensionale (3D) (SF2). Infine, forniamo un albero decisionale basato sulla conoscenza per consentire la classificazione delle infrastrutture. Studiamo la sinergia SF1/SF2 su un nuovo quadro di segmentazione semantica per la costituzione di una rappresentazione semantica superiore di nuvole di punti in cluster rilevanti. Infine, l'approccio viene confrontato con metodi di apprendimento profondo nuovi e più performanti, utilizzando l'intero set di dati S3DIS. Evidenziamo buone prestazioni, facile integrazione, e un elevato punteggio F1 (> 85%) per classi a dominanza planare che sono paragonabili ad un deep learning allo stato dell'arte.
Disciplines :
Architecture
Computer science
Earth sciences & physical geography
Author, co-author :
Poux, Florent  ;  Université de Liège - ULiège > Département de géographie > Unité de Géomatique - Topographie et géométrologie
Billen, Roland  ;  Université de Liège - ULiège > Département de géographie > Unité de Géomatique - Topographie et géométrologie
Language :
English
Title :
Voxel-Based 3D Point Cloud Semantic Segmentation: Unsupervised Geometric and Relationship Featuring vs Deep Learning Methods
Alternative titles :
[fr] Segmentation sémantique du nuage de points 3D basée sur des voxels : méthode non supervisées par rapport aux méthodes d'apprentissage en profondeur
[de] Voxel-basierte 3D-Punktwolke Semantische Segmentierung: Unüberwachte Geometrie und Beziehung mit vs. Deep Learning Methoden
Publication date :
07 May 2019
Journal title :
ISPRS International Journal of Geo-Information
eISSN :
2220-9964
Publisher :
MDPI AG, Basel, Switzerland
Special issue title :
Data Mining and Feature Extraction from Satellite Images and Point Cloud Data
Volume :
8
Issue :
5
Pages :
213
Peer reviewed :
Peer Reviewed verified by ORBi
Available on ORBi :
since 13 May 2019

Statistics


Number of views
507 (30 by ULiège)
Number of downloads
629 (14 by ULiège)

Scopus citations®
 
88
Scopus citations®
without self-citations
75
OpenCitations
 
41

Bibliography


Similar publications



Contact ORBi