Communication publiée dans un ouvrage (Colloques et congrès scientifiques)
Ordinal Pooling
Deliège, Adrien; Istasse, Maxime; Kumar, Ashwani et al.
2020In 30th British Machine Vision Conference
Peer reviewed
 

Documents


Texte intégral
Ordinal_Pooling.pdf
Preprint Auteur (544.15 kB)
Télécharger

Tous les documents dans ORBi sont protégés par une licence d'utilisation.

Envoyer vers



Détails



Mots-clés :
pooling; convolutional neural network; deep learning; machine learning; ordinal pooling; downsampling
Résumé :
[en] In the framework of convolutional neural networks, downsampling is often performed with an average-pooling, where all the activations are treated equally, or with a max-pooling operation that only retains an element with maximum activation while discarding the others. Both of these operations are restrictive and have previously been shown to be sub-optimal. To address this issue, a novel pooling scheme, named ordinal pooling, is introduced in this work. Ordinal pooling rearranges all the elements of a pooling region in a sequence and assigns a different weight to each element based upon its order in the sequence. These weights are used to compute the pooling operation as a weighted sum of the rearranged elements of the pooling region. They are learned via a standard gradient-based training, allowing to learn a behavior anywhere in the spectrum of average-pooling to max-pooling in a differentiable manner. Our experiments suggest that it is advantageous for the networks to perform different types of pooling operations within a pooling layer and that a hybrid behavior between average- and max-pooling is often beneficial. More importantly, they also demonstrate that ordinal pooling leads to consistent improvements in the accuracy over average- or max-pooling operations while speeding up the training and alleviating the issue of the choice of the pooling operations and activation functions to be used in the networks. In particular, ordinal pooling mainly helps on lightweight or quantized deep learning architectures, as typically considered e.g. for embedded applications.
Centre de recherche :
Montefiore Institute - Montefiore Institute of Electrical Engineering and Computer Science - ULiège
Telim
Disciplines :
Ingénierie électrique & électronique
Auteur, co-auteur :
Deliège, Adrien ;  Université de Liège - ULiège > Dép. d'électric., électron. et informat. (Inst.Montefiore) > Télécommunications
Istasse, Maxime
Kumar, Ashwani
De Vleeschouwer, Christophe
Van Droogenbroeck, Marc  ;  Université de Liège - ULiège > Dép. d'électric., électron. et informat. (Inst.Montefiore) > Télécommunications
Langue du document :
Anglais
Titre :
Ordinal Pooling
Date de publication/diffusion :
2020
Nom de la manifestation :
British Machine Vision Conference (BMVC)
Organisateur de la manifestation :
British Machine Vision Association
Lieu de la manifestation :
Cardiff, Royaume-Uni
Date de la manifestation :
from 09-09-2019 to 12-09-2019
Manifestation à portée :
International
Titre de l'ouvrage principal :
30th British Machine Vision Conference
Peer reviewed :
Peer reviewed
Intitulé du projet de recherche :
DeepSport
Organisme subsidiant :
DGTRE - Région wallonne. Direction générale des Technologies, de la Recherche et de l'Énergie [BE]
Commentaire :
Code will be available at https://github.com/mistasse/ordinal-pooling-layers.
Disponible sur ORBi :
depuis le 31 juillet 2019

Statistiques


Nombre de vues
204 (dont 12 ULiège)
Nombre de téléchargements
212 (dont 4 ULiège)

citations Scopus®
 
0
citations Scopus®
sans auto-citations
0

Bibliographie


Publications similaires



Contacter ORBi