Ca existe en effet (il fallait chercher gant de ponçage, ou sur les sites spécialisé) ! 
https://www.abrasifs-online.fr/outils-par-nom/cale-ronde-velcro-150-mm-.html
Pas exactement ce que j’imaginais, j’ai trouvé ça qui est plus près de mon idée, mais c’est à peu près partout hors stock, probablement que l’idée n’a pas fait recette :
- https://www.manomano.fr/p/gant-handfix-ambidextre-x1-3-feuilles-7277787
- https://www.amazon.fr/Peel-and-Stick-sanding-glove/dp/B075MH74NP
Je vais essayer celui de chez abrasif online je pense… c’est pas trop cher, au pire je jouerai à la « balle soft » avec 