Een vrij forse stevige stekelzwam, jong witachtig of licht geelbruin, dan langzamerhand roodbruin tot donkerbruin wordend, egaal van kleur, niet gezoneerd, met een onregelmatig bobbelig, fluwelig oppervlak. Bij druk vlekt de hoed roodbruin. De stekels zijn eerst bleek, dan bruin, enkele mm lang. De steel is kort en gedrongen met dezelfde kleur als de hoed. De geur is melig, smaak mild. Vruchtlichamen solitair of enkele exemplaren met de hoed vergroeid. De Scherpe stekelzwam, Hydnellum compactum, lijkt wel wat op de Fluwelige stekelzwam, met een vergelijkbare geelbruine, fluwelige hoed, maar is te onderscheiden door de scherpe en bittere smaak van het vlees. De gezoneerde stekelzwam, Hydnellum concrescens, heeft, zoals de naam aangeeft, een duidelijk gezoneerde hoed met radiaire ribbels.