L’aulne rugueux se retrouve sous forme de petit arbre ou encore de grand arbuste. Il peut atteindre 6 mètres de haut et il croît en touffes, formant souvent des fourrés denses.
Le tronc tordu et courbé à la base est couvert d'une écorce lisse brun rougeâtre. Celle-ci porte de nombreuses lenticelles orangées, ces pores laissent les tissus cachés respirer.
Les feuilles sont en alternance le long des rameaux. Elles sont épaisses, plissées et doublement dentées. Le dessus de la feuille est vert foncé et un peu luisant, le dessous est blanchâtre, plus ou moins pubescent sur les nervures.
Les fleurs de l’aulne rugueux sont groupées en chatons. Les chatons mâles sont longs et pendants, les chatons femelles plus petits et dressés.
Les fruits sont brun cannelle, ronds, aplatis, avec des bords minces. Ils sont posés par deux sur chacune des écailles du chaton femelle. À maturité, le chaton est dur, sec et brun foncé.
L’allure générale des fruits rappelle le cône des résineux. Il demeure sur les rameaux tout l'hiver.