De Kastanjeboleet is gemakkelijk te herkennen aan de warm bruine, gladde hoed, die bij vochtig weer duidelijk kleverig-glanzend is. De kleine geelgroene poriën verkleuren bijna altijd sterk blauw bij kneuzing. De steel is meestal min of meer cilindrisch, veel bleker dan de hoed en bedekt met fijne, aangedrukte bruine vezeltjes. Vormen met een sterk opgezwollen (buikige) steel worden soms aangezien voor Eekhoorntjesbrood, maar de laatste is gemakkelijk te onderscheiden omdat hij niet blauw verkleurt en een duidelijk netwerk heeft op de steel, in elk geval in de bovenste helft. Een enkele keer komt het voor dat de Kastanjeboleet niet blauw verkleurt (forma vaccinus).
Traditioneel wordt de Kastanjeboleet ingedeeld bij de fluweelboleten. Recent moleculair onderzoek heeft echter aangetoond dat deze soort niet verwant is aan de fluweelboleten. Daarom wordt hij in het aparte geslacht Imleria geplaatst.