Když Jelení koupil rytíř Heřman Varlich z Bubna a na Skášově, v kupní smlouvě ze dne 19. října 1573 se psalo: „Vrchní Jelení městečko, ves Spodní Jelení s dědinami, lukami, lesy, rybníky, potoky, vodotočinami, mlýny, robotami atd.“ Pan Heřman postavil na místě dřívějšího hradu dřevěnou tvrz, která stála až do roku 1817, nahradil ji zámek, jenž stojí podnes. Pan Heřman byl udatný, v tureckých válkách se stal polním maršálkem. Roku 1590 koupil od Hertvíka Zejdlice ze Senfeldu vsi Čičovou a Malou Čermnou. Jelení se stalo střediskem okolí.
V roce 1600 začal pan Heřman z Bubna stavět na Horním Jelení kostel. Dne 26. března 1602 zemřel pan Heřman, pohřben byl v kostele před hlavním oltářem. Podle pověsti mu pod hlavu byla dána kůže lva, kterého si přivezl z cest. V roce 1787 byl v Horním Jelení založen pivovar, pivo se ovšem vařilo v Jelení už dříve. Poslední várka jelenského piva byla uvařena po druhé světové válce. Roku 1734 povýšil císař Karel VI. městečko Horní Jelení na městys.
V roce 1912 povýšil císař František Josef I. Horní Jelení na město. V roce 1921 byla připojena k Jelení ves Miroslav, v té době již s městem stavebně srostlá (dnešní Miroslavská ulice). Do té doby patřila Miroslav pod Jaroslav. V roce 1960 byly připojeny k Hornímu Jelení vsi Dolní Jelení a Rousínov. I s nimi má dnes město obklopené ze všech stran lesy 2052 obyvatel. Před 13 lety byl Jelení navrácen titul města (o nějž přišlo po druhé světové válce).
