Od roku 915 patřila celá oblast Orlických hor mezi Kladskem a Litomyšlí českému knížecímu rodu Slavníkovců. V letech 996 až 1108 vlastnili toto území Vršovici, kteří podléhali českým knížatům z rodu Přemyslovců. Rod Vršoviců byl vyvražděn 27.10.1108. Do roku 1170 patřila celá oblast pánům z Hrabišic. Potom až do roku 1200 připadla Přemyslu Otakaru I., prvnímu dědičnému českému králi. Jako počátek osídlení Jelení je uváděn dřevěný hrad, který stál v severovýchodní části dnešního náměstí a dvůr východně od něho. Dodnes se ulice v těchto místech jmenuje Dvorská. Jelení bylo součástí litického panství. Hrad Litice se poprvé připomíná v roce 1304, kdy ho Půta z Potštejna, příslušník rodu Drslaviců, postoupil králi Václavovi II. Před rokem 1316 král Jan Lucemburský zastavil hrad Litice Jindřichovi mladšímu z Lipé. Markrabě Karel sice po roce 1333 zástavu vyplatil, ale král Jan Lucemburský ho vyměnil s pány z Lichtemburka za hrad Lichnici. Poprvé se jako majitel Litic z tohoto rodu připomíná v roce 1353 Jindřich řečený též Hynek z Lichtemburka. V roce 1371 byl hrad Litice již majetkem Bočka z Kunštátu a od r. 1373 jeho stejnojmenného syna. Ten patřil na konci 14. stol. k odpůrcům krále Václava IV., zemřel v roce 1416 a Litice připadly jeho synovi Viktorinovi z Kunštátu a Poděbrad. Viktorin vlastnil též Náchod a Pardubice, ale jeho hlavním sídlem byl litický hrad. Od počátku husitské revoluce byl na straně Husových stoupenců. Byl i blízkým přítelem Jana Žižky z Trocnova. Proto již v roce 1421 byly Litice obléhány vojskem slezských knížat stojících na straně Zikmundově. Po Viktorinově smrti v roce 1427 zdědil litické panství jeho syn Jiří z Poděbrad a Kunštátu, pozdější český král. Po rekonstrukci dokončené v r.1468 sloužil hrad Litice jako pevnost v roce 1469 při vpádu uherského krále Matyáše Korvína do Čech. V roce 1471 po smrti Jiřího z Poděbrad zdědili všechna jeho panství Jiříkovi synové. Ti se v roce 1472 o otcovské statky rozdělili, přičemž Litice připadly Bočkovi z Kunštátu. Ten je v roce 1483 postoupil svému bratrovi knížeti Jindřichovi Minsterberskému. Jindřich se válkami, které vedl ve Slezsku, zadlužil a 24.10.1495 prodal Litice Vilémovi z Pernštejna. Vilém je považován za nejušlechtilejšího panovníka z celé dynastie Pernštejnů, založil v okolí Jelení celkem 11 rybníků. Pan Vilém z Pernštejna zemřel 8.4.1521 v Pardubicích, majitelem panství se stal jeho syn Vojtěch, který zemřel 17.3.1534. Dědicem se stal jeho bratr Jan Bohatý a následně jeho syn Jaroslav. Jan i Jaroslav byli horlivými katolíky, lidem vyznávajícím bratrskou víru, kterých bylo všude hojně, nepřáli a v roce 1547 je Jaroslav ze svého panství vypudil. V roce 1555 se Jelení stalo městečkem, což umožňovalo volit obecní starší s právem policejním a dále právo veřejných trhů. V roce 1556 koupil část panství s Jelením Arnošt falckrabí Rýnský, arcibiskup solnohradský, ale záhy je začal rozprodávat, přičemž Jelení nabyl Přibík Beneš Sekerka ze Sedčic. Po jeho smrti Jelení koupil rytíř Heřman Varlich z Bubna a na Skášově. Kupní smlouva je ze dne 19.10.1573. Ve smlouvě je panství popsáno: „Vrchní Jelení městečko, ves Spodní Jelení s  dědinami, lukami, lesy, rybníky, potoky, vodotočinami, mlýny, robotami atd.“ Kupní cena byla 8 200 kop míšenských grošů. Z dochovaného záznamu o řešení jeho sporu s panem Přibíkem Benešem Sekerkou o jednu krčmu je zřejmé, že v této době existoval pivovar a chmelnice (jeden farský pozemek je označován „stará ovocná a chmelná zahrada“). Zápis do Desek zemských je proveden až po vyřešení sporu dne 7.6.1577. Pan Heřman postavil na místě dřívějšího hradu dřevěnou tvrz, která stála až do roku 1817. Pan Heřman byl udatný, v tureckých válkách se stal polním maršálkem. Byl dobrý hospodář a své statky rozmnožoval. Dne 7.6.1590 koupil od Hertvika Zejdlice ze Senfeldu vsi Čičovou a Malou Čermnou. Jelení se stalo střediskem okolí. V roce 1600 začal pan Heřman z Bubna stavět na Horním Jelení kostel. Ze zápisu v zemských deskách v roce 1577 o koupi panství vyplývá, že v té době na Dolním Jelení byla kaple sv. Jiljí se hřbitovem a zvonicí, ze které byly zvony s letopočty 1475 a 1478 přeneseny do nového kostela na Horním Jelení. Kaple v Dolním Jelení podle letopočtů na zvonech byla postavena za Jiříka z Poděbrad. Protože obyvatelstvo v té době bylo podobojí, lze soudit, že se jednalo o kapli husitskou. Stála ještě v roce 1775, ale pro její chatrnost se v ní pobožnosti už nekonaly. Kostel na Horním Jelení byl dokončen v roce 1602, nebyl opatřen věží, dřevěná zvonice se nacházela až do roku 1851 při jeho severozápadní straně na okraji hřbitova. Dne 26.3.1602 zemřel pan Heřman, pohřben byl v kostele před hlavním oltářem. Podle pověsti mu pod hlavu byla dána kůže lva, kterého si přivezl z cest. Pověst o věrném lvu zrýmoval v roce 1836 Šimon Karel Macháček.

„Heřman z Bubna byl udatný pán, u svého krále na slovo vzatý,

kterýkoliv mu rozkaz dán, býval věrnému vladyku svatý.

Král ho byl vyslal s poselstvím i k Mouřenínu v daleké kraje,

které hrozí plemenem zlým, kde vše divné se rodí a zraje.

Heřman všeliké bázně prost, projíždí tam pouště i lesy,

novou konaje myslivost, potvory dráždí, bije a děsí.

Jednou žena se za pardem, od komonstva se vzdálil svého,

kůň tu zarazí v běhu svém a hluk dopadá ucha i jeho.

Rychle tam bodá odkud ten řev, ač kůň se mu vzpouzí a brojí,

dojel a viděl an zápasí lev se dvěma tygry v nerovném boji.

Jednomu na dva se pomoci má praví a dřevce se chopí,

a než dravstvo znamená v tygra jednoho zarazí kopí.

Skočí z koně a vytasí meč aby i druhou potvoru ubil,

ale než ji dohonil v seč již lev ji svou tlapou byl zhubil.

I chvěl hřívou se zdvíhaje, obou tygrův a svou krví zbrocen,

vděčně k zachránci vzhlédaje k nohoum  mu lehl jako by zkrocen.

Heřman se nad ním smiloval, obvázal mu opasem rány,

skočil na kůň a lev se bral stále za ním až do městské brány.

Kudy stopoval po boku mu dlel, každý se divil průvodci tomu,

a když vladyka poselství zděl, následoval ho do Čech domů.

Hrdina miloval věrného lva, lev zase ochranitele svého,

okoušívali oba dva všeho dobrého spolu i zlého.

A když Heřman byl dokonal, aby na nebi odměny došel,

lev ten žalostí hrozně řval, nejedl, nepil, třetí den pošel.

Tam na Hořejším Jelení, kde rod z Bubna panoval možný,

kostelík k Boží slávě a cti stavěl a nadal náš vladyka zbožný.

Prostřed kostela sladce spí, lva kůže mu pod hlavu dána,

odpočívej tam v pokoji tělo slavného českého pána.“ 

Majitelem panství se stal Mikuláš, bratr Heřmana Varlicha. Mikuláš neměl děti, dědicem ustanovil Jindřicha Jana, nejstaršího vnuka svého bratra Jindřicha. Dne 8.11.1629, ve výroční den bitvy na Bílé hoře, byl pan Jindřich Jan listem královským povýšen do stavu panského, do té doby byli jen rytíři. V roce 1644 byl povýšen do stavu hraběcího. Jindřich Jan zemřel v roce 1653, panství převzal František Adam Vratislav. Tento hrabě zemřel 2.1.1711, panství zdědil syn Antonín Ignác. Hrabě Antonín zemřel 8.3.1725, majitelem panství se stal jeho syn Antonín Vít. V roce 1787 byl na Horním Jelení založen pivovar. V tomto roce zemřel hrabě Antonín Vít. Po něm až do roku 1809 byl majitelem hrabě František Adam. Po jeho smrti byly Litice prodány, rodině z Bubna zbyly jen Doudleby a Jelení. Hrabě František Adam dne 9.10.1790 zrušil dvůr a rozprodal ve veřejné licitaci dvorské pozemky. V roce 1817 byla zbořena tvrz, v letech 1864 - 1866 byl postaven nový zámeček „na sádkách“.

Obec Horní Jelení od roku 1693 používala pečeť (až do roku 1830). Dne 16.8.1734 udělil císař Karel VI. Hornímu Jelení privilegia, povýšil městečko na městys. Rozhodnutím ze dne 27. června 1912 povýšil císař František Josef I. Horní Jelení na město. Naše město bylo jedním z 45 měst, kterým se v období od 31.10.1857 do 30.4.1935 této pocty dostalo. Ke dni 1.1.1921 byla k Hornímu Jelení připojena Miroslav, osada na západním okraji Horního Jelení se 32 domy a 196 obyvateli dosud patřící k Jaroslavi a s ní k panství Zámrsk. Osadu založil majitel Zámrsku Diviš Jeník, rytíř z Gamsendorfu. Dne 21.7.1810 vydal písemný dekret, kterým dovolil manželům Zachovým v části obce Jaroslav „u samého Jelení“ postavit dominikální domek. Domek postavili na rohu křižovatky v místech, kde do roku 1967 stála hospoda, jejímž posledním majitelem byl pan František Janeba (měla č.p. 335). Poněvadž domek byl na katastru obce Jaroslav, dostal pořadové číslo 43. Společně s Jaroslaví se číslovala nová stavení až do připojení osady k Hornímu Jeleni. První zmínky o Jaroslavi a tvrzi v ní jsou z roku 1348, dále je v zemských deskách u roku 1399 zápis, že zeman Jaroslav z Borohrádku tvrz osvobodil od drancování lapků. Zemská vrchnost tento majetek dala panu Jaroslavovi za jeho vítězství. Odtud Jaroslavův dvůr, ve zkratce Jaroslav. V letech 1399 – 1413 je také  připomínán Jan Pieskle z Jaroslavi. Z tohoto rodu pocházel také panoš Jaroslav, který se účastnil výpravy do Francie v době krále Jiřího z Poděbrad. Dochoval se jeho podrobný deník o průběhu cesty.

(pro webové stránky připravil Ing. Blahoslav Novotný)