Panský dům je nejstarším doposud provozovaným restauračním zařízením v Chotěboři, podnik byl odpradávna centrem společenského dění ve městě. Jeho počátky se datují až k roku 1224.
Chotěbořská kronika říká, že se tu v roce 1424 zastavil na pivo, občerstvení i nocleh Jan Žižka, když táhl s husitským vojskem na Přibyslav. V roce 1331 se stává Chotěboř „Královským městem“ a král Jan Lucemburský uděluje Panskému domu tzv „Právo várečné“, tzn., že od tohoto roku se v tomto domě vařilo pivo. V září 1912 zde strávil tři týdny známý spisovatel Jaroslav Hašek, autor knihy Osudy dobrého vojáka Švejka. Svůj pobyt zvěčnil v povídkách, které napsal přímo v této restauraci u piva:
Zrádce národa v Chotěboři, Okresní soud v Maliboři, Jak je to s rodištěm Ignáta Herrmanna a Posvícení v Křivici.
V květnu 2004 si zde dal slavnostní oběd i prezident Václav Klaus s první dámou Livií.
Kdy přesně vznikl v dnešním Panském domě hostinec, který byl prvním a největším zařízením tohoto typu v regionu, není známo, ale bylo to někdy před 800 lety. Chotěbořská kronika říká, že se tu v roce 1424 zastavil na pivu Jan Žižka, když táhl s vojsky na Přibyslav. V roce 1331 se stává Chotěboř „Královským městem“ a král Jan Lucemburský uděluje Panskému domu tzv „Právo várečné“, tzn., že od tohoto roku se v tomto domě vařilo pivo.
Prvním doloženým majitelem dnešního Panského domu byla žena, Dorota Kábová - Vlačická, která je roku 1591 uváděna jako majitelka gruntu, pozemků a pivovaru. V roce 1600, po smrti Jana Vlačičkého, zřejmě jednoho z dalších majitelů domu, koupil dnešní Panský dům na splátky Matouš Bolenda. Domu čp. 320 se po něm začalo říkat Bolendovský. Někdy po roce 1645 ho prodal Matouš Bolenda chotěbořské vrchnosti neboli panstvu a od té doby se mu říká
Panský dům.
Panstvu, tedy šlechtě vlastnící chotěbořské panství, patřil hostinec od 17. století až do zrušení instituce panství po revoluci 1848-1849. Poté se stává součástí velkostatku rodiny Dobrzenských z Dobrzenic. Vrchnost (ani pozdější majitelé velkostatku) však hostinec neprovozovala, nýbrž dávala do nájmu. Například v roce 1825 činil roční nájem za Panský dům 555 zlatých.
Vzhled Panského domu, který byl zájezdním hostincem s rozlehlým dvorem a konírnami, pozměnil velký požár Chotěboře dne 3. října 1832. Po něm bylo zastavěno původní podloubí, stejně jako u dalších domů na náměstí. Nebyl to však poslední požár Panského domu. Tento oblíbený hostinec vyhořel znovu při dalším velkém požáru města 1.října 1863 a poté ještě jednou v roce 1907. Zhruba od poloviny 19. století význam Panského domu pro Chotěboř narůstá. Přestává totiž být pouhým hostincem, ale stává se významným kulturním střediskem města.
Na sále v I.patře (který je v tu dobu jediný ve městě) se odehrávají plesy, taneční zábavy, hudební a divadelní produkce, ale třeba také vojenské odvody. V roce 1905 dostal sál stálé jeviště.
Po druhé světové válce patřil Panský dům Lidovému spotřebnímu družstvu, po znárodnění v roce 1948 podnik vlastnil RAJ (Restaurace a jídelny) a od roku 1969 pak Jednota, která v roce 1971 podnik opravila ve stylu odpovídajícímu dané době….
Současný majitel Pavel Halama v Panském domě začínal v roce 1981 se svou odbornou praxí jako student pětileté Hotelové školy, po vojně (prosinec 1987) se stává v PD vedoucím (20 zaměstnanců) a od 1. 3. 1992 zde začíná svoji cestu podnikatele. Na podzim 1.října 1992 podnik od Jednoty HB kupuje. Cílem bylo objekt postupně kompletně zrekonstruovat. V roce 1993 Panský dům dostal novou fasádu, zároveň byla vyměněna okna, jejichž současný tvar vychází z původní podoby restaurace. Vzápětí bylo zrekonstruováno sociální zařízení pro hosty (1994).
Poté bylo od září 1995 renovováno první poschodí, kde byl 10. 2. 1996 slavnostně otevřeno nové Billiard centrum. Od ledna 1997 probíhala půlroční kompletní rekonstrukce vestibulu, schodiště a především restaurace s cílem prostory nejen zmodernizovat, ale zároveň zachovat jejich historický ráz. Podnik byl vybaven novým nábytkem a vzduchotechnikou.
V historickém sklepním prostoru vznikla příjemná „Rytířská vinárna“ s dochovanou původní klenbou a „Moravský sklípek“ ve vinařském stylu. Významnou změnou byla také výměna značky piva, od roku 1997 se v Panském domě čepuje pivo Pilsner Urquell a od konce roku 1999 je to pak přímo z pivních tanků.
V březnu 2008 je do provozu dána nová nerezová kuchyň splňující ty nejpřísnější normy EU, opět jsou v celém objektu přestavěny toalety. V květnu pak podnik opět dostává novou fasádu, včetně letní zahrádky do náměstí a žulového soklu. Od února 2009 funguje opět zrekonstruované, novými stoly vybavené Billiard centrum, v květnu se pak, za účasti vokální skupiny 4TET, slavnostně otevírá nádherná Terasa.
V první polovině roku 2015 proběhla kompletní rekonstrukce celého patra, Biliard centrum přestavěno na „Tančírnu“ – multifunkční kulturní sál s profesionálním akustickým systémem. Konají se zde pravidelně koncerty, diskotéky, divadla, módní přehlídky, taneční a gastronomické akce apod. V červnu 2015 je v I. patře je otevřena nová půvabná kavárna Café ART, ve které se snoubí barokní zámecký styl s prvorepublikovým ART DECO.
Prostor rovněž slouží jako multifunkční sál, sál, kde si kromě příjemného posezení, ve stylovém interiéru u kávových specialit. Sál lze využít také jako přednáškovou místnost s projekcí nebo pro konání svatebních rautů či narozeninových a firemních večírků. Od října 2016 má restaurace moderní bar s výčepním zařízením a interiérové pivní tanky, tedy nejmodernější technologii na čepování piva.
Poslední úprava průčelí budovy, proběhla v červnu 2022 a také byla osazena klimatizace.