První písemná zmínka o Cholticích je z 25. října 1285. Je to listina, kterou král Václav II. dává Záviši z Falkenštejna města Lanškroun, Poličku a hrad Landsperk. Jako svědek tohoto daru podepsal listinu také Beneš z Choltic. Jeho tvrz stála v místě dnešního čp. 5.

Choltická tvrz byla vystavěna na malém poloostrově vybíhajícím do velkého rybníka. Šíje poloostrova byla prokopána širokým příkopem, takže tvrz čněla uprostřed vody. V roce 1469 přežila vpád uherských vojsk, táhnoucích proti Jiřímu z Poděbrad.

Poté byla poškozená tvrz přestavěna na zámek. Zámek měl 36 místností, kuchyň, spižírnu, 4 sklepy. Vodním příkopem s mostem byl oddělen od panského dvora, který za příkopem začínal pivovarem. Zámek byl chráněn dvěma rybníky, bažinou a vodním příkopem. Zámek s přilehlým parkem je největší turistickým lákadlem Choltic dodnes. Ve zdejším parku se natáčelo několik filmů, nejznámějším je Strakonický dudák, nejnovějším pak Obchodníci.

V Cholticích se narodil malíř slavného obrazu spisovatelky Boženy Němcové J. V. Hellich (1807-1880) a také básník Bohdan Jelínek (1851- 1874).