Pirmoji gyvenvietė toje vietoje įsikūrė greta pilaitės, pastatytos ant Pilaitės piliakalnio X a. Iki XV a. ji buvo vadinama Navininkais, vėliau perėmė pavadinimą iš Lietuvos didžiųjų kunigaikščių dvaro. 1518 m. čia pastatyta bažnyčia, o 1569 m. rugpjūčio 9 d. Aukštadvaris gavo miestelio teises.
Miestelis įsikūręs ypač gražiose vietose, tarp ežerų. Yra išlikęs 1837 m. statytas dvaras su parku ir tvenkiniais. Miestelyje yra piliakalnis, netoliese - gamtos paminklas Velnio duobė.
