Paberžė – gyvenvietė prie Liaudės upės. XVIII a. Paberžė priklausė baronui Šilingui, 1787 m. čia pastačiusiam pirmąją Švč. Mergelės Marijos apsilankymo bažnyčią.
Kurį laiką čia dirbo vienas iš 1863 m. sukilimo vadų Antanas Mackevičius. Paberžės kapinaitėse ilsisi nemažai šio sukilimo dalyvių. Jų atminimas įamžintas tradiciniais šio krašto kryžiais, stogastulpiais, koplytstulpiais.
1966-2005 m. Paberžėje gyveno ir dirbo kunigas, vienuolis Algirdas M. Dobrovolskis (Tėvas Stanislovas, 1918–2005). Jo pastangomis viename iš bažnyčiai priklausančių pastatų įrengtas Tėvo Stanislovo surinktų liturginių rūbų ir reikmenų muziejus.
Paberžėje eksponuojami Lietuvos menininkų darbai, skirti sukilimui ir Paberžei, eksponuojami ir šiose apylinkėse dirbusio iškilaus kryždirbio Vinco Svirskio kryžiai.
Šalia bažnyčios veikia 1863 m. sukilimo muziejus, pastatytas koplytstulpis A. Mackevičiui atminti. Parke priešais dvaro rūmus supiltas sukilėlių atminimo pilkapis.