Sakoma, kad Stelmužės bažnyčią dvarponiai pastatė tada, kai vienas baudžiaunininkas, pagautas bėgantis iš Stelmužės dvaro, paklaustas, kodėl bėga ir bijodamas ponų pykčio, pasakė, kad ne nuo žiaurumo bėga, o todėl, kad Stelmužėj bažnyčios nėra, tad čia jis negali už savo nuodėmes tinkamai atgailauti.
Iš tikrųjų Stelmužės Viešpaties Kristaus kryžiaus bažnyčia (arba Šventojo Kryžiaus bažnyčia) buvo pastatyta 1650 m. bajorų Felkerzambų nurodymu. Ją statė baudžiauninkai vien kirviu ir kaltu, vinys buvo panaudoti tik durims. 1713 m. ji buvo rekonstruota. Pradžioje ji buvo kalvinų bažnyčia, o nuo 1808 m. - katalikų.
Bažnyčia yra medinė, klasicistinė. Vidus dekoruotas medžio raižiniais, yra ypač gražus altorius su Nukryžiuotoju ir baroko stiliaus sakykla, daug vertingų barokiškų puošmenų: bareljefų, horeljefų, skulptūrų, suktinių kolonėlių, kremzlinės ornamentikos. Tai vieninteliai Lietuvoje tokio tipo medžio kūriniai, turintys labai didelę vertę. Kai kurios skulptūros, manoma, yra 1713 m., drožtos Venspilio meistrų.
Šventoriuje stovi XVII a. medinė stačiakampio plano varpinė, rekonstruota 1873 m. Varpai išlieti 1613 m.
Bažnyčia su varpine yra liaudies meno paminklas. Dabar joje veikia Bažnytinio meno muziejus.
