Pierwszy drewniany kościół wzniesiono już w 1234 r., kiedy do osady sprowadzono cystersów. Powstało tu również sanktuarium maryjne, którego największy skarb – cudowna figura Matki Boskiej Ludźmierskiej, zwana Gaździną Podhala – ma już podobno 600 lat. Gdy w 1963 r., podczas prowadzonej przez prymasa Stefana Wyszyńskiego uroczystości koronacji figury, z rąk Madonny wysunęło się berło, pochwycił je biskup Karol Wojtyła. Górale stwierdzili wtedy krótko: „Cosik z tego bedzie”. W 1999 r. już nie biskup, ale papież gościł w ludźmierskim sanktuarium. Na pamiątkę tego wydarzenia powstał Ogród Różańcowy, gdzie stoi naturalnych rozmiarów pomnik Jana Pawła II.