Župnijska farna cerkev Sv. Marjete je bila zgrajena nedaleč od gradu Heilenstein, v sedanjem centru Polzele in se prvič omenja leta 1255. Lastniki gradu iz rodu Heilenstein so širili svoje posesti tudi v povezavi s posestmi celjskih grofov. Prvotna cerkev je bila romarska. Leta 1263 je postala komendatorska cerkev, o čemer priča relief malteškega križa na stropu v prezbiteriju. V teku stoletij so jo večkrat prezidavali, najbolj korenito leta 1616, ko je dobila sedanjo obliko. Romarsko stavbo so barokizirali in ji prizidali sedanji prezbiterij, obe kapeli in zakristijo; zvonik so dvignili za eno nadstropje, sicer je ohranil svojo gotsko zasnovo. Leta 1988 je ‘stara’ cerkev dobila železobetonski prizidek v moderni arhitekturi.

Cerkev se prvič omenja v štrasburškem vizitacijskem protokolu iz leta 1545, vendar je po času nastanka starejša in sega verjetno v drugo polovico14.stoletja. Barokizacijo je cerkev doživela v času komendatorja barona Gloyacha. Leta 1728 je cerkev dobila namesto gotskega lesenega stropa sedanji svod, v naslednjih desetletjih pa so ji prizidali zakristijo in zvonik. Glavni oltar je nosil letnico 1783. Na koru so orgle, ki so jih leta 1857 prinesli iz Gore Oljke. Zvonik je bil leta 1850 prenovljen. Pri ponovni prenovi leta 1994 so ga povišali za 70 cm, da je zopet dobil svojo prvotno obliko.

Gora Oljka se omenja že leta 1243 kot “Križna gora”. Iz pogodbe med šoštanjsko lastnico in Malteškim viteškim redom je razvidno, da sta stala na gori vsaj od sredine 17. stoletja velik križ in kapela s kipom sv. Jošta in sv. Neže. Med letoma 1754 in 1757 je bila zgrajena sedanja cerkev. Znamenit je glavni oltar, ki uvršča cerkev na Gori Oljki med impozantne spomenike. Je delo kiparja Ferdinanda Galla. Njegov posluh za gledališke učinke je dosegel vrh v zadnji večerji z velikega oltarja. Vrsta sedečih apostolov v naravni velikosti, ki z izrazitimi kretnjami izpovedujejo svoje občutke ob zadnji večerji, je zapustila običajno oltarno okolje in išče neposreden stik z gledalcem. Na nastavku je slika Fortunata Berganta “Kristus v vrtu Getsemani”, zgoraj veliki križ, pod njim kip Žalostne Matere Božje, ob njej pa še kipa sv. Neže in sv. Jošta. Pod cerkvijo je še podzemno svetišče z božjim grobom. Fasada na cerkvi in vsi kamniti deli so bili obnovljeni leta 1998.