Na nejvyšším místě horní části Nového Města pražského, dnes zvaného Karlov, těsně u městských hradeb, založil český král Karel IV. 18. září 1350 klášter kanovníků řádu sv. Augustina a kostel zasvěcený svému patronu sv. Karlu Velikému. Tento čin, dva roky po založení Nového Města, úzce souvisel s jeho velkolepým urbanistickým dílem a celkovou koncepcí. Zalidnit v té době odlehlé místo, projevit zbožnost a vzdát hold Karlu Velikému, který mu byl v mnohých ohledech vzorem.
Kostel, vysvěcený v roce 1377, vrcholně a pozdně gotická stavba s centrálním osmibokým prostorem, presbytářem a s pozdějšími barokními úpravami zaujímá ojedinělé místo v dějinách pražské architektury. Mimořádná je i smělá klenba o průměru 24 metrů pocházející z roku 1575. Střecha ve tvaru tří kopulí je až barokní, z roku 1756.
Především klášter vlivem válečných událostí několikrát vyhořel a musel být dokonce celý přestavěn. V roce 1785 došlo k jeho zrušení. Objekt poté sloužil různým účelům, dnes je tady umístěna expozice Policejního muzea Ministerstva vnitra České republiky.
V letech 1708-1711 byly na jižní straně kostela přistavěny Svaté schody. Pod nimi je napodobenina Betlémské jeskyně, kaple Narození Páně, vybudované jako grotta. Karlov se postupně stal poutním místem. V kostele byl navíc umístěn obraz Panny Marie Karlovské, jehož autor Jan Jiří Heintsch vyobrazil Bohorodičku v požehnaném stavu. V 17. století se dostalo kostelu též dalšího zasvěcení, a to k poctě Panny Marie.
Kostel Na Karlově se na pražském horizontu výrazně uplatňuje svými kopulemi. Na každé z nich je navíc věž – sanktusník, s lucernou, cibulovitou bání a makovicí. Na prostřední o výšce 40 m, je možno vystoupat a uvnitř kopule obdivovat složitou vazbu krovů.
