Kostel byl založen spolu s klášterem augustiniánů v roce 1350 Karlem IV. a zaujímá ojedinělé místo v dějinách pražské gotické architektury. Svou dispozicí oktagonální centrální stavby, zasvěcené patronu císaře Karla IV., Karlu Velikému, měl připomínat jeho osmiboký pohřební kostel v Cáchách. Mimořádná je i smělá klenba o průměru 24 m, pocházející z roku 1575. Později byl kostel ještě zasvěcen Panně Marii.

Symetrii centrální lodi se podřídil i ambit kláštera situovaný na západ. V klášterních budovách staré prelatury, zbarokovaných v letech 1660-1668 Giovannim Domenicem Orsim, jsou v přízemních místnostech kvalitní raně barokní štukatury.

V 18. století se Karlov stal poutním místem. Byla provedena architektonická úprava interiéru kostela, vybudovaná podzemní Betlémská jeskyně a tzv. Svaté schody. Byl zde též umístěn obraz Panny Marie Karlovské od Jana Jiřího Heintsche. Kopii vytvořil Josef Vojtěch Hellich. Výjimečnost obrazu spočívá v tom, že Panna Marie je vyobrazena v požehnaném stavu.

Klášter byl zrušen v roce 1784 a po stavebních úpravách sloužil jako chorobinec a chudobinec, později jako pobočka okolních zdravotnických zařízení. Dnes tady, a to od roku 1991, sídlí Muzeum Policie České republiky. Zajímavá expozice je přístupná veřejnosti.

Idylický ráz tohoto místa, které je poněkud stranou hlavního turistického ruchu umocňuje nejen malý udržovaný a ohrazený park, ale i volně stojící kaplička. V nice této drobné architektury je umístěna socha císaře Karla IV. od Josefa Maxe z roku 1837. Pod tympanonem je oslavný nápis: „Karel Čtvrtý Otec Čechů“.

Dostupnost tohoto areálu je velmi dobrá, trasou metra C do stanice Vyšehrad, poté pěšky přes Nuselský most, kde se navíc nabízejí pohledy na kopule a věže nejen Karlova, ale též na Prahu historickou i novější.