Na miejscu obecnego kościoła stał niegdyś Kościół św. Filipa i św. Jakuba wzmiankowany
w dokumentach w 1373. Zniszczył go pożar w 1528, po odbudowie ponownego zniszczenia dokonali Szwedzi w 1655. Odbudowaną ze zniszczeń wojennych świątynię konsekrował w 1667 biskup Mikołaj Oborski. Ten kościół zniszczył kolejny pożar jaki wybuchł w 1755, po raz kolejny został odbudowany, przetrwał do końca XVIII wieku, w 1801 na polecenie władz austriackich został zburzony. Plac po kościele przez kilka lat był używany jako tymczasowy cmentarz komunalny. W 1861 na teren Kleparza sprowadzili się księża Misjonarze. Dwa lata później stali się właścicielami parceli przy ulicy św. Filipa.

Obecny kościół zbudowano według projektów Filipa Pokutyńskiego w latach 1875-1877 nawiązując do wzorów włoskiego trecenta. Ołtarz główny został sprowadzony z Wiednia.