Antiguamente esta iglesia era una pequeña capilla a la cual acudían humildes pescadores y viajeros. En 1874, fue elegida como centro y capital del pueblo de San José de Surco.
Iglesia que vio nacer al distrito de Barranco, iniciando su construcción en la segunda mitad del siglo XVIII con materiales de quincha y adobe. Posteriormente tomaría el estilo neogótico y con nombre de Templo de la Santísima Cruz.
Durante la Guerra del Pacífico, en 1881, la Ermita fue incendiada y saqueada por el ejército chileno. Al año siguiente, fue reedificada gracias a diferentes donaciones y colectas públicas. Sin embargo, tras el terremoto que asoló la costa central de Lima, la Ermita volvió a quedar afectada y se tuvo que cerrar nuevamente.
Desde 1974, permanece cerrada debido a que el terremoto ocurrido en Lima, en aquel año, dañó la iglesia.