Se desconoce su origen, aunque todo apunta a que se trata de la Sinagoga Mayor, de la que se conserva parte de su estructura. La ermita como tal ya existía en el siglo XIV, porque en ella se depositó el pendón arrebatado por Jiménez de Zuar del pabellón de Pedro I de Castilla en el sitio de Calatayud. Este pendón, desaparecido, mostraba un Crucificado, y un león coronado y rampante inclinado hacia el costado de Cristo, todo ello sobre un fondo de arquitectura simulando una población. En torno a la escena, según Pérez de Nueros, había una leyenda que decía: "Quassi leo erigitur, non acubabit donec devoret procedam, et occisorum sanguinen bibat".

La fábrica exterior presenta dos partes yuxtapuestas, que no forman una unidad constructiva, de piedra y yeso muerto. En la parte central un muro de sillares de piedra caliza blanca con dos puertas pequeñas, con jambas y arcos apuntados de ladrillo, pertenecen a la antigua Sinagoga. La separación entre ambas puertas, recuperadas tras la restauración del muro de piedra, es de 2,37 metros y la longitud total del muro de 5,20 metros. La actual puerta de entrada se abre en el muro de la derecha a los pies de la nave, con un arco de medio punto de ladrillo sobre las pequeñas molduras de las impostas. Sobre la clave, y al exterior, una Virgen de la Consolación es la única referencia a la titular de la iglesia, ya que en el interior no existe ninguna.

El templo consta de una sola nave cubierta con bóveda de lunetos, de dos tramos separados por un arco perpiaño. El presbiterio consta también de dos tramos en sentido transversal cubiertos con bóvedas de lunetos; presbiterio y nave están separados por un sólido arco triunfal. (Gonzalo M. Borrás Gualis / Germán López Sampedro)