Construida en el siglo XV-XVIII a las afueras de la Ciudad de Moguer, de estilo Mudéjar, solo se conserva de esa época el camarín donde estaba el titular de la ermita, San Sebastián y que en la actualidad camarín y altar mayor, alberga la imagen de Ntro. Padre Jesús Nazareno, estas modificaciones son debidas a los grandes desperfectos ocasionados tanto por el terremoto de Lisboa de 1755 que hubo que reconstruirla, como por la ocupación francesa, que como ocurría en tantas otras localidades y edificios religiosos (Iglesias, Ermitas, Conventos) se utilizo por los invasores para albergar a sus tropas, sufriendo importantes daños debido a los destrozos ocasionados por las tropas en su retirada. Fue cuando se procedió a su reforma y ampliación añadiéndole la bóveda actual como la conocemos hoy en día.
Con el paso de los años la ermita vuelve a sufrir un gran deterioro, en el que de nuevo hubo de realizarse una restauración respetando la estructura y su fisonomía, la cual finaliza en el año 1999.
La Ermita de San Sebastián ó Capilla de Jesús está catalogada como Bien de Interés Cultural (sitio histórico) desde el año 2004, al igual que el Cementerio Parroquial que se encuentra junto a la Ermita, donde está enterrado nuestro Premio Nobel de Literatura Juan Ramón Jiménez Mantecón y su esposa Zenobia Camprubí Aymar.
En la Ermita existe en la actualidad un Museo Cofrade, donde se puede visitar el esplendido patrimonio conseguido a través de los años de las diferentes cofradías que tienen aquí su sede canoníca, léase, Hdad. Ntro. Padre Jesús Nazareno, Hdad. de la Oración en el Huerto, Hdad. del Santo Entierro.
Existió en la ermita una cofradía denominada de Ntra. Sra. de Gracia, que tras su reorganización paso a
llamarse de Ntro. Padre Jesús Nazareno y esto se llevo a cabo en el siglo XVI.
Tras los graves acontecimientos de 1936 y al igual que en el siglo de su creación, los moguereños recuperan la Hdad del Santo Entierro y crean la de la Oración en el Huerto, esta ultima como cantera de la Hermandad de Padre Jesús.
La historia de la Ermita y de la Hdad. de Padre Jesús van ligadas, tanto que son una sola. Multitud de hermanos han pasado por ella y que con su trabajo desinteresado se han dejado y dejan día tras día, año tras año el alma para que pervivan, y así seguir escribiendo para los anales de la historia, lo que todos deseamos, Moguer se merece, para el engrandecimiento y orgullo de esta Noble Ciudad, de sus Cofrades, Moguereños en general……….así se escribe la Historia, así se hace una Hermandad.