La llamada Ermita de la Virgen del Castillo se encuentra ubicada en la plaza de la Catedral, centro neurálgico de la localidad de Hinojosa del Duque. Su construcción data del siglo XIV, fechas muy cercanas a la construcción de la Catedral y del monasterio de la Concepción, actual convento de monjas de clausura que estaba vinculado con la ermita, edificios con los que guarda similitudes al estar los tres bajo en mecenazgo de la familia ducal de Béjar. Su construcción se inició en el siglo XIV, teniendo varias etapas en su evolución, a las que obedecen los distintos estilos. En el XV y XVI se edificó la capilla mayor y en el XVII y XVIII el camarín interior y exterior. La portada y la espadaña de la ermita también pertenece al XVI.