Esta casa perteneció originalmente a la familia Segura, aunque posteriormente la habitó la familia Cáceres, de los cuales se conserva aún el escudo heráldico a la derecha del balcón.
Los Cáceres fueron los administradores de Don Beltrán de la Cueva, una de las personas más ilustres que dio Úbeda en aquella época. Beltrán, fue Duque de Alburquerque , Conde de Ledesma y Señor de Monbeltrán y de Cabra, era además hombre de confianza de Enrique IV, y dicen que fue el verdadero padre de Juana la Beltraneja.
El escudo de la izquierda se encuentra borrado, seguramente como castigo a algún miembro de la familia por motivo de traición a la corona u otros delitos. (Aquí algunos ejemplos de castigos relacionados con los escudos heráldicos)
Lo más destacable de su fachada, es el dintel de su puerta que esta confeccionado con ladrillo árabe, elemento inusual para la época y que la diferencia del resto de casas palaciegas.