El palacio perteneció a los príncipes de Éboli, los I Duques de Pastrana. Sin embargo, no fueron ellos quienes lo mandaron construir; doña Ana de la Cerda, condesa de Mélito y abuela de la princesa de Éboli, encargó en 1542 la construcción del palacio al gran arquitecto del momento, Alonso de Covarrubias. Éste diseñó un palacio con planta cuadrada y cuatro torres esquineras, un patio central, jardines laterales y traseros y frente al palacio una gran plaza de armas.
Desde el primer momento doña Ana tenía problemas, con el concejo y la gente de la villa, para construir el conjunto palacial y por esta razón no todo se hizo en el siglo XVI. Finalmente era el actual propietario, la Universidad de Alcalá, quien en su restauración de 1999 encabezada por los arquitectos Antonio Fernández Alba y Carlos Clemente, terminó el proyecto palacial, con materiales modernos; este es el caso del patio central cuyo estilo llama la atención en contraste con el resto del palacio renacentista.
Al ponernos delante del palacio, vemos una gran fachada sobria de sillares de piedra de tono dorado, con saeteras y troneras en la parte superior. Destaca la gran portada principal que a modo de arco de medio punto da paso al palacio, bajo la vigilancia de dos bustos de piedra, seguramente doña Ana de la Cerda y su marido. En sus laterales, encontramos dos columnas estriadas con basamento y capiteles corintios que sujetan un entablamento en el que aún se puede leer ‘DE MENDOÇA I DE LA CERDA’. En el interior del frontón dos amorcillos sujetan el escudo de los Mendoza.
Años después de la construcción del palacio se abrió el balcón que rompe con la decoración superior de la portada principal para que los señores duques pudieran disfrutar de las corridas de toros que en el siglo XVII se celebraban en la plaza. Al mirar a la torre de levante, el balcón enrejado del dormitorio de Ana de Mendoza y de la Cerda, princesa de Éboli, nos recuerda que en ella estuvo prisionera durante años hasta su muerte en 1592. Se dice que tan solo la dejaban asomarse al balcón durante una hora al día.
Unos artesonados espectaculares de estilo plateresco diseñados por Covarrubias así como unos azulejos toledanos de estilo mudéjar adornan el interior de las estancias principales del palacio.