El Palacio del Marqués de Villena se edificó en el siglo XVI pero, debido a las sucesivas reformas que lo han adaptado al gusto de cada época, ha perdido su aspecto original. Incluso los torreones fueron añadidos al conjunto en el siglo XIX, junto con la ornamentación, que recuerda a la del Palacio Real.

Los únicos elementos primitivos que sobreviven son los que se enmarcan en la portada: una esbelta puerta con arco de medio punto, la ventana que la sobrevuela y el escudo labrado en piedra.

Desde 1982 es una de las sedes del Museo Nacional de Escultura, en donde se muestra el magnífico Belén Napolitano.