Dice la tradición que este palacio se levanta en la que fue residencia del Primer Conde Soberano de Castilla, Fernán González, durante sus estancias en esta villa donde el y su familia venían a descansar y disfrutar del microclima de este valle.
Hoy acoge el Ayuntamiento de la Villa, el Juzgado de Paz y la Oficina de Correos.
Es de reseñar el Arco Románico del Siglo XII que se encuentra en el Lateral del edificio.