Fue construido por orden de Felipe II en 1575 en honor a su médico de cámara Francisco Valles, natural de esta villa, para albergar en su interior los documentos del Adelantado de Castilla.
Es de estilo Herreriano, con decoración renacentista y espectaculares y admirables proporciones, donde llaman la atención los grandes contrafuertes que soportan a este coloso.
El edificio es de planta rectangular, cuenta con dos pisos, los herrajes y puertas son de hierro y excepto la cubierta esta completamente construido en piedra de sillería.
En el S.XVIII perdió su función, ya que sus documentos fueron llevados al Archivo General de Simancas.
Hoy en día acoge la Oficina de Turismo, la Biblioteca Municipal y una sala de Exposiciones.
Es de especial mención el desproporcionado escudo de armas de Felipe II que decora el edificio, probablemente de los más bellos y grandes existentes en el mundo.