Al ser nombrado don Pedro Fernández de Velasco, Condestable de Castilla en 1473, la residencia del mismo se declaró como impropia para un alto cargo público. Por ello, en 1476 se comienza la edificación del nuevo palacio en la Plaza del Mercado Mayor, anteriormente llamada Corral de las Vacas. El encargado de las obras fue Juan de Colonia, que las emprendió en colaboración de su hijo Simón, que sería quien concluyese la construcción. La entrada principal se situaba en la fachada sur, existiendo unos jardines anexos a la fachada este.

Esta zona es la que tiene restos de mayor antigüedad, existiendo en ella unos capiteles góticos del siglo XIV probablemente del edificio anterior.

La fachada principal, presentaba dos torres y una portada con un cordón franciscano labrado en la piedra y que sirve de unión a los blasones de los Velasco y los Mendoza-Figueroa, así como el monograma IHS circundado por el sol eucarístico.

Entre los años 1484 y1497, se construye el patio central. Se trata de un patio porticado, imitando a los claustros religiosos, de dos pisos y al que se abren las habitaciones sirviendo de distribución del espacio. Cada lado del patio tiene cinco arcos por planta, con un pequeño friso que sirve a su vez de barandilla, en el que encontramos de nuevo los escudos heráldicos de los propietarios de la vivienda. Esta representación constante de las armas de la esposa, doña Mencía de Mendoza y Figueroa da una idea de la importancia que tenía para el Condestable el haber entroncado con una de las familias más poderosas de Castilla. La fachada oeste seguramente tenía una disposición muy similar a la fachada sur, si bien se perdió por completo (al igual que la fachada norte) y hoy en día lo que vemos son reconstrucciones del siglo XX.

En la actualidad la Casa del Cordón, sittuada en la Plaza de la Libertad, está llena de actividad. Alberga tanto un centro cultural como las oficinas centrales y sede social de la entidad bancaria propietaria del edificio, que promovió su rehabilitación. Además, su patio central que durante el horario comercial es la sala de atención al público de la Caja, se convierte muy a menudo, fuera de dicho horario, en sala de conciertos para recitales de música coral, piano o de cámara, donde el sonido adquiere una especial y única dimensión debido a las características acústicas del auditorio.