Desde los años iniciales del siglo XIV sería villa de Señorío de la Casa de los Manzanedo, para pasar más adelante a los famosos Cisneros, los de la Vega, y, finalmente, en el siglo XVI, al Duque de Infantado al igual que la villa de Guardo o las tierras de Saldaña y su comarca.
Dispuso, según el Becerro de Beneficios, de dos iglesias, la de San Quirce y la de Santa Eulalia, dando Alfonso VIII, en 1204, la localidad a la Orden de San Juan de Jerusalén, y luego pasar a los señoríos citados.
Su castillo, de ahí su nombre, se levantaría en los primeros tiempos de la repoblación, del que solo se conservan escasos restos sobre un talud del río Pisuerga.
Tanto Castrillo de Villavega, como otras villas de esta vega, serían litigio entre la Abadía del monasterio de San Andrés de Arroyo, doña Mencía de la Vega, y el marqués de Santillana.
La actual iglesia parroquial de San Quirico acaso sustituyó a otra más antigua de estilo románico, según delata su portada. Se levanta en una sola nave, con bóvedas de cañón con lunetos. Destacan sus ocho retablos, varios de ellos barrocos, sobresaliendo el del altar mayor, dedicado al patrono de la iglesia, del siglo XVII; destacan artísticamente también una gran pila bautismal renacentista y un tríptico del Calvario.
Curiosamente, en la plaza mayor del pueblo, se mantiene acaso una de las fachadas más pequeñas del mundo, pues no mide más de un metro y medio.