San frutos es el patrón de la diócesis de Segovia, nació en Segovia a mediados del S.VII, en el seno de una familia acomodada, se deshizo de sus riquezas entre los más pobres y se retiró como ermitaño al barranco del Duratón, acompañado de sus hermanos Valentín y Engracia, cuyas sepulturas se encuentran en un caminito descendente desde la ermita al rio.

Dedicados a la oración, ocupaban cuevas donde practicaban sus creencias en forma de  eremitismo rupestre  tradicional en aquellos días, en el Duratón existen restos materiales de ello como la cueva de Los Siete Altares o la cueva de San Valentín..

Coincidió con la invasión de los musulmanes y cuenta la leyenda entre muchos de sus milagros que San Frutos se adelantó a su paso y trazó con su cayado una línea abriendo milagrosamente un cortado por el que se despeñaron los jinetes con sus monturas dejando las huellas de los cascos grabados en la roca, ese cortado es necesario cruzarlo a día de hoy para acceder a la ermita por medio de un puente prácticamente natural.

Fallecido San Frutos hacia el año 715 d.C.. sus hermanos fueron decapitados por los sarracenos y aún sus cabezas se conservan.

Sería  en 1076 cuando Alfonso VI donó el lugar sagrado a la abadía de Santo Domingo de Silos que durante ochocientos años mantuvo allí un priorato y actualmente en el lugar podemos contemplar la ermita de San Frutos.

 Después de la desamortización tan sólo permaneció la iglesia abierta al culto del pueblecito de Burgomillodo, siendo lugar de peregrinaje para los viajeros y visita esencial dentro del parque natural de LasHoces del Río Duratón

Cada 25 de octubre se celebra la romería en honor al santo Frutos.