Desde que un grupo de vecinos recuperaran la desaparecida Hermandad de San Isidro Labrador a iniciativa del entonces cura párroco José Viso Méndez, un 18 de abril de 1964, en la sacristía de la parroquia se dieron cita los vecinos Francisco Fernández Martín y Gabriel Fernández Gómez, ya fallecidos, junto a José Domínguez Rivera, con la única intención de rescatar del olvido la antigua y extinguida Hermandad que en honor del Patrón ya existió con anterioridad. En esta misma reunión quedó constituida la primera Junta de Gobierno de la congregación religiosa siendo elegido como presidente el propio sacerdote, José Viso, como hermano mayor, Gabriel Fernández. En Francisco González recayó el cargo de tesorero y en José Domínguez el de secretario.
Pocos días después, el 25 de abril en una nueva reunión de la Junta de Gobierno acordó la necesidad de diseñar el escudo, la bandera y las medallas que distinguieran a la hermandad y la convocatoria de la primera asamblea de hermanos, surgiendo la idea de organizar una romería, que por primera vez se celebró en la finca del Monte de la Torre y que desde entonces se ha venido celebrando con pequeños altibajos a lo largo de todos estos años, cambiando de ubicación en diferentes ocasiones hasta el lugar definitivo de la Montera del Torero desde 1981.
Con el paso de los años, en 1989, a esta hermandad se le uniría la Cofradía de Nuestra Señora del Rosario, patrona también de Los Barrios de ahí su actual denominación, siendo esta mucho más antigua que la hermandad de San Isidro dado que hay constancia de ella mediante testimonio escrito en 1720, mientras que de la del Patrón se remontan a 1849 según manifiesta el cronista oficial de la Villa, Manuel Álvarez Vázquez, en un informe sobre los antecedentes históricos de esta Hermandad.
El 15 de mayo de 2004, festividad de San Isidro Labrador, la hermandad con motivo de la celebración del tercer centenario de la llegada de los primeros exiliados de Gibraltar procesionó las imágenes de ambos titulares por las calles de la localidad, previamente a las once de la mañana se celebró una misa concelebrada y presidida por el obispo de la Diócesis de Cádiz y Ceuta, Antonio Ceballos.
