Fue en este contexto cuando se originó el “Rosario de Zamarrilla”. Su fundador fue un malají (marinero) de nombre Antonio Barranquero, y se desarrollaba en el campillo de la Trinidad, en los alrededores del lugar que ocupaba una cruz llamada de Zamarrilla (datada al menos de 1568).

En 1792, mientras era construido un camarín, se halló la imagen de una dolorosa, que pasó a ser la titular de la ermita.