Padlet - Procesos predictivos en paralelo by Diana Alisson Servellón

Opciones paralelización en R

alissonservellon — 2022-06-21 15:47:14 UTC

Funciones con argumentos de paralelización
Librerías para paralelizar en PC (memoria compartida)
Librerias para cluster (memoria distribuida)

Librerias para paralelizar en R (en PC)

alissonservellon — 2022-06-21 15:48:19 UTC

Parallel

Multicore: memoria compartida, sistemas unix
Snow: memoria distribuida,sistemas unix y windows

Métodos de paralización

alissonservellon — 2022-06-21 15:49:34 UTC

Socket: inicia una nueva versión de R en cada procesador.
Fork: copia la sesión actual de R en los procesadores.

EJEMPLO --> parLapply con Socket

alissonservellon — 2022-06-21 16:01:34 UTC

Inicia un cluster con n nodos
Ejecuta código de pre-procesamiento en cada nodo (cargar un paquete)
Use par-apply en lugar de -apply
Pare o cierre el cluster

Paso 1. Nodos disponibles

alissonservellon — 2022-06-21 16:04:08 UTC

Se carga la librería parallel y se detectan los núcleos físicos que posee la computadora:

library(parallel)
detectCores(logical = FALSE) #cores fisicos

Posteriormente, a modo de prueba, se pueden comprobar los núcleos lógicos con lo que se dispone para trabajar:

detectCores()

Paso 2. Iniciar y parar cluster

alissonservellon — 2022-06-21 16:07:04 UTC

A continuación, se crean los clusters para ejecutarse en paralelo

cl <- makeCluster(4)
# código a ejecutar en paralelo
stopCluster(cl)

Paso 3. Código de pre-procesamiento.

alissonservellon — 2022-06-21 16:10:06 UTC

--------------
3.1 - ClusterEvalQ
Para trabajar de forma paralela, se deben de cargar todos los paquetes variables en todos los procesadores. La función clusterEvalQ ejecuta la expresión en cada procesador:

cl <- makeCluster(4, type="PSOCK")
clusterEvalQ(cl, 2 + 2)

La variable "y" no existe en el procesador principal.

clusterEvalQ(cl, y <- 1)clusterEvalQ(cl, y <- 1)

3.2 - ClusterExport

alissonservellon — 2022-06-21 16:18:58 UTC

clusterExport exporta una variable a los procesadores

clusterExport(cl, "x")
clusterEvalQ(cl, x)

3.3 - ClusterEvalQ

alissonservellon — 2022-06-21 16:19:48 UTC

Cargar librerías en los procesadores

clusterEvalQ(cl, {
  library(ggplot2)
  library(boot)
})

Paso 4. Par-apply

alissonservellon — 2022-06-21 16:24:02 UTC

Versiones paralelas de apply(), con un argumento adicional para operar con el grupo de procesadores definido.

parApply, paralela de apply
parLapply, paralela de lapply
parSapply, paralela de sapply

Paso 4.1 - Par-apply. parApply

alissonservellon — 2022-06-21 16:25:44 UTC

Se presenta la versión paralelizada del método:

Apply aplica una función a cada elemento de una lista o vector. En este ejemplo se calcula la media de cada una de las cuatro primeras columnas de airquality. El argumento adicional, na.rm = TRUE se pasa a la función mean. Devuelve una lista.

parApply(cl, airquality[, 1:4], 2, mean, na.rm = TRUE)

Paso 4.2 Par-apply. parLapply

alissonservellon — 2022-06-21 16:26:50 UTC

Además, se presenta la forma paralelizada de Lapply con parLapply

parLapply(cl, airquality[, 1:4], mean, na.rm = TRUE)

Paso 4.3 Par-apply. parSapply

alissonservellon — 2022-06-21 16:28:53 UTC

sapply es una versión simplificada de lapply, que aplica la función lapply y estudia la salida. Cuando entiende que dicha salida admite una representación mas simple que la lista, la simplifica.

parSapply(cl, airquality[, 1:4], mean, na.rm = TRUE)

Par-apply, con balance de carga

parLapplyLB(cl, airquality[, 1:4], mean, na.rm = TRUE)

Paso 5. Borrar memoria

alissonservellon — 2022-06-21 16:32:26 UTC

Se eliminar lo que se tiene en memoria con la función rm( )