Preguntas y respuestas sobre Algoritmo de Workers by Nicolas Fernandez Palma

1) Si el consumer tiene buen response time, llega al máximo de su rate limit en el Push Success y los workers están al 100% y están acumulando lag:

nicolasfernandezpalma — 2025-09-12 19:34:12 UTC

a) ¿Qué se recomienda hacer en estos casos?

b) Si agrego workers estoy sobre-dimensionando el servicio, y si aumento el rate limit puedo afectar a otros servicios o aplicaciones integradas al consumer.

¿Estos casos ameritan una suba de los mínimos de workers?

2) Para los consumers con alto filtrado de mensajes que experimentan incremento de lag

nicolasfernandezpalma — 2025-09-12 19:34:35 UTC

¿Se está investigando la causa raíz de por qué el nuevo algoritmo afecta desproporcionadamente a estos casos?

3) ¿Podríamos considerar agregar información en la documentación del servicio sobre este funcionamiento de workers?

nicolasfernandezpalma — 2025-09-12 19:34:58 UTC

Para que el usuario entienda que el escalado y desescalado de los mismos, es parte del funcionamiento normal del servicio hoy en día.

4) En el caso del ticket [#58534], donde el AVG delivery time aumentó

nicolasfernandezpalma — 2025-09-12 19:35:18 UTC

¿Es un comportamiento esperado del nuevo algoritmo o indica un área de mejora? ¿Existen métricas o umbrales que nos permitan identificar si este aumento es aceptable o problemático?

5) Análisis post-implementación

nicolasfernandezpalma — 2025-09-12 19:35:49 UTC

¿Se ha realizado un análisis post-rollout para cuantificar el impacto (tanto positivo como negativo) del nuevo algoritmo en el consumo de recursos y la eficiencia de los workers?

6) (asignación de workers) ¿Qué lógica utiliza el algoritmo para determinar la cantidad de workers disponibles en un momento dado?

sebastianlongoniguijarro — 2025-09-17 19:55:06 UTC

7) (asignación de workers)¿La asignación de workers está basada únicamente en la carga (cantidad de mensajes, lag), o también se consideran otros parámetros como la criticidad del servicio, el rate limit, o métricas históricas?

sebastianlongoniguijarro — 2025-09-17 19:55:19 UTC

8) (asignación de workers) ¿Influye la configuración de Concurrency y Min/Max Concurrency en tiempo real en la cantidad de workers asignados, o el algoritmo tiene restricciones adicionales propias?

sebastianlongoniguijarro — 2025-09-17 19:55:32 UTC

9) (Tope de workers) En los casos donde hay un Max Concurrency definido (por ejemplo, 150 workers), ¿por qué observamos que en algunos momentos el sistema no llega a utilizar ese máximo aunque haya backlog y lag?

sebastianlongoniguijarro — 2025-09-17 19:56:44 UTC

10) Tope de workers ¿Qué factores pueden limitar el escalado de workers antes de llegar al máximo configurado (CPU, RAM, thresholds internos, políticas de fairness entre consumidores, rate limit por criticidad, etc)?

sebastianlongoniguijarro — 2025-09-17 19:57:10 UTC

11) (Tope de workers) ¿Existe alguna relación entre el “Rate Limit” y el uso real de trabajadores, es decir, si el rate limit actúa como techo de consumo aunque haya workers disponibles?

sebastianlongoniguijarro — 2025-09-17 19:57:45 UTC

12) (Dinámica de parámetros) ¿Se pueden modificar los valores de Concurrency y Min Concurrency en caliente si se observa lag?

sebastianlongoniguijarro — 2025-09-17 19:58:25 UTC

13) (Dinámica de parámetros) Si los modificamos, ¿cómo impacta eso en el algoritmo de escalado de workers?

sebastianlongoniguijarro — 2025-09-17 19:58:48 UTC

14) (Dinámica de parámetros) ¿Hay algún delay o tiempo de refresco hasta que el sistema ajusta la disponibilidad real?

sebastianlongoniguijarro — 2025-09-17 19:59:25 UTC

15) (Dinámica de parámetros) ¿Cuál es la mejor práctica para ajustar estos valores en ambientes de alta intermitencia de tráfico?

sebastianlongoniguijarro — 2025-09-17 19:59:59 UTC

16) (Recomendaciones grales.) ¿Recomiendan revisar alguna métrica o configuración (rate limit/delayed delivery/bulk/etc)) específica para validar el comportamiento de los workers?

sebastianlongoniguijarro — 2025-09-17 20:02:42 UTC

17) (Delivery Mode) ¿El modo de entrega (SINGLE vs BULK) afecta la lógica de workers o el throughput de procesamiento?

sebastianlongoniguijarro — 2025-09-17 20:03:38 UTC

18) (Delivery Mode) En caso de usar BULK, ¿hay parámetros extra que limiten la escalabilidad práctica de los workers?

sebastianlongoniguijarro — 2025-09-17 20:03:52 UTC