Gestionar cola de descarga

network_queue

Algoritmo linear (FIFO)

Todos los URL se procesarán en orden FIFO. Esto significa que el enlace 2 se procesará después del enlace 1.

Distribuido por dominios

Los hilos de descarga se distribuirán entre dominios. Esto puede ayudar a evitar el baneo por excesivo tráfico de red

Número máximo de hilos de descarga por dominio.

Establecer número máximo de hilos de descarga por dominio.

Detección de dominios (nivel)

Establecer nivel para el nombre de dominio para grupar todos los subdominios como un dominio.

Saltar enlaces directos a los motores de búsqueda para evitar la prohibición de actividad extrema

Si el documento de procesamiento contiene enlace directo al motor de búsqueda (Google, por ejemplo), entonces EMEX 3 no agregará este enlace para descargar cola.

Esto puede ayudar a evitar la prohibición de su IP de motor de búsqueda

Timeout para descarga

Establecer el timeout en segundos

Intentar descargar documento si se produce un timeout

Número máximo de intentos de descarga. Este ajuste afecta al error por timeout únicamente.

Límite personalizado a los hilos de procesamiento

Por defecto, EmEx 3 lanzará 50 hilos de procesamiento. Esto puede provocar un alto consumo de memoria/CPU en caso de conexiones de banda ancha de alta velocidad. Use este ajuste para evitar este problema.

Reemplazar user-agent

Por defecto, EmEx 3 trabajo como Internet Explorer 6Puede modificar este valor

Al azar, pero recordando el dominio/host

EmEx 3 usará user-agente al azar para cada dominio o servidor.

De la lista

Valor predefinido.

Personalizado (definido por el usuario)

Cadena definida por el ususario para user-agent