Debe tener en cuenta el factor de protección de tráfico alto de red desde una (íunica) dirección IP (Flood) cuando se encuentra recogiendo información de fuentes públicas. La mayor parte de los servidores tienen esta limitación.

¿Qué significa esto?

Si una gran cantidad de peticiones llegan a un servidor web desde una IP especificada en un corto período de tiempo, el servidor comenzará a bloquearlas durante un tiempo determinado.Las páginas vacias o de error se mostrarán en este caso - es un tipo de protección de posibles ataques de denegación de servicio desde la IP inicial.

¿Por qué es tan importante?

EmEx 3 es capaz de descargar hasta 50 documentos simultáneamenePuede inciar la reacción de protección de la web con ese tipo de protección.El proceso de escaneo puede verse como un potencial ataque de denegación de serviciok de esta forma no podrá recibir más información (incluyendo resultados de búsqqueda) desde ese servidor.

How to avoid this?

●Usar el mecanismo de distribución por dominio, para que cada flujo de descarga se distribuya entre varios dominios de forma equilibrada

●Usar el filtro anti-flood

●Usar la lista de servidores proxy anónimos. En este caso cada nueva petición se iniciará desde una IP diferente.Tenga en cuenta que la velocidad de la descarga dependerá de la velocidad del servidor proxy.