Muy bueno el tema, también hay que tener en cuenta algo muy importante y es que al utilizar algoritmos recursivos el website puede bloquear la ip al detectar accesos demasiado rápido, por lo que es recomendable utilizar una demora puede ser de unos 20ms. Además, que el website puede verificar la identidad del navegador. Un ejemplo sería: wget --wait=20 --limit-rate=20k -r -p -U Chrome site.com
En el sitio actual se están utilizando cookies para mejorar su experiencia. Si desea conocer un poco más sobre el tema, puede leer las políticas de privacidad y las políticas de cookies actualizadas.