Cómo descargar el archivo robot.txt de un sitio
Un Robot se identifica cuando navega por el sitio que se conoce como "User-agent" y aparece en los registros de IIS. Por lo general, el flujo de eventos cuando una araña Web rastrea su sitio es similar a la siguiente: El Robot pide el archivo/robots.txt y busca un "User-agent:" línea que hace referencia a él específicamente.