#En primer lugar un ejemplo de archivo robots.txt que excluye TODAS las busquedas a TODOS los robots:
User-agent: *    # aplicable a todos
Disallow: /      # impide la indexacion de todas las paginas
# Establecemos total libertad para webcrawler
# Ya que dejamos Disallow vacio
#User-agent: webcrawler
#Disallow:
# En cambio lycra y BadBot
# tiene prohibido integramente el acceso
#User-agent: lycra
#User-agent: BadBot
#Disallow: /
# El resto de bots (seņalado mediante *)
# tiene prohibido el acceso a los directorios
# /tmp y /log; libertad para el resto.
#User-agent: *
#Disallow: /tmp
#Disallow: /logs
# Permitir trabajar a los botsde  2 am a 7:45 am
# Las horas son siempre Greenwitch
#Visit-time: 0200-0745		
# Un documento CADA  30 minutos
#Request-rate: 1/30m		
# Combinado: 1 doc cada 10 minutos
# y solo de una  a 5 tarde
#Request-rate: 1/10m 1300-1659
#Mediante las directivas "Disallow" especificamos los directorios o archivos concretos que deseamos excluir. Por ejemplo:
#Disallow: /admin  # afecta a /help.html y a  /help/index.html
#Disallow: /help/ # afecta a /help/index.html  pero no a  /help.html.