# robots.txt
# por Charles, sitecharles.com, atualizado em 28/setembro/2009


User-agent: *
# para todos os buscadores (*)

# remova os diretorios internos do WP
Disallow: /blog/wp-admin/
Disallow: /blog/wp-includes/
Disallow: /blog/trackback/

# remova conteúdo duplicável do WP
# 'assunto' é minha URL de tag
Disallow: /assunto/

# comando barrado com coment. abaixo: deixe indexar categoria por enquanto
# Disallow: /categoria/


# remova os diretorios internos by Ch
Disallow: /erro404/
Disallow: /chextras/
Disallow: /lacos/
Disallow: /download/
Disallow: /chfotos/
Disallow: /dbk/

# remova hotsites do CH com domínio próprio
Disallow: /record/

# remova os diretorios internos by Locaweb
Disallow: /WEB-INF/
Disallow: /teste/
Disallow: /cgi-local/
Disallow: /locaweb/

# comando barrado com coment. abaixo: deixe indexar o feed por enquanto
# Disallow: /feed/


User-agent: Googlebot
# remover scrips css e afins
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# remover qualquer endereco que contenha ?
Disallow: /*?*

# remover arquivos de LOG, geralmente de ftp
Disallow: /*.log
Disallow: /*.LOG

# bloquear acesso da WayBack Machine (www.archive.org) que guarda conteúdo do passado
User-agent: ia_archiver
Disallow: /


# permitir o adsense em qualquer url, travado com coment até eu usar adsense
#  User-agent: Mediapartners-Google*
#  Disallow:
# Allow: /*


# Informar qual o Sitemap
Sitemap: http://www.sitecharles.com/sitemap.xml