Robots.txt é um arquivo que informa aos robôs dos mecanismos de pesquisa quais páginas eles podem acessar em seu site. Neste post, veja por que