O gerador de ficheiros robots.txt gratuito permite-lhe criar facilmente um ficheiro robots.txt para o seu site com base nas entradas.
robots.txt é um ficheiro que pode ser colocado na pasta raiz do seu site para ajudar os motores de busca a indexar o seu site de forma mais apropriada. Motores de busca como o Google utilizam rastreadores de sites, ou robots, que analisam todo o conteúdo do seu site. Pode haver partes do seu site que não deseja que eles rastreiem para incluir nos resultados de pesquisa dos utilizadores, como a página de administração. Pode adicionar estas páginas ao ficheiro para serem explicitamente ignoradas. Os ficheiros robots.txt utilizam algo chamado Protocolo de Exclusão de Robots. Este site irá gerar facilmente o ficheiro para si com a entrada das páginas a serem excluídas.