Поисковые роботы (пауки) перед началом индексации сайта – сначала ищут файл robots.txt. Он является своего рода манипулятором робота: он закрывает/открывает каталоги или файлы к индексации.

Из чего состоит этот файл – и будет написано в этой статье.

Read the rest of this entry »