Зачем нужны поисковые пауки?

У каждой поисковой системы есть свои роботы или их еще называют пауки это программное обеспечение, используется для поиска страниц в интернете их также называют spiders. Поисковый бот или паук смотрит на вашу информацию следует за всеми геперсылками на каждой странице после чего загружает их в свою базу. Суть паука такова находить страницы анализировать их и добавлять в свой индекс или базу. Первое, на что обращает поисковый паук при посещении вашего сайта это файл под именем robots.txt он хранится в корне веб-сайта, файл помогает паука ориентироваться на сайте если страница нужно закрыть от индексации то в файле robots прописывается соответствующая инструкция. Небольшой пример запрета доступа всех роботов ко всему сайту:

User-agent: *

Disallow: /

А вот запрет доступа google робота к каталогу /admin/

User-agent: googlebot

Disallow: /private/

Также можно помочь роботу когда следует загружать страницы т.е по времени например такая инструкция:

Visit-time: 0700-0837

подскажет роботу что страницу следует загружать только в промежуток с 7 утра и до 8:37 по Гринвичу

На движке вордпресс будет такая прописана инструкция:

User-agent: *

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /wp-admin/

Disallow: /images/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Как вы поняли что user-agent:* говорит о том что сайт могут посещать все роботы а их в интернете больше тысячи далее стоят запреты на директории, которые не следует загружать т.к там не содержится полезной информации.

И еще один очень важный момент, чем больше внешних ссылок на вашу страницу тем быстрее будет приходить поисковый робот, ведь он переходит по гиперсылкам, чем чаще вы будете обновлять сайт тем чаще будет посещать робот ваши страницы и тем быстрее они появятся в поисковых системах.