Что такое Baidu Spider и как он работает?
Baidu Spider – это автоматизированная программа, содержащая фрагмент программного кода, используемого поисковой системой Baidu. Как и любой сканер, паук Baidu посещает веб-страницы в Интернете и индексирует их в базе данных на основе ключевых слов. Когда пользователь выполняет поиск по определенному ключевому слову, наиболее релевантные страницы отображаются вверху страницы результатов поиска.
Пользовательские агенты для Baidu Spider
Паук Baidu использует разные пользовательские агенты для разных целей, как показано ниже:
| наименование товара | Пользовательский агент Baidu |
|---|---|
| Мобильный поиск | Байдуспайдер |
| Поиск на рабочем столе | Байдуспайдер |
| Деловой поиск (реклама) | Baiduspider-объявления |
| Baidu Union | Baiduspider-cpro |
| Baidu Избранное | Baiduspider fav |
| Поиск картинок | Baiduspider-изображение |
| Поиск новостей | Baiduspider-новости |
| Поиск видео | Baiduspider-video |
Baidu spider-cpro и Baidu Spider-ads сканируют Интернет только для выполнения операции, согласованной с клиентом, но не индексируют какие-либо страницы и не соответствуют стандартному протоколу robots.txt.
Ползучий контроль над Baidu Spider
Паук Baidu автоматически сканирует ваш контент в поисках последних обновлений на вашем сайте. Если сканирование паука Baidu влияет на производительность вашего сайта, вы можете изменить скорость сканирования в своей учетной записи инструментов для веб-мастеров Baidu.
Использование файла robots.txt остановит сканирование ваших веб-страниц пауком Baidu. Если вы настраиваете файл robots.txt на прекращение доступа к проиндексированной веб-странице, удаление проиндексированной страницы из результатов поиска может занять несколько месяцев.
У вас также есть возможность использовать следующую настройку метатега, чтобы в результатах поиска Baidu не отображался снимок ваших веб-страниц.
Запретить снимок в поиске Baidu
Источник записи: www.webnots.com