Базы данныхИнтернетКомпьютерыОперационные системыПрограммированиеСетиСвязьРазное
Поиск по сайту:
Подпишись на рассылку:
Главная: Интернет: Протоколы: Руководство для Web-администратора по протоколу исключений для роботов
Руководство для Web-администратора по протоколу исключений для роботов
Автор: Источник: перейти!Язык: русский
Данное руководство помогает администраторам Web-серверов, желающим использовать протокол исключений для роботов (Robots Exclusion Protocol). Обратите внимание, что это не спецификация -- за более детальной информацией и формальным синтаксисом и определениями обратитесь к спецификации. Введение Протокол исключений для роботов очень прост. В двух словах он работает так: Когда робот (подчиняющийся данному протоколу) посещает сайт, он сперва проверяет наличие "/robots.txt" на сайте. Если URL существует, робот проверяет содержимое файла на предмет инструкций, запрещающих роботу посещать отдельные части сайта. Как администратор Web-сервера Вы можете создать директивы, которые имеют смысл для Вашего сайта. Эта страница поможет Вам в этом. Где создавать файл robots.txt Робот будет искать "/robots.txt" URL на Вашем сайте, где сайт определен как HTTP - сервер запущенный на различных хостах и портах. Например
Доступные файлы (отрапортовать об ошибке!):
ПросмотретьЗагрузитьВ портфель! (руководств: 0)Обсудить на форуме





  • Главная
  • Новости
  • Новинки
  • Скрипты
  • Форум
  • Ссылки
  • О сайте




  • Emanual.ru – это сайт, посвящённый всем значимым событиям в IT-индустрии: новейшие разработки, уникальные методы и горячие новости! Тонны информации, полезной как для обычных пользователей, так и для самых продвинутых программистов! Интересные обсуждения на актуальные темы и огромная аудитория, которая может быть интересна широкому кругу рекламодателей. У нас вы узнаете всё о компьютерах, базах данных, операционных системах, сетях, инфраструктурах, связях и программированию на популярных языках!
     Copyright © 2001-2021
    Реклама на сайте