Стандарт винятків для роботів, Різне, Інтернет-технології, статті

Martijn Koster , Переклад А. Алікберова

Оптимізація сайтів: robots.txt. Стандарт винятків для роботів (Standard for robot exclusion) (документація), Документація, Програмування, статті

Статус цього документа Цей документ складаючи 30 липня 1994 року по матеріалам обговорень в телеконференції robots-request@nexor.co.uk (зараз конференція перенесена на WebCrawler. Подробиці див Robots pages at WebCrawler info.webcrawler.com/mak/projects/robots/) Між більшістю виробників пошукових роботів та іншими зацікавленими людьмі.Также ця тема відкрита для обговорення в телеконференції Technical World Wide Web www-talk@info.cern.ch Сей документ заснований на попередньому робочому […]

Стандарт винятків для роботів

Martijn Koster, переклад А. Алікберова Статус цього документа Введення Призначення Формат Приклади Примітки перекладача Адреси авторів Статус цього документа

Оптимізація сайтів: robots.txt. Стандарт винятків для роботів (Standard for robot exclusion) (документація)

Статус цього документа Цей документ складено 30 липня 1994 року по матеріалам обговорень у телеконференції robots-request@nexor.co.uk (зараз конференція перенесена на WebCrawler. Подробиці див Robots pages at WebCrawler info.webcrawler.com / mak / projects / robots /) між більшістю виробників пошукових роботів та іншими зацікавленими людьмі.Также ця тема відкрита для обговорення в телеконференції Technical World Wide Web […]

Пошукові роботи. Керуємо індексацією сайту.

Коротко про пошукових роботах. Всі пошукові системи для пошуку та індексації використовують програми-роботи. Їх ще називають павуками. Робот, потрапивши на сайт, збирає з нього всю інформацію. Найважливішу (на його думку) інформацію робот запам'ятовує. Далі робот аналізує посилання і йде за ними. Він може знайти посилання на інший ресурс і піти по ній, покинувши ваш сайт.