Стандарт винятків для роботів, Різне, Інтернет-технології, статті

Martijn Koster , Переклад А. Алікберова

Оптимізація сайтів: robots.txt. Стандарт винятків для роботів (Standard for robot exclusion) (документація), Документація, Програмування, статті

Статус цього документа Цей документ складаючи 30 липня 1994 року по матеріалам обговорень в телеконференції robots-request@nexor.co.uk (зараз конференція перенесена на WebCrawler. Подробиці див Robots pages at WebCrawler info.webcrawler.com/mak/projects/robots/) Між більшістю виробників пошукових роботів та іншими зацікавленими людьмі.Также ця тема відкрита для обговорення в телеконференції Technical World Wide Web www-talk@info.cern.ch Сей документ заснований на попередньому робочому […]

Стандарт винятків для роботів

Martijn Koster, переклад А. Алікберова Статус цього документа Введення Призначення Формат Приклади Примітки перекладача Адреси авторів Статус цього документа

Оптимізація сайтів: robots.txt. Стандарт винятків для роботів (Standard for robot exclusion) (документація)

Статус цього документа Цей документ складено 30 липня 1994 року по матеріалам обговорень у телеконференції robots-request@nexor.co.uk (зараз конференція перенесена на WebCrawler. Подробиці див Robots pages at WebCrawler info.webcrawler.com / mak / projects / robots /) між більшістю виробників пошукових роботів та іншими зацікавленими людьмі.Также ця тема відкрита для обговорення в телеконференції Technical World Wide Web […]