Программы на Pascal - Как составить robots.txt

		Четверг, 21.05.2026
	Программы на VB и QB

Главная | Регистрация | Вход

Приветствую Вас Гость | RSS

Форма входа

Меню сайта

Облако тегов

что такое Паскаль что такое Pascal программы на Pascal программы на Паскале операторы в языке паскаль IF операторы Pascal операторы в паскале операторы работа с файлами в Pascal файлы в паскале файлы в Pascal работа с файлами в паскале Работа с файлами While циклы Pascal repeat циклы for циклы в паскале Do Until Константы константы в Pascal константы в паскале константы Pascsal паскаль Программа Паскаль (язык программирования) скачать бесплатно алгоритмы Visual Basic.NET VB.NET Количество символов Символы в Паскале Слово наоборот

Наши партнеры

Возраст сайта

Мини-чат

Статистика

Онлайн всего: 1

Гостей: 1

Пользователей: 0

robots.txt это такой текстовый файл который помещается в корень сайта (Мои файлы, Файловый менеджер) и читается поисковыми роботами. Там можно прописать какие поисковые системы будут индексировать ваш сайт, какие страницы им нельзя сканировать, адрес вашего сайта и путь к его карте. Карта это файл sitemap.xml и составляется с помощью программы sitemap generator. Итак чтобы составить robots.txt используют следующие команды:

User-Agent: (Имя поисковых роботов которые смогут сканировать сайт) Их имена можете посмотреть в интернете а чтобы сайт видели ВСЕ роботы просто пишите символ "*".

Dissalow: (Какие страницы НЕЛЬЗЯ индексировать) например site.com/admin

Host: Здесь указывается адрес вашего сайта.

Sitemap: Путь к файлу sitemap.xml

После того как мы все написали нам надо сохранить текстовый документ как robots и загрузить в корень сайта. robots.txt у меня выглядит так

User-agent: *

Disallow: /photo

Disallow: /index/igry/0-4

Disallow: /gb

Disallow: /index/0-3

Disallow: /stuff

Disallow: /blog

Disallow: /video

Host: http://prikolyssimo.ucoz.org

Sitemap: prikolyssimo.ucoz.org/sitemap.xml

Ну вот и все)))