Программы на Pascal - Как составить robots.txt

		Воскресенье, 07.09.2025
	Программы на VB и QB

Главная | Регистрация | Вход

Приветствую Вас Гость | RSS

Форма входа

Меню сайта

Облако тегов

программы на Pascal программы на Паскале что такое Pascal что такое Паскаль IF операторы операторы Pascal операторы в паскале операторы в языке паскаль Работа с файлами работа с файлами в Pascal работа с файлами в паскале файлы в Pascal файлы в паскале Do for repeat Until While циклы циклы Pascal циклы в паскале Константы константы Pascsal константы в Pascal константы в паскале паскаль Паскаль (язык программирования) Программа VB.NET Visual Basic.NET алгоритмы бесплатно скачать Количество символов Символы в Паскале Слово наоборот

Наши партнеры

Возраст сайта

Мини-чат

Статистика

Онлайн всего: 1

Гостей: 1

Пользователей: 0

robots.txt это такой текстовый файл который помещается в корень сайта (Мои файлы, Файловый менеджер) и читается поисковыми роботами. Там можно прописать какие поисковые системы будут индексировать ваш сайт, какие страницы им нельзя сканировать, адрес вашего сайта и путь к его карте. Карта это файл sitemap.xml и составляется с помощью программы sitemap generator. Итак чтобы составить robots.txt используют следующие команды:

User-Agent: (Имя поисковых роботов которые смогут сканировать сайт) Их имена можете посмотреть в интернете а чтобы сайт видели ВСЕ роботы просто пишите символ "*".

Dissalow: (Какие страницы НЕЛЬЗЯ индексировать) например site.com/admin

Host: Здесь указывается адрес вашего сайта.

Sitemap: Путь к файлу sitemap.xml

После того как мы все написали нам надо сохранить текстовый документ как robots и загрузить в корень сайта. robots.txt у меня выглядит так

User-agent: *

Disallow: /photo

Disallow: /index/igry/0-4

Disallow: /gb

Disallow: /index/0-3

Disallow: /stuff

Disallow: /blog

Disallow: /video

Host: http://prikolyssimo.ucoz.org

Sitemap: prikolyssimo.ucoz.org/sitemap.xml

Ну вот и все)))