robots.txt и sitemap.xml

Свой парсер robots.txt и sitemap.xml: правила, карта сайта, проверка URL.

← В категорию
Парсер читает robots.txt, sitemap.xml (или Sitemap из robots.txt). Всё через собственный HTTP-клиент.
robots.txt
—
sitemap
—
Записей
0

Правила robots.txt

Sitemap из robots.txt

    Проверка URL

    Записи sitemap

    #URLlastmodchangefreqpriority

    Сырой robots.txt

    —
    Трей
    Откройте любое мини-приложение — оно появится здесь.