Поиск битых ссылок: как за 30 секунд проверить весь сайт

Зачем искать битые ссылки

Битые ссылки — это 404 и 500, на которые пользователь попадает при клике. Они портят поведенческие факторы, ломают воронки и мешают поисковикам. Чаще всего появляются после редизайна или удаления страниц.

Как работает краулер UtilNest

В поиске битых ссылок указываете URL, глубину (0 — только эта страница, 1 — её ссылки, 2 — ссылки ссылок) и лимит страниц (1–50). Краулер:

• Обходит страницы, собирает все <a href>.
• Для каждой ссылки делает HEAD-запрос (а при необходимости — GET с stream=True, чтобы не качать тело).
• Помечает 4xx/5xx как битые, 3xx — как редиректы.
• Отбрасывает mailto:, tel:, javascript: и якоря.

Прогресс в реальном времени

Краулер работает на сервере в фоне, а браузер получает обновления по SSE. Если уйти со страницы — прогресс продолжается и виден в трее. Вернувшись, вы увидите актуальное состояние и результат. Это удобно, когда проверяете большой сайт и не хотите сидеть и смотреть.

Технические детали

• SSRF-защита: внутренние IP (10/8, 127/8, 192.168/16, 169.254/16, fc00::/7) блокируются.
• Таймауты 8 секунд на запрос, общий лимит 120 секунд на задачу.
• Результаты ограничены 200 записями на раздел, чтобы JSON не раздувался.
• Задачи живут в памяти процесса 1 час после завершения — можно вернуться и посмотреть.

Когда пригодится

• После редизайна — проверить, что ничего не сломалось.
• Перед запуском рекламы — убедиться, что все CTA ведут куда надо.
• При аудите чужого сайта.
• Регулярная проверка своего блога и лендингов.

Открыть инструмент: utilnest.ru/app/broken-links/