Screaming Frog SEO Spider - сканер веб-сайтов, который способен сканировать, как небольшие, так и очень большие сайты, позволяя анализировать результаты в режиме реального времени.
Что можно сделать с помощью инструмента SEO Spider
- Сканирование сайта, чтобы найти неработающие ссылки (404 ошибка). Массовый экспорт ошибок и исходных URL-адресов для исправления или отправки разработчику.
- Анализ заголовков страниц и метаданных
- Собрать любые данные из HTML веб-страницы, используя CSS Path, XPath или регулярное выражение
- Создание XML-карт сайта
- Сканирование веб-сайтов на JavaScript
- Запланировать выполнение обходов с заданными интервалами и автоматически экспортировать данные обхода в любое место, включая Google Sheets.
- Находить временные и постоянные перенаправления (редиректы 301, 302)
- Обнаружение дублирующегося контента
- Просмотр URL-адресов, заблокированных robots.txt , meta robots или X-Robots-Tag, такие как ‘noindex’ или ‘nofollow’, а также канонические, rel=“next” и rel=“prev”.
- Подключиться к API-интерфейсам Google Analytics, Search Console и PageSpeed Insights и извлекать данные о пользователях и производительности для всех URL-адресов при обходе..
- Оценить внутреннюю структуру ссылок и URL-адресов с помощью интерактивных диаграмм обхода и принудительного управления каталогами..
- Сравнить результаты обходов и промежуточных этапов
