Перед началом продвижения проекта в поисковиках обычно выполняют технический анализ. Его цель – обнаружение и исправление «слабых мест», которые могут мешать дальнейшему привлечению трафика с поисковых систем. В данной статье будет показано, как тонко настроить программу SEO Frog для обработки больших проектов и определять в ней исключения.

Первичная настройка программы

На Advanced-вкладке в Configuration (Spider) отметить флажками опции Respect Noindex/NoFollow. Это предоставит возможность смотреть на проект взглядом поисковых машин, а также уменьшит время анализа проекта в целом.

1

Настройки для парсинга объемных проектов

Из-за того, что большинство ошибок будут однотипными для различных функциональных «разделов» проекта (страницы статей/товаров, каталог), можно не парсить глубже 4-5 уровней вложенности. В Configuration (Spider), вкладка Limits, выставляем глубину парсинга 4 или 5. Также можно попутно убрать флажок, который указывает программе останавливать процесс при большом потреблении ОЗУ.

Парсинг только страниц определенного типа

Если нужно сделать анализ определенного раздела проекта или какую-то его часть, шаблоны урлов для парсинга можно создать при помощи регулярных выражений. Чтоб приступить перейдите в ConfigurationInclude, и задайте нужным образом шаблоны.

При помощи регулярных выражений легко указать программе, какие разделы проекта или типы файлов парсить не нужно. Перейдите в ConfigurationExclude, и опишите при помощи регулярных выражений исключаемые элементы.