SCREAMING FROG SEO SPIDER. КАК АККАУНТ-МЕНЕДЖЕР ПО НАСТРАИВАЛ

Статья пригодиться тем, чья работа не только стоит на потоке в плане сканирования проектов, но и при этом требует установить такие настройки, которые одинаково подойдут, как на средние проекты с количеством URL до 500 тыс., так и для небольших сайтов.

Начну с того, что в нашей компании, как и в любом более-менее крупном рекламном digital-агентстве, остро стоит вопрос оптимизации и автоматизации рутинных процессов, освобождая время для решения более важных стратегических задач.

Так вот: пройдя испытательный срок и проработав в агентстве примерно 2 месяца, взялся я за задачи ежемесячного сканирования по нескольким проектам. В seo я, в принципе, не новичок, но моя основная специализация – это аккаунт-менеджмент и маркетинг.

Время от времени, я как аккаунт-менеджер для собственных нужд по проекту и обсуждения деталей продвижения с клиентами провожу анализ выдачи их сайтов в выдаче в целом, в ТОП 10 поисковиков, но иной раз есть потребность в том, чтобы провести подробное сканирование сайта.

Сканирование проектов осуществляю, как и все на ПО Screaming Frog SEO Spider. Установил прогу, получил от руководства на нее лицензию и не трогал в ней ничего из настроек параметров сканирования (ибо все работало, а как известно не надо чинить то, что не сломалось).

Ну и шло все своим чередом, пока не попался мне в ведение проект довольно масштабный, особенно в рамках своей профессиональной деятельности.

Запускал я сканирование несколько раз, где выяснилось, что величина проекта примерно 430 тыс. URL, при том, что прошлые процессы сканирования ограничивались проектами величиной max 1200-1700 URL. И проблема не в том, что сканирование проекта занимало около суток (как я понял из прочитанных мной материалов – это норма), а в том, что, оставляя на ночь работающий процесс, возвращался я к неизменно зависшей программе на прогрессе в 88-94%!

Инструкция к screaming frog seo spider, естественно, более чем подробно дает понимание того, что и для чего настраивается, но конкретных рекомендаций по настройке не дает.

Далее я обратился к поиску на тему того как правильно использовать seo spider tool. Перечитав несколько статей, посвященных настройке программы, сделал вывод, что в них описано то же самое, что и в инструкции, но более кратко и попроще.

В итоге по своему вопросу решил я воспользоваться помощью наших опытных специалистов, которые (за что им действительно огромное спасибо) буквально на пальцах объясняли мне по каким принципам данное ПО работает и дали несколько очень дельных рекомендаций по настройке.

В итоге, после 3 дней путем проб, ошибок и консультаций с коллегами я пришел к следующему

Характеристики устройства:

• Процессор - Intel(R) Core(TM) i3-7020U CPU 2.30 GHz
• Оперативная память - 8,00 ГБ
• Тип системы - 64-разрядная операционная система, процессор x64

Как видите показатели устройства весьма средние, но мне по роду обязанностей очень мощное железо то и не нужно, т. к. на выполнения своих задач, такой машины более чем хватает.

Настройки программы Screaming Seo spider (версия 14.1, последнее обновление):

1. Все данные по проекту записываются на SSD диск, размером 107 Гб. За заполняемостью диска конечно же надо следить и ненужные устаревшие данные стирать вручную. Компенсировать можно сделав экспорт проекта.
2. Включен рендер с использованием javascript
3. Отключены ограничения количества потоков сканирования
4. Максимальное количество URL в секунду – 2
5. Если вы параллельно выполняете еще трудоемкие процессы на рабочей машине (например работаете с парсингом в KeyCollector), то обязательно ставьте краулинг на паузу.

Ниже привожу скрины с настройками Spider Configuration:

ВНИМАНИЕ!

В обязательном порядке, в настройках программы необходимо в методах записи информации по проекту выставить запись на жесткий диск, который обязательно SSD!