Лайфхак для проверки битых ссылок при смене структуры сайта

Недавно мы столкнулись с ситуацией, когда у клиента менялась частично структура сайта при переезде на новую CMS. Для нас важно было сохранить URL-адреса старых страниц, которые несли трафик клиенту, при этом видоизменить структуру и вложенность малотрафиковых страниц. То есть один тип страниц сохраняем, а другие типы изменяем.

Мы сделали тестовый сайт, видоизменили структуру на нём, но как проверить 250+ страниц, что мы написали корректные URL-адреса и куда нужно настраивать постраничный редирект при изменении URL. Сложность состояла именно в том, что предыдущий (старый) сайт имел очень неоднозначную структуру, и нужно сравнивать каждую ссылку.

Как это сделать за 10 минут

Шаг 1

Выделяем все адреса HTML-страниц старого сайта. Это делает любая сканирующая программа-паук. Мы использовали Netpeak Spider. Сохраняем все адреса в 1-ый столбец в файле EXCEL.

Шаг 2

Копируем результат в соседний столбец. После чего функцией «Найти-заменить» заменяем домен сайта на тот, на котором происходит разработка (действующий -> тестовый). Мы получаем список страниц на новом сайте, которые, потенциально, должны отдавать код ответа сервера – 200 ОК

Шаг 3

Загоняем адреса нового сайта в сервис http://coolakov.ru/tools/ping/ и выделяем те странички, которые имеют код ответа сервера отличный от 200. Так мы получаем список потенциально проблемных страниц.

Шаг 4

Сносим проблемные URL в отдельную вкладку в EXCEL. После чего разбираемся с каждым URL или типами URL отдельно. Далее либо составляем таблицу постраничных редиректов, либо корректируем адрес для получения – 200 ОК. В нашем случае, мы устранили несколько опечаток и составили таблицу постраничных редиректов.

Способ подходит для небольших проектов до 1000 страниц на финальных стадиях проверки. Помогает увидеть опечатки в URL, возможные упущения в уровнях вложенности - помогает в жизни оптимизатора.