1. Проблемы с индексацией сайта?
Оптимизируйте краулинговый бюджет!
1
Проблеми з
індексацією
сайту?

2. Термінология
* Процес виявлення та
збору нових та
оновлених сторінок
для додавання до
індексу ПС.
* Найперший етап;
* Дані збираються для
побудови індексу і НЕ
відображаються у
результатах пошуку.
* Просканована
роботом сторінка не
завжди опиняється в
індексі
* Процес збору,
додавання та
оновлення сторінок в
індексі ПС;
* Другий етап;
* Залежить від
краулінгового
бюджету.
2
Краулинг
(Crawling)
Індексація
(Indexing)

3. Як відбувається індексація
сайту?
3
Якщо на сторінці є код JavaScript, обробка відбувається в 2 хвилі.

4. Що таке краулінговий бюджет
(КБ)?
Краулінговий бюджет — це метрика, яка
визначає квоту сторінок для домену, що
підлягають індексації у рамках одного візиту
краулера ПС.
 Використовується для ініціалізації процесу
сканування сайту.
 Від значення КБ залежить кількість сторінок,
які краулер обробить у рамках відвідування
сайту.
 Значення КБ для кожного сайту
розраховується індивідуально.
4

5. Як розраховується
краулінговий бюджет?
Числове значення КБ залежить від таких факторів:
 Авторитетність сайту
 Здатність сервера обробляти запити без зниження
швидкості завантаження.
2 вектор роботи:
 Збільшення числового значення КБ
 Збільшення кількості проіндексованих сторінок при
поточному КБ
5

6. Збільшення числового
значення КБ
1. Оптимізація швидкості завантаження сайту
під час звернення краулера.
Мова про швидкість для краулерів, а не для
користувачів
Для аналізу працюємо у Screaming Frog SEO Log File
Analyser, Botify.com.
2. Підвищення авторитетності веб-сайту
шляхом зовнішньої оптимізації веб-сайту.
6

7. Аналіз логів сайту
7
Навіщо аналізувати?
1. Визначити проскановані URL
2. Дізнатися частоту сканування
3. Дізнатися про непрацюючі посилання та
помилки
4. Перевірити наявність редиректів
5. Знайти невідскановані урли та сторінки-
сироти

8. Screaming Frog SEO Log File
Analyser
8

9. Search Console
9

10. Jetoctopus
10

11. Збільшення кількості проіндексованих
сторінок при поточному КБ
1. Налаштування 304 коду відповіді сервера
304 Not Modified — сервер повертає такий код, якщо клієнт запросив
документ методом GET, використовував заголовок If-Modified-Since або
If-None-Match і документ не змінився із зазначеного моменту. При цьому
повідомлення сервера не повинно мати тіла.
11

12. Прискорення індексації
2. Рівень вкладеності.
Добре:
http://port-jackson.com.ua/blog-post/xranenie-rollov/
 https://www.fito-land.com.ua/profcosm/freihaut_cosm/4415-2
Пагано:
 https://site.ru/mikroskhemy/mikrokontrollery-i-pamyat/atmel-atmega-
32/art12345
3. Внутрішня перелінковка. Модуль - "ловець ботів".
4. Robots.txt, Sitemap.xml
5. Швидкість завантаження.
6.Частота публікацій.
7. Linkbuilding (соцмережі, форуми, ЗМІ)
12

13. Прискорення індексації
8. Запросити індексування через Search Console
9. Прибрати "сирітські сторінки".
10. Видалити сміттєві сторінки (дублікати, документи
низької якості).
11. Позбутися нескінченної пагінації.
12. Зменшити кількість сторінок, які віддають 4xx та 5xx
відповіді сервера.
13. Зменшити кількість посилань із редиректами.
14. Закрити посилання в nofollow.
13

14. Питання
1. Індексація SPA на Ангулярі;
2. Плюси-мінуси SSR.
14

15. SPA (single page application)
1. Проблеми індексації сайту через неправильне
використання реактивних фреймворків (Angular,
ReactVue та інші) прирівнюють до проблем SPA
проектів.
2. SPA ≠ Angular або React тощо
Angular, React,Vue - це інструменти, що використовують
парадигму реактивного програмування. Вкрай зручна
для побудови складних інтерфейсів, але слабо
адаптована для створення традиційних сайтів.
SPA це спосіб доставки контенту в рамках сесії
користувача, але не спосіб формування на сторінці.
Підсумок: за допомогоюAngular React можна робити
SPA. Як і за допомогою мікроскопа забивати цвяхи.
15

16. SPA (single page application)
3. Проблема індексації SPA сайтів у 2006-2012 роках була у
площині того, що JavaScript того часу не мав можливостей
керувати адресним рядком браузера. Можна було
змінювати лише хеш сторінки.
http://example.com/page#page10
де:
http://example.com/page - URL
#page10 - хэш.
код міг змінити hash, але не міг змінити URL.
4. У HTML5 додали стандарт History APi, що повністю
вирішує ВСІ проблеми SPA додатків.
Тому НІЯКИХ ПРОБЛЕМ В ІНДЕКСАЦІЇ SPA додатків
Нема. І жодні SSR йому для цього не потрібні.
Для вирішення проблем фреймворків було реалізовано
SSR. 16

17. SPA (single page application)
 CSR (Client-Side Rendering) — рендеринг програми на
стороні клієнта (у браузері), зазвичай за
допомогоюDOM.
 SSR (Server-Side Rendering, серверний рендеринг) —
рендеринг на сервері клієнтської частини або
універсальної програми в HTML.
17

18. Дякую за увагу!
 Питання?
18
writer@vlada-rykova.com
facebook.com/VladaRykova
t.me/vlada_rykova