1. Школа
digital-маркетинга
Коледа Олег
Руководитель службы тестирования «Артокс Лаб»

2. Занятие 2
Внутренняя
оптимизация сайта.
Программные
аспекты.
2

3. Задачи программной
оптимизации:
Создание файла robots.txt
Создание и модификация файла .htaccess
Подготовка и размещение sitemap
Транслитерация URL-ов страниц
Другое
3

4.  назначение файла
robots.txt
robots.txt предназначен для ограничения
доступа роботам к сайту.
каждый робот находит свою секцию (если
она есть), а также общую секцию.
Официальный сайт:
http://www.robotstxt.org/, но удобнее
Вебмастер Яндекса.
некоторые «несознательные» роботы не
учитывают robots.txt. Поможет .htaccess
4

5.  назначение файла
robots.txt
5

6.  структура файла
robots.txt
1. Основные поля файла:
User-agent: * (GoogleBot, Yandex)
Allow: <шаблон>
Disallow: <шаблон>
Sitemap: http://www.site.by/sitemap.xml
Crawl-delay: 10
Host: www.site.by
*Поле host является обязательным для
Яндекса
6

7.  структура файла
robots.txt
2. Варианты шаблонов для секций Allow и Disallow:
Disallow:
Disallow:
Disallow:
Disallow:
Disallow:
/
/name*
/name
/*.htm$
-
нет запретов
запрет всего сайта
запрет name, name.html, name/…
аналогично предыдущему
запрет всех htm но не html
3. Робот смотрит порядок директив Allow и Disallow
7

8.  Различные роботы
Яндекса
'YandexBot' — основной индексирующий робот;
'YandexMedia' — робот, индексирующий мультимедийные данные;
'YandexImages' — индексатор Яндекс.Картинок;
'YandexCatalog' — «простукивалка» Яндекс.Каталога, используется
для временного снятия с публикации недоступных сайтов в
Каталоге;
'YandexDirect' — робот Яндекс.Директа, особым образом
интерпретирует robots.txt;
'YandexBlogs' — робот поиска по блогам, индексирующий посты и
комментарии;
'YandexNews' — робот Яндекс.Новостей;
'YandexPagechecker' — валидатор микроразметки;
‘YandexMetrika’ — робот Яндекс.Метрики;
‘YandexMarket’— робот Яндекс.Маркета;
‘YandexCalendar’ — робот Яндекс.Календаря.
8

9.  структура файла
robots.txt
4. Пример готового файла:
User-agent: *
Allow: /text/page.html
Disallow: /text/
User-agent: Yandex
Disallow:
Host: www.site.by
9

10.  валидация файла
robots.txt
Использование инструмента Yandex:
http://webmaster.yandex.ru/robots.xml
Использование инструмента Google в панели
Вебмастера.
Анализ логов веб-сервера для проверки IPадресов и юзер-агентов, сканирующих сайт
1
0

11. Создание и модификация
.htaccess
.htaccess поддерживается только Apache
mod_rewrite: преобразование URL.
Подключение и основы регулярных
выражений.
1
1

12. Подключение
mod_rewrite
Включение механизма mod_rewrite:
RewriteEngine On
RewriteBase /
2. Основные операторы регулярных выражений:
^ (ограничение слева)
+(1 и более символов)
.(любой символ)
( ) (переменная)
$(ограничение справа)
* (0 и более символов)
(экранирование)
[] (диапазон значений)
3. Примеры регулярных выражений:
^page
^page$
^page.+
page*.html
page[1-9].html
^page(.+)
12

13. Переменные окружения
Переменные записываются в виде
%{ИМЯ_ПЕРЕМЕННОЙ}
REQUEST_URI (строка запроса без имени хоста и
параметров запроса)
HTTP_HOST (имя хоста веб-сайта)
REMOTE_ADDR ( IP -адрес посетителя)
т.е. %{REQUEST_URI}
%{HTTP_HOST}
%{REMOTE_ADDR}
13

14. Примеры директив
mod_rewrite
1.
Использование редиректов: внутренний, 301, 302:
RewriteRule ^kontakt.* contacts.php [L] – внутренний
RewriteRule ^kontakt.* http://www.site.by/contacts/ [L] – внеш
302.
RewriteRule ^kontakt.* http://www.site.by/contacts/ [R=301,L]
Внешний 301
2. Склейка site.by и www.site.by:
RewriteCond %{HTTP_HOST} ^site.by$ [NC]
RewriteCond %{REQUEST_URI} !^/robots.txt
RewriteRule ^(.*)$ http://www.site.by/$1 [R=301,L]
3. Закрытие веб-сайта в рабочее время:
RewriteCond %{TIME_HOUR}%{TIME_MIN} >900
RewriteCond %{TIME_HOUR}%{TIME_MIN} <1800
RewriteRule .* - [ F ]
14

15.  Установка и
подключение sitemap
Для чего нужен sitemap?
быстрая индексация сайта (новых страниц
сайта);
Как сделать sitemap?
вручную или автоматически (www.xmlsitemaps.com)
многие популярные CMS автоматически
могут генерировать sitemap.
Как сообщить ПС о sitemap?
webmaster.yandex.ru (для Яндекса)
google.com/webmasters (для Google)
15

16.  Установка и
подключение sitemap
Пример секции файла
sitemap.xml:
<url>
<loc>http://www.relax.by/</loc>
<lastmod>2010-0909T00:00:00+00:00</lastmod>
<changefreq>daily</changefreq>
<priority>1</priority>
</url>
16

17.  Транслитерация URLов страниц
Транслитерация — передача одной
письменности средствами другой
письменности;
Автоматическая транслитерация
большинством CMS;
ЧПУ (Человеко-Понятный URL),
названия доменов;
Легко индексируются ПС;
Проверка транслитерации с
помощью запроса к yandex.ru
17

18. 
Русская таблица транслитерации
Кириллица
а
б
в
г
д
Латиница
a
b
v
g
d
Кириллица
р
с
т
у
ф
Латиница
r
s
t / th
u / oo
f
Е
ye / e (после согл.)
х
h / ch / kh
Ё
yo / io (после согл.)
ц
z / tz
Ж
з
и
zh / j
s
i
ч
ш
щ
ch
sh
sh
й
y / i (перед гласной)
ъ
-
к
л
м
k/c
l
m
ы
ь
э
i/y
e
н
n
ю
yu / iu (после согл.)
о
o
я
ya / ia (после согл.)
п
p
-
-
18

19. Практический кейс 1:
robots.txt
Как разные роботы будут обрабатывать этот
файл?
User-agent: *
Allow:
User-agent: Yandex
Disallow:
Host: www.site.by
19

20. Практический кейс 2:
robots.txt
Как роботы будут обрабатывать этот файл?
User-agent: GoogleBot
Allow:
Host: www.site2.by
User-agent: Yandex
Disallow:
Host: www.site2.by
20

21. Практический кейс 3:
robots.txt
Как роботы будут обрабатывать этот файл?
User-agent: Yandex
Disallow: /info.html
Allow: /
Host: www.site.by
21

22. Практический кейс 4:
robots.txt
Как роботы будут обрабатывать этот файл?
User-agent: Yandex
Allow: /
Disallow: /info*
Host: www.site.by
22

23. Практический кейс 5:
robots.txt
Как роботы будут обрабатывать этот файл?
User-agent: Yandex
Allow: /info*
Disallow: /
Host: www.site.by
23

24. Уникальность
изображений
Проверка:
http://www.tineye.com/
24

25. Уникальность
изображений
1. Переворот, зеркальное
отображение
2. Добавление элементов
(водяных знаков)
3. Добавление второго
изображения
25

26. Отличия нашего сео и
западного
1. Наши цели, их цели
2. Покупка ссылок
3. SMM двигатель
4. Контент ресурса
5. Ключевые слова
26

27. Выводы
27