Π ΠΎΠ±ΠΎΡΡ Π―Π½Π΄Π΅ΠΊΡΠ° β Β«robots.txtΒ» Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡΠ°, Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Β«HostΒ», HTML-ΡΠ΅Π³ Β«noindexΒ», IP-Π°Π΄ΡΠ΅ΡΠ° ΡΠΎΠ±ΠΎΡΠΎΠ² Π―Π½Π΄Π΅ΠΊΡΠ° β Robots.Txt ΠΏΠΎ-ΡΡΡΡΠΊΠΈ
ΠΠ΅ΡΠΎΠ΄Ρ ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΡ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ΠΌ ΡΠΎΠ±ΠΎΡΠ° Π―Π½Π΄Π΅ΠΊΡΠ°
Π§ΠΈΡΠ°ΠΉΡΠ΅ Π² ΠΎΡΠ΄Π΅Π»ΡΠ½ΠΎΠΉ ΡΡΠ°ΡΡΠ΅:Β ΠΌΠ΅ΡΠΎΠ΄Ρ ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΡ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ΠΌ ΡΠΎΠ±ΠΎΡΠ°.
ΠΠΈΠ΄Ρ ΡΠΎΠ±ΠΎΡΠΎΠ² Π―Π½Π΄Π΅ΠΊΡΠ°
- Yandex/1.01.001 (compatible; Win16; I) β ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΠΎΠ±ΠΎΡ
- Yandex/1.01.001 (compatible; Win16; P) β ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΎΡ ΠΊΠ°ΡΡΠΈΠ½ΠΎΠΊ
- Yandex/1.01.001 (compatible; Win16; H) β ΡΠΎΠ±ΠΎΡ, ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΡΡΠΈΠΉ Π·Π΅ΡΠΊΠ°Π»Π° ΡΠ°ΠΉΡΠΎΠ²
- Yandex/1.02.000 (compatible; Win16; F) β ΡΠΎΠ±ΠΎΡ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΠΏΠΈΠΊΡΠΎΠ³ΡΠ°ΠΌΠΌΡ ΡΠ°ΠΉΡΠΎΠ² (favicons)
- Yandex/1.03.003 (compatible; Win16; D) β ΡΠΎΠ±ΠΎΡ, ΠΎΠ±ΡΠ°ΡΠ°ΡΡΠΈΠΉΡΡ ΠΊ ΡΡΡΠ°Π½ΠΈΡΠ΅ ΠΏΡΠΈ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΠΈ Π΅Π΅ ΡΠ΅ΡΠ΅Π· ΡΠΎΡΠΌΡ Β«ΠΠΎΠ±Π°Π²ΠΈΡΡ URLΒ»
- Yandex/1.03.000 (compatible; Win16; M) β ΡΠΎΠ±ΠΎΡ, ΠΎΠ±ΡΠ°ΡΠ°ΡΡΠΈΠΉΡΡ ΠΏΡΠΈ ΠΎΡΠΊΡΡΡΠΈΠΈ ΡΡΡΠ°Π½ΠΈΡΡ ΠΏΠΎ ΡΡΡΠ»ΠΊΠ΅ Β«ΠΠ°ΠΉΠ΄Π΅Π½Π½ΡΠ΅ ΡΠ»ΠΎΠ²Π°Β»
- YaDirectBot/1.0 (compatible; Win16; I) β ΡΠΎΠ±ΠΎΡ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ°ΠΉΡΠΎΠ², ΡΡΠ°ΡΡΠ²ΡΡΡΠΈΡ Π² Π Π΅ΠΊΠ»Π°ΠΌΠ½ΠΎΠΉ ΡΠ΅ΡΠΈ Π―Π½Π΄Π΅ΠΊΡΠ°
- YandexBlog/0.99.101 (compatible; DOS3.30,B) β ΡΠΎΠ±ΠΎΡ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ xml-ΡΠ°ΠΉΠ»Ρ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠ° ΠΏΠΎ Π±Π»ΠΎΠ³Π°ΠΌ.
- YandexSomething/1.0 β ΡΠΎΠ±ΠΎΡ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ Π½ΠΎΠ²ΠΎΡΡΠ½ΡΠ΅ ΠΏΠΎΡΠΎΠΊΠΈ ΠΏΠ°ΡΡΠ½Π΅ΡΠΎΠ² Π―Π½Π΄Π΅ΠΊΡ-ΠΠΎΠ²ΠΎΡΡΠ΅ΠΉ.
- Bond, James Bond (version 0.07) β ΡΠΎΠ±ΠΎΡ, Π·Π°Ρ ΠΎΠ΄ΡΡΠΈΠΉ Π½Π° ΡΠ°ΠΉΡΡ ΠΈΠ· ΠΏΠΎΠ΄ΡΠ΅ΡΠΈ Π―Π½Π΄Π΅ΠΊΡΠ°. ΠΡΠΈΡΠΈΠ°Π»ΡΠ½ΠΎ Π½ΠΈΠΊΠΎΠ³Π΄Π° Π½Π΅ ΡΠΏΠΎΠΌΠΈΠ½Π°Π»ΡΡ. Π₯ΠΎΠ΄ΠΈΡ Π²ΡΠ±ΠΎΡΠΎΡΠ½ΠΎ ΠΏΠΎ ΡΡΡΠ°Π½ΠΈΡΠ°ΠΌ. Referer Π½Π΅ ΠΏΠ΅ΡΠ΅Π΄Π°Π΅Ρ. ΠΠ°ΡΡΠΈΠ½ΠΊΠΈ Π½Π΅ Π·Π°Π³ΡΡΠΆΠ°Π΅Ρ. Π‘ΡΠ΄Ρ ΠΏΠΎ ΠΏΠΎΠ²Π°Π΄ΠΊΠ°ΠΌ, ΡΠΎΠ±ΠΎΡ Π·Π°Π½ΠΈΠΌΠ°Π΅ΡΡΡ ΠΏΡΠΎΠ²Π΅ΡΠΊΠΎΠΉ ΡΠ°ΠΉΡΠΎΠ² Π½Π° Π½Π°ΡΡΡΠ΅Π½ΠΈΡ β ΠΊΠ»ΠΎΠ°ΠΊΠΈΠ½Π³ ΠΈ ΠΏΡ.
IP-Π°Π΄ΡΠ΅ΡΠ° ΡΠΎΠ±ΠΎΡΠΎΠ² Π―Π½Π΄Π΅ΠΊΡΠ°
IP-Π°Π΄ΡΠ΅ΡΠΎΠ², Ρ ΠΊΠΎΡΠΎΡΡΡ Β«Ρ ΠΎΠ΄ΠΈΡΒ» ΡΠΎΠ±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡΠ°, ΠΌΠ½ΠΎΠ³ΠΎ, ΠΈ ΠΎΠ½ΠΈ ΠΌΠΎΠ³ΡΡ ΠΌΠ΅Π½ΡΡΡΡΡ. Π‘ΠΏΠΈΡΠΎΠΊ Π°Π΄ΡΠ΅ΡΠΎΠ² Π½Π΅ ΡΠ°Π·Π³Π»Π°ΡΠ°Π΅ΡΡΡ.
ΠΡΠΎΠΌΠ΅ ΡΠΎΠ±ΠΎΡΠΎΠ² Ρ Π―Π½Π΄Π΅ΠΊΡΠ° Π΅ΡΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ Π°Π³Π΅Π½ΡΠΎΠ²-Β«ΠΏΡΠΎΡΡΡΠΊΠΈΠ²Π°Π»ΠΎΠΊΒ», ΠΊΠΎΡΠΎΡΡΠ΅ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΡΡ, Π΄ΠΎΡΡΡΠΏΠ΅Π½ Π»ΠΈ Π² Π΄Π°Π½Π½ΡΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ ΡΠ°ΠΉΡ ΠΈΠ»ΠΈ Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ, Π½Π° ΠΊΠΎΡΠΎΡΡΠΉ ΡΡΠΎΠΈΡ ΡΡΡΠ»ΠΊΠ° Π² ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΡΡΡΠ΅ΠΌ ΡΠ΅ΡΠ²ΠΈΡΠ΅.
- Yandex/2.01.000 (compatible; Win16; Dyatel; C) β Β«ΠΏΡΠΎΡΡΡΠΊΠΈΠ²Π°Π»ΠΊΠ°Β» Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°ΡΠ°Π»ΠΎΠ³Π°. ΠΡΠ»ΠΈ ΡΠ°ΠΉΡ Π½Π΅Π΄ΠΎΡΡΡΠΏΠ΅Π½ Π² ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΡ Π΄Π½Π΅ΠΉ, ΠΎΠ½ ΡΠ½ΠΈΠΌΠ°Π΅ΡΡΡ Ρ ΠΏΡΠ±Π»ΠΈΠΊΠ°ΡΠΈΠΈ. ΠΠ°ΠΊ ΡΠΎΠ»ΡΠΊΠΎ ΡΠ°ΠΉΡ Π½Π°ΡΠΈΠ½Π°Π΅Ρ ΠΎΡΠ²Π΅ΡΠ°ΡΡ, ΠΎΠ½ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈ ΠΏΠΎΡΠ²Π»ΡΠ΅ΡΡΡ Π² ΠΠ°ΡΠ°Π»ΠΎΠ³Π΅.
- Yandex/2.01.000 (compatible; Win16; Dyatel; Z) β Β«ΠΏΡΠΎΡΡΡΠΊΠΈΠ²Π°Π»ΠΊΠ°Β» Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°ΠΊΠ»Π°Π΄ΠΎΠΊ. Π‘ΡΡΠ»ΠΊΠΈ Π½Π° Π½Π΅Π΄ΠΎΡΡΡΠΏΠ½ΡΠ΅ ΡΠ°ΠΉΡΡ ΠΏΠΎΠΌΠ΅ΡΠ°ΡΡΡΡ ΡΠ΅ΡΡΠΌ ΡΠ²Π΅ΡΠΎΠΌ.
- Yandex/2.01.000 (compatible; Win16; Dyatel; D) β Β«ΠΏΡΠΎΡΡΡΠΊΠΈΠ²Π°Π»ΠΊΠ°Β» Π―Π½Π΄Π΅ΠΊΡ.ΠΠΈΡΠ΅ΠΊΡΠ°. ΠΠ½Π° ΠΏΡΠΎΠ²Π΅ΡΡΠ΅Ρ ΠΊΠΎΡΡΠ΅ΠΊΡΠ½ΠΎΡΡΡ ΡΡΡΠ»ΠΎΠΊ ΠΈΠ· ΠΎΠ±ΡΡΠ²Π»Π΅Π½ΠΈΠΉ ΠΏΠ΅ΡΠ΅Π΄ ΠΌΠΎΠ΄Π΅ΡΠ°ΡΠΈΠ΅ΠΉ. ΠΠΈΠΊΠ°ΠΊΠΈΡ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈΡ Π΄Π΅ΠΉΡΡΠ²ΠΈΠΉ Π½Π΅ ΠΏΡΠ΅Π΄ΠΏΡΠΈΠ½ΠΈΠΌΠ°Π΅ΡΡΡ.
- Yandex/2.01.000 (compatible; Win16; Dyatel; N) β Β«ΠΏΡΠΎΡΡΡΠΊΠΈΠ²Π°Π»ΠΊΠ°Β» Π―Π½Π΄Π΅ΠΊΡ.ΠΠΎΠ²ΠΎΡΡΠ΅ΠΉ. ΠΠ½Π° ΡΠΎΡΠΌΠΈΡΡΠ΅Ρ ΠΎΡΡΠ΅Ρ Π΄Π»Ρ ΠΊΠΎΠ½ΡΠ΅Π½Ρ-ΠΌΠ΅Π½Π΅Π΄ΠΆΠ΅ΡΠ°, ΠΊΠΎΡΠΎΡΡΠΉ ΠΎΡΠ΅Π½ΠΈΠ²Π°Π΅Ρ ΠΌΠ°ΡΡΡΠ°Π± ΠΏΡΠΎΠ±Π»Π΅ΠΌ ΠΈ, ΠΏΡΠΈ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎΡΡΠΈ, ΡΠ²ΡΠ·ΡΠ²Π°Π΅ΡΡΡ Ρ ΠΏΠ°ΡΡΠ½Π΅ΡΠΎΠΌ.
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Host
User-agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru
Π»ΠΈΠ±ΠΎ
User-agent: Yandex
Disallow: /cgi-bin
Host: site.ru
Π² Π·Π°Π²ΠΈΡΠΈΠΌΠΎΡΡΠΈ ΠΎΡ ΡΠΎΠ³ΠΎ ΡΡΠΎ Π΄Π»Ρ Π²Π°Ρ ΠΎΠΏΡΠΈΠΌΠ°Π»ΡΠ½Π΅Π΅.
ΠΠΎΡ ΡΠΈΡΠ°ΡΠ° ΠΈΠ· Π§Π°ΠΠΎ Π―Π½Π΄Π΅ΠΊΡΠ°:
ΠΠΎΠΉ ΡΠ°ΠΉΡ ΠΏΠΎΠΊΠ°Π·ΡΠ²Π°Π΅ΡΡΡ Π² ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠ°Ρ ΠΏΠΎΠΈΡΠΊΠ° Π½Π΅ ΠΏΠΎΠ΄ ΡΠ΅ΠΌ ΠΈΠΌΠ΅Π½Π΅ΠΌ. ΠΠ°ΠΊ ΡΡΠΎ ΠΈΡΠΏΡΠ°Π²ΠΈΡΡ?
Π‘ΠΊΠΎΡΠ΅Π΅ Π²ΡΠ΅Π³ΠΎ, Π²Π°Ρ ΡΠ°ΠΉΡ ΠΈΠΌΠ΅Π΅Ρ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ Π·Π΅ΡΠΊΠ°Π», ΠΈ ΡΠΎΠ±ΠΎΡ Π²ΡΠ±ΡΠ°Π» ΠΊΠ°ΠΊ ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠ΅ Π½Π΅ ΡΠΎ Π·Π΅ΡΠΊΠ°Π»ΠΎ, ΠΊΠΎΡΠΎΡΠΎΠ΅ Ρ ΠΎΡΠ΅ΡΡΡ Π²Π°ΠΌ. ΠΡΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΡΠ΅ΡΠ΅Π½ΠΈΠΉ:
- ΡΠ΄Π°Π»ΠΈΡΠ΅ Π·Π΅ΡΠΊΠ°Π»Π° Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ°;
- Π½Π° Π²ΡΠ΅Ρ Π·Π΅ΡΠΊΠ°Π»Π°Ρ , ΠΊΡΠΎΠΌΠ΅ ΡΠΎΠ³ΠΎ, ΠΊΠΎΡΠΎΡΠΎΠ΅ Π²Ρ Ρ ΠΎΡΠΈΡΠ΅ Π²ΡΠ±ΡΠ°ΡΡ ΠΎΡΠ½ΠΎΠ²Π½ΡΠΌ, ΡΠ°Π·ΠΌΠ΅ΡΡΠΈΡΠ΅ ΡΠ°ΠΉΠ» robots.txt, ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ Π·Π°ΠΏΡΠ΅ΡΠ°ΡΡΠΈΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΠ°ΠΉΡΠ°, Π»ΠΈΠ±ΠΎ Π²ΡΠ»ΠΎΠΆΠΈΡΠ΅ Π½Π° Π·Π΅ΡΠΊΠ°Π»Π°Ρ robots.txt Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²ΠΎΠΉ Host;
- ΡΠ°Π·ΠΌΠ΅ΡΡΠΈΡΠ΅ Π½Π° Π³Π»Π°Π²Π½ΡΡ ΡΡΡΠ°Π½ΠΈΡΠ°Ρ Π½Π΅ΠΎΡΠ½ΠΎΠ²Π½ΡΡ Π·Π΅ΡΠΊΠ°Π» ΡΠ΅Π³ <meta name=Β»robotsΒ» content=Β»noindex, nofollowΒ»>, Π·Π°ΠΏΡΠ΅ΡΠ°ΡΡΠΈΠΉ ΠΈΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΠΈ ΠΎΠ±Ρ ΠΎΠ΄ ΠΏΠΎ ΡΡΡΠ»ΠΊΠ°ΠΌ;
- ΠΈΠ·ΠΌΠ΅Π½ΠΈΡΠ΅ ΠΊΠΎΠ΄ Π³Π»Π°Π²Π½ΡΡ ΡΡΡΠ°Π½ΠΈΡ Π½Π° Π½Π΅ΠΎΡΠ½ΠΎΠ²Π½ΡΡ Π·Π΅ΡΠΊΠ°Π»Π°Ρ ΡΠ°ΠΊ, ΡΡΠΎΠ±Ρ Π²ΡΠ΅ (ΠΈΠ»ΠΈ ΠΏΠΎΡΡΠΈ Π²ΡΠ΅) ΡΡΡΠ»ΠΊΠΈ Ρ Π½ΠΈΡ Π²Π³Π»ΡΠ±Ρ ΡΠ°ΠΉΡΠ° Π±ΡΠ»ΠΈ Π°Π±ΡΠΎΠ»ΡΡΠ½ΡΠΌΠΈ ΠΈ Π²Π΅Π»ΠΈ Π½Π° ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠ΅ Π·Π΅ΡΠΊΠ°Π»ΠΎ.
Π ΡΠ»ΡΡΠ°Π΅ ΡΠ΅Π°Π»ΠΈΠ·Π°ΡΠΈΠΈ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΠΈΠ· Π²ΡΡΠ΅ΠΏΠ΅ΡΠ΅ΡΠΈΡΠ»Π΅Π½Π½ΡΡ ΡΠΎΠ²Π΅ΡΠΎΠ² Π²Π°ΡΠ΅ ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠ΅ Π·Π΅ΡΠΊΠ°Π»ΠΎ Π±ΡΠ΄Π΅Ρ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΎ ΠΏΠΎ ΠΌΠ΅ΡΠ΅ ΠΎΠ±Ρ ΠΎΠ΄Π° ΡΠΎΠ±ΠΎΡΠ°.
ΠΠ½ΡΠ΅ΡΠ΅ΡΠ½Π°Ρ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΎΠ± ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠ΅ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Host ΠΈΠ· ΠΎΡΠ²Π΅ΡΠΎΠ² Π. Π‘Π°Π΄ΠΎΠ²ΡΠΊΠΎΠ³ΠΎ Π½Π° Π²ΠΎΠΏΡΠΎΡΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΎΡΠΎΠ²:
ΠΠΎΠΏΡΠΎΡ: ΠΠΎΠ³Π΄Π° ΠΏΠ»Π°Π½ΠΈΡΡΠ΅ΡΡΡ ΡΠ²ΠΎΠ΅Π²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠ΅ ΡΠΎΠ±Π»ΡΠ΄Π΅Π½ΠΈΠ΅ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Host: Π² robots.txt? ΠΡΠ»ΠΈ ΡΠ°ΠΉΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅ΡΡΡ ΠΊΠ°ΠΊ www.site.ru, ΠΊΠΎΠ³Π΄Π° ΡΠΊΠ°Π·Π°Π½ΠΎ Host: site.ru ΡΠΆΠ΅ ΠΏΠΎΡΠ»Π΅ ΡΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ robots.txt Π±ΡΠ» ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ 1β2 Π½Π΅Π΄Π΅Π»ΠΈ, ΡΠΎ ΠΏΡΠΈ ΡΡΠΎΠΌ ΡΠ°ΠΉΡ Ρ www ΠΈ Π±Π΅Π· www Π½Π΅ ΡΠΊΠ»Π΅ΠΈΠ²Π°Π΅ΡΡΡ Π±ΠΎΠ»Π΅Π΅ 1β2 ΠΌΠ΅ΡΡΡΠ° ΠΈ Π² Π―Π½Π΄Π΅ΠΊΡΠ΅ ΡΡΡΠ΅ΡΡΠ²ΡΡΡ ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎ 2 ΠΊΠΎΠΏΠΈΠΈ ΡΠ°ΡΡΠΈΡΠ½ΠΎ ΠΏΠ΅ΡΠ΅ΡΠ΅ΠΊΠ°ΡΡΠΈΡ ΡΡ ΡΠ°ΠΉΡΠΎΠ² (ΠΎΠ΄ΠΈΠ½ 550 ΡΡΡΠ°Π½ΠΈΡ, Π΄ΡΡΠ³ΠΎΠΉ 150 ΡΡΡΠ°Π½ΠΈΡ, ΠΏΡΠΈ ΡΡΠΎΠΌ 50 ΡΡΡΠ°Π½ΠΈΡ ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²ΡΡ ). ΠΡΠΎΠΊΠΎΠΌΠΌΠ΅Π½ΡΠΈΡΡΠΉΡΠ΅, ΠΏΠΎΠΆΠ°Π»ΡΠΉΡΡΠ°, ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ Ρ ΡΠ°Π±ΠΎΡΠΎΠΉ Β«Π·Π΅ΡΠΊΠ°Π»ΡΡΠΈΠΊΠ°Β».
ΠΡΠ²Π΅Ρ: Π Π°ΡΡΠΈΡΠ΅Π½ΠΈΠ΅ ΡΡΠ°Π½Π΄Π°ΡΡΠ° robots.txt, Π²Π²Π΅Π΄Π΅Π½Π½ΠΎΠ΅ Π―Π½Π΄Π΅ΠΊΡΠΎΠΌ, Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Host β ΡΡΠΎ Π½Π΅ ΠΊΠΎΠΌΠ°Π½Π΄Π° ΡΡΠΈΡΠ°ΡΡ Π·Π΅ΡΠΊΠ°Π»Π°ΠΌΠΈ Π΄Π²Π° Π»ΡΠ±ΡΡ ΡΠ°ΠΉΡΠ°, ΡΡΠΎ ΡΠΊΠ°Π·Π°Π½ΠΈΠ΅, ΠΊΠ°ΠΊΠΎΠΉ ΡΠ°ΠΉΡ ΠΈΠ· Π³ΡΡΠΏΠΏΡ, ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΡΡ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈ ΠΊΠ°ΠΊ Π·Π΅ΡΠΊΠ°Π»Π°, ΡΡΠΈΡΠ°ΡΡ Π³Π»Π°Π²Π½ΡΠΌ. Π‘Π»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎ, ΠΊΠΎΠ³Π΄Π° ΡΠ°ΠΉΡΡ Π±ΡΠ΄ΡΡ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΡΠΈΡΠΎΠ²Π°Π½Ρ ΠΊΠ°ΠΊ Π·Π΅ΡΠΊΠ°Π»Π°, Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Host ΡΡΠ°Π±ΠΎΡΠ°Π΅Ρ.
HTML-ΡΠ΅Π³ <noindex>
Π ΠΎΠ±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°Π΅Ρ ΡΠ΅Π³ noindex, ΠΊΠΎΡΠΎΡΡΠΉ Π·Π°ΠΏΡΠ΅ΡΠ°Π΅Ρ ΡΠΎΠ±ΠΎΡΡ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ Π·Π°Π΄Π°Π½Π½ΡΠ΅ (ΡΠ»ΡΠΆΠ΅Π±Π½ΡΠ΅) ΡΡΠ°ΡΡΠΊΠΈ ΡΠ΅ΠΊΡΡΠ°. Π Π½Π°ΡΠ°Π»Π΅ ΡΠ»ΡΠΆΠ΅Π±Π½ΠΎΠ³ΠΎ ΡΡΠ°Π³ΠΌΠ΅Π½ΡΠ° ΡΡΠ°Π²ΠΈΡΡΡ <noindex>, Π° Π² ΠΊΠΎΠ½ΡΠ΅ β </noindex>, ΠΈ Π―Π½Π΄Π΅ΠΊΡ Π½Π΅ Π±ΡΠ΄Π΅Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ Π΄Π°Π½Π½ΡΠΉ ΡΡΠ°ΡΡΠΎΠΊ ΡΠ΅ΠΊΡΡΠ°.
Π’Π΅Π³ ΡΠ°Π±ΠΎΡΠ°Π΅Ρ Π°Π½Π°Π»ΠΎΠ³ΠΈΡΠ½ΠΎ ΠΌΠ΅ΡΠ°-ΡΠ΅Π³Ρ noindex, Π½ΠΎ ΡΠ°ΡΠΏΡΠΎΡΡΡΠ°Π½ΡΠ΅ΡΡΡ ΡΠΎΠ»ΡΠΊΠΎ Π½Π° ΠΊΠΎΠ½ΡΠ΅Π½Ρ, Π·Π°ΠΊΠ»ΡΡΠ΅Π½Π½ΡΠΉ Π²Π½ΡΡΡΠΈ ΡΠ΅Π³Π° Π² ΡΠΎΡΠΌΠ°ΡΠ΅:
<noindex>ΡΠ΅ΠΊΡΡ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΊΠΎΡΠΎΡΠΎΠ³ΠΎ Π½ΡΠΆΠ½ΠΎ Π·Π°ΠΏΡΠ΅ΡΠΈΡΡ</noindex>
Π’Π΅Π³ noindex Π½Π΅ ΡΡΠ²ΡΡΠ²ΠΈΡΠ΅Π»Π΅Π½ ΠΊ Π²Π»ΠΎΠΆΠ΅Π½Π½ΠΎΡΡΠΈ (ΠΌΠΎΠΆΠ΅Ρ Π½Π°Ρ ΠΎΠ΄ΠΈΡΡΡΡ Π² Π»ΡΠ±ΠΎΠΌ ΠΌΠ΅ΡΡΠ΅ html-ΠΊΠΎΠ΄Π° ΡΡΡΠ°Π½ΠΈΡΡ). ΠΡΠΈ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎΡΡΠΈ ΡΠ΄Π΅Π»Π°ΡΡ ΠΊΠΎΠ΄ ΡΠ°ΠΉΡΠ° Π²Π°Π»ΠΈΠ΄Π½ΡΠΌ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ΅Π³Π° Π² ΡΠ»Π΅Π΄ΡΡΡΠ΅ΠΌ ΡΠΎΡΠΌΠ°ΡΠ΅:
<!ββnoindexββ>ΡΠ΅ΠΊΡΡ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΊΠΎΡΠΎΡΠΎΠ³ΠΎ Π½ΡΠΆΠ½ΠΎ Π·Π°ΠΏΡΠ΅ΡΠΈΡΡ<!ββ/noindexββ>
Π‘ΡΡΠ»ΠΊΠΈ ΠΏΠΎ ΡΠ΅ΠΌΠ΅
ΠΠΏΠΈΡΠ°Π½ΠΈΠ΅ ΡΠΎΠ±ΠΎΡΠ° Π―Π½Π΄Π΅ΠΊΡΠ° Π½Π° ΡΠ°ΠΉΡΠ΅ Π―Π½Π΄Π΅ΠΊΡΠ°
ΠΡΠ΅Π½Ρ ΠΈΠ½ΡΠ΅ΡΠ΅ΡΠ½Π°Ρ Π·Π°ΠΏΠΈΡΡ ΠΎ ΡΠΎΠ±ΠΎΡΠ°Ρ
Π½Π° (Π½Π΅)?ΠΡΡΠ΅Π²ΡΡ
Π·Π°ΠΌΠ΅ΡΠΊΠ°Ρ
Π―Π½Π΄Π΅ΠΊΡ ΠΈ robots.txt β Π½ΡΡΠ°Π½ΡΡ
Π―Π½Π΄Π΅ΠΊΡ Π½Π°ΠΊΠΎΡΡΡΠΈΠ» Ρ ΡΠΎΠ±Π»ΡΠ΄Π΅Π½ΠΈΠ΅ΠΌ ΡΡΠ°Π½Π΄Π°ΡΡΠ° ΡΠ°ΠΉΠ»Π° robots.txt
Π€ΠΎΡΠΌΠ° Π΄Π»Ρ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΡ URL ΡΠ°ΠΉΡΠ° Π² ΠΈΠ½Π΄Π΅ΠΊΡ
Robots.txt Π³Π»Π°Π·Π°ΠΌΠΈ Π―Π½Π΄Π΅ΠΊΡΠ° (ΠΠ½Π°Π»ΠΈΠ· robots.txt)
robotstxt.org.ru
ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΎΠ±ΠΎΡΡ Google ΠΈ Π―Π½Π΄Π΅ΠΊΡΠ°
ΠΡΠΎΡΠΌΠ°ΡΡΠΈΠ²Π°Ρ Π»ΠΎΠ³ΠΈ ΡΠ΅ΡΠ²Π΅ΡΠ°, ΠΈΠ½ΠΎΠ³Π΄Π° ΠΌΠΎΠΆΠ½ΠΎ Π½Π°Π±Π»ΡΠ΄Π°ΡΡ ΡΡΠ΅Π·ΠΌΠ΅ΡΠ½ΡΠΉ ΠΈΠ½ΡΠ΅ΡΠ΅Ρ ΠΊ ΡΠ°ΠΉΡΠ°ΠΌ ΡΠΎ ΡΡΠΎΡΠΎΠ½Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ². ΠΡΠ»ΠΈ Π±ΠΎΡΡ ΠΏΠΎΠ»Π΅Π·Π½ΡΠ΅ (Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠ΅ Π±ΠΎΡΡ ΠΠ‘) β ΠΎΡΡΠ°Π΅ΡΡΡ Π»ΠΈΡΡ Π½Π°Π±Π»ΡΠ΄Π°ΡΡ, Π΄Π°ΠΆΠ΅ Π΅ΡΠ»ΠΈ ΡΠ²Π΅Π»ΠΈΡΠΈΠ²Π°Π΅ΡΡΡ Π½Π°Π³ΡΡΠ·ΠΊΠ° Π½Π° ΡΠ΅ΡΠ²Π΅Ρ. ΠΠΎ Π΅ΡΡΡ Π΅ΡΠ΅ ΠΌΠ°ΡΡΠ° Π²ΡΠΎΡΠΎΡΡΠ΅ΠΏΠ΅Π½Π½ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ², Π΄ΠΎΡΡΡΠΏ ΠΊΠΎΡΠΎΡΡΡ ΠΊ ΡΠ°ΠΉΡΡ Π½Π΅ ΠΎΠ±ΡΠ·Π°ΡΠ΅Π»Π΅Π½. ΠΠ»Ρ ΡΠ΅Π±Ρ ΠΈ Π΄Π»Ρ Π²Π°Ρ, Π΄ΠΎΡΠΎΠ³ΠΎΠΉ ΡΠΈΡΠ°ΡΠ΅Π»Ρ, Ρ ΡΠΎΠ±ΡΠ°Π» ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΈ ΠΏΠ΅ΡΠ΅Π΄Π΅Π»Π°Π» Π΅Π΅ Π²Β ΡΠ΄ΠΎΠ±Π½ΡΡ ΡΠ°Π±Π»ΠΈΡΠΊΡ.
ΠΡΠΎ ΡΠ°ΠΊΠΈΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΎΠ±ΠΎΡΡ
ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠΉ Π±ΠΎΡ, ΠΈΠ»ΠΈ ΠΊΠ°ΠΊ Π΅ΡΠ΅ ΠΈΡ
Π½Π°Π·ΡΠ²Π°ΡΡ, ΡΠΎΠ±ΠΎΡ, ΠΊΡΠ°ΡΠ»Π΅Ρ, ΠΏΠ°ΡΠΊ β Π½ΠΈ ΡΡΠΎ ΠΈΠ½ΠΎΠ΅, ΠΊΠ°ΠΊ
ΠΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΈΠΌΠ΅Π½ ΠΏΠ°ΡΠΊΠΎΠ² Π² robots.txt
ΠΠ°ΠΊ Π²ΠΈΠ΄ΠΈΠΌ, Π»ΡΠ±ΠΎΠΉ ΡΠ΅ΡΡΠ΅Π·Π½ΡΠΉ ΠΏΡΠΎΠ΅ΠΊΡ, ΡΠ²ΡΠ·Π°Π½Π½ΡΠΉ Ρ ΠΏΠΎΠΈΡΠΊΠΎΠΌ ΠΊΠΎΠ½ΡΠ΅Π½ΡΠ°, ΠΈΠΌΠ΅Π΅Ρ ΡΠ²ΠΎΠΈΡ ΠΏΠ°ΡΠΊΠΎΠ². Π ΠΈΠ½ΠΎΠ³Π΄Π° ΠΎΡΡΡΠΎ ΡΡΠΎΠΈΡ Π·Π°Π΄Π°ΡΠ° ΠΎΠ³ΡΠ°Π½ΠΈΡΠΈΡΡ Π΄ΠΎΡΡΡΠΏ Π½Π΅ΠΊΠΎΡΠΎΡΡΠΌ ΠΏΠ°ΡΠΊΠ°ΠΌ ΠΊ ΡΠ°ΠΉΡΡ ΠΈΠ»ΠΈ Π΅Π³ΠΎ ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΠΌ ΡΠ°Π·Π΄Π΅Π»Π°ΠΌ. ΠΡΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΡΠ΄Π΅Π»Π°ΡΡ ΡΠ΅ΡΠ΅Π· ΡΠ°ΠΉΠ» robots.txt Π² ΠΊΠΎΡΠ½Π΅Π²ΠΎΠΉ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ ΡΠ°ΠΉΡΠ°. ΠΠΎΠ΄ΡΠΎΠ±Π½Π΅Π΅ ΠΏΡΠΎ Π½Π°ΡΡΡΠΎΠΉΠΊΡ ΡΠΎΠ±ΠΎΡΡΠ° Ρ ΠΏΠΈΡΠ°Π» ΡΠ°Π½Π΅Π΅, ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΡ ΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΡΡΡΡ.
ΠΠ±ΡΠ°ΡΠΈΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ β ΡΠ°ΠΉΠ» robots.txt ΠΈ Π΅Π³ΠΎ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ ΠΌΠΎΠ³ΡΡ Π±ΡΡΡ ΠΏΡΠΎΠΈΠ³Π½ΠΎΡΠΈΡΠΎΠ²Π°Π½Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌΠΈ ΡΠΎΠ±ΠΎΡΠ°ΠΌΠΈ. ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ ΡΠ²Π»ΡΡΡΡΡ Π»ΠΈΡΡ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠΈΡΠΌΠΈ Π΄Π»Ρ Π±ΠΎΡΠΎΠ².
ΠΠ°Π΄Π°ΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠ³ΠΎ ΡΠΎΠ±ΠΎΡΠ° ΠΌΠΎΠΆΠ½ΠΎ, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡ ΡΠ΅ΠΊΡΠΈΡ β ΠΎΠ±ΡΠ°ΡΠ΅Π½ΠΈΠ΅ ΠΊ ΡΠ·Π΅Ρ-Π°Π³Π΅Π½ΡΡ ΡΡΠΎΠ³ΠΎ ΡΠΎΠ±ΠΎΡΠ°. Π‘Π΅ΠΊΡΠΈΠΈ Π΄Π»Ρ ΡΠ°Π·Π½ΡΡ ΠΏΠ°ΡΠΊΠΎΠ² ΡΠ°Π·Π΄Π΅Π»ΡΡΡΡΡ ΠΎΠ΄Π½ΠΎΠΉ ΠΏΡΡΡΠΎΠΉ ΡΡΡΠΎΠΊΠΎΠΉ.
User-agent: Googlebot Allow: /
User-agent: Googlebot Allow: / |
ΠΡΡΠ΅ ΠΏΡΠΈΠ²Π΅Π΄Π΅Π½ ΠΏΡΠΈΠΌΠ΅Ρ ΠΎΠ±ΡΠ°ΡΠ΅Π½ΠΈΡ ΠΊ ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΌΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΌΡ ΡΠΎΠ±ΠΎΡΡ Google.Β
ΠΠ·Π½Π°ΡΠ°Π»ΡΠ½ΠΎ Ρ ΠΏΠ»Π°Π½ΠΈΡΠΎΠ²Π°Π» Π΄ΠΎΠ±Π°Π²ΠΈΡΡ Π² ΡΠ°Π±Π»ΠΈΡΡ Π·Π°ΠΏΠΈΡΠΈ ΠΎ ΡΠΎΠΌ, ΠΊΠ°ΠΊ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΡΠΈΡΡΡΡ ΡΠ΅Π±Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ Π±ΠΎΡΡ Π² Π»ΠΎΠ³Π°Ρ ΡΠ΅ΡΠ²Π΅ΡΠ°. ΠΠΎ ΡΠ°ΠΊ ΠΊΠ°ΠΊ Π΄Π»Ρ SEO ΡΡΠΈ Π΄Π°Π½Π½ΡΠ΅ ΠΈΠΌΠ΅ΡΡ ΠΌΠ°Π»ΠΎ Π·Π½Π°ΡΠ΅Π½ΠΈΡ ΠΈ Π΄Π»Ρ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΡΠΎΠΊΠ΅Π½Π° Π°Π³Π΅Π½ΡΠ° ΠΌΠΎΠΆΠ΅Ρ Π±ΡΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ Π²ΠΈΠ΄ΠΎΠ² Π·Π°ΠΏΠΈΡΠ΅ΠΉ, Π±ΡΠ»ΠΎ ΡΠ΅ΡΠ΅Π½ΠΎ ΠΎΠ±ΠΎΠΉΡΠΈΡΡ ΡΠΎΠ»ΡΠΊΠΎ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ΠΌ Π±ΠΎΡΠΎΠ² ΠΈ ΠΈΡ ΠΏΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ΠΌ.
ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΎΠ±ΠΎΡΡ Google
User-agent | Π€ΡΠ½ΠΊΡΠΈΠΈ |
---|---|
Googlebot | ΠΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΊΡΠ°ΡΠ»Π΅Ρ-ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΎΡ ΡΡΡΠ°Π½ΠΈΡ Π΄Π»Ρ ΠΠ ΠΈ ΠΎΠΏΡΠΈΠΌΠΈΠ·ΠΈΡΠΎΠ²Π°Π½Π½ΡΡ Π΄Π»Ρ ΡΠΌΠ°ΡΡΡΠΎΠ½ΠΎΠ² |
Mediapartners-Google | Π ΠΎΠ±ΠΎΡ ΡΠ΅ΠΊΠ»Π°ΠΌΠ½ΠΎΠΉ ΡΠ΅ΡΠΈ AdSense |
APIs-Google | ΠΠ³Π΅Π½Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ APIs-Google |
AdsBot-Google | ΠΡΠΎΠ²Π΅ΡΡΠ΅Ρ ΠΊΠ°ΡΠ΅ΡΡΠ²ΠΎ ΡΠ΅ΠΊΠ»Π°ΠΌΡ Π½Π° Π²Π΅Π±-ΡΡΡΠ°Π½ΠΈΡΠ°Ρ , ΠΏΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½Π½ΡΡ Π΄Π»Ρ ΠΠ |
AdsBot-Google-Mobile | ΠΡΠΎΠ²Π΅ΡΡΠ΅Ρ ΠΊΠ°ΡΠ΅ΡΡΠ²ΠΎ ΡΠ΅ΠΊΠ»Π°ΠΌΡ Π½Π° Π²Π΅Π±-ΡΡΡΠ°Π½ΠΈΡΠ°Ρ , ΠΏΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½Π½ΡΡ Π΄Π»Ρ ΠΌΠΎΠ±ΠΈΠ»ΡΠ½ΡΡ ΡΡΡΡΠΎΠΉΡΡΠ² |
Googlebot-Image (Googlebot) | ΠΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ Π½Π° ΡΡΡΠ°Π½ΠΈΡΠ°Ρ ΡΠ°ΠΉΡΠ° |
Googlebot-News (Googlebot) | ΠΡΠ΅Ρ ΡΡΡΠ°Π½ΠΈΡΡ Π΄Π»Ρ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΡ Π² Google ΠΠΎΠ²ΠΎΡΡΠΈ |
Googlebot-Video (Googlebot) | ΠΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ Π²ΠΈΠ΄Π΅ΠΎΠΌΠ°ΡΠ΅ΡΠΈΠ°Π»Ρ |
AdsBot-Google-Mobile-Apps | ΠΡΠΎΠ²Π΅ΡΡΠ΅Ρ ΠΊΠ°ΡΠ΅ΡΡΠ²ΠΎ ΡΠ΅ΠΊΠ»Π°ΠΌΡ Π² ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΡΡ Π΄Π»Ρ ΡΡΡΡΠΎΠΉΡΡΠ² Android, ΡΠ°Π±ΠΎΡΠ°Π΅Ρ ΠΏΠΎ ΡΠ΅ΠΌ ΠΆΠ΅ ΠΏΡΠΈΠ½ΡΠΈΠΏΠ°ΠΌ, ΡΡΠΎ ΠΈ ΠΎΠ±ΡΡΠ½ΡΠΉΒ AdsBot |
ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΎΠ±ΠΎΡΡ Π―Π½Π΄Π΅ΠΊΡ
User-agent | Π€ΡΠ½ΠΊΡΠΈΠΈ |
---|---|
Yandex | |
YandexBot | ΠΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΠΎΠ±ΠΎΡ |
YandexDirect | Π‘ΠΊΠ°ΡΠΈΠ²Π°Π΅Ρ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΎ ΠΊΠΎΠ½ΡΠ΅Π½ΡΠ΅ ΡΠ°ΠΉΡΠΎΠ²-ΠΏΠ°ΡΡΠ½Π΅ΡΠΎΠ² Π Π‘Π― |
YandexImages | ΠΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ ΡΠ°ΠΉΡΠΎΠ² |
YandexMetrika | Π ΠΎΠ±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡ.ΠΠ΅ΡΡΠΈΠΊΠΈ |
YandexMobileBot | Π‘ΠΊΠ°ΡΠΈΠ²Π°Π΅Ρ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ Π΄Π»Ρ Π°Π½Π°Π»ΠΈΠ·Π° Π½Π° Π½Π°Π»ΠΈΡΠΈΠ΅ Π²Π΅ΡΡΡΠΊΠΈ ΠΏΠΎΠ΄ ΠΌΠΎΠ±ΠΈΠ»ΡΠ½ΡΠ΅ ΡΡΡΡΠΎΠΉΡΡΠ²Π° |
YandexMedia | Π ΠΎΠ±ΠΎΡ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΠΌΡΠ»ΡΡΠΈΠΌΠ΅Π΄ΠΈΠΉΠ½ΡΠ΅ Π΄Π°Π½Π½ΡΠ΅ |
YandexNews | ΠΠ½Π΄Π΅ΠΊΡΠ°ΡΠΎΡ Π―Π½Π΄Π΅ΠΊΡ.ΠΠΎΠ²ΠΎΡΡΠ΅ΠΉ |
YandexPagechecker | ΠΠ°Π»ΠΈΠ΄Π°ΡΠΎΡ ΠΌΠΈΠΊΡΠΎΡΠ°Π·ΠΌΠ΅ΡΠΊΠΈ |
YandexMarket | Π ΠΎΠ±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°ΡΠΊΠ΅ΡΠ°; |
YandexCalenda | Π ΠΎΠ±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°Π»Π΅Π½Π΄Π°ΡΡ |
YandexDirectDyn | ΠΠ΅Π½Π΅ΡΠΈΡΡΠ΅Ρ Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈΠ΅ Π±Π°Π½Π½Π΅ΡΡ (ΠΠΈΡΠ΅ΠΊΡ) |
YaDirectFetcher | Π‘ΠΊΠ°ΡΠΈΠ²Π°Π΅Ρ ΡΡΡΠ°Π½ΠΈΡΡ Ρ ΡΠ΅ΠΊΠ»Π°ΠΌΠ½ΡΠΌΠΈ ΠΎΠ±ΡΡΠ²Π»Π΅Π½ΠΈΡΠΌΠΈ Π΄Π»Ρ ΠΏΡΠΎΠ²Π΅ΡΠΊΠΈ ΠΈΡ Π΄ΠΎΡΡΡΠΏΠ½ΠΎΡΡΠΈ ΠΈ ΡΡΠΎΡΠ½Π΅Π½ΠΈΡ ΡΠ΅ΠΌΠ°ΡΠΈΠΊΠΈ (Π Π‘Π―) |
YandexAccessibilityBot | CΠΊΠ°ΡΠΈΠ²Π°Π΅Ρ ΡΡΡΠ°Π½ΠΈΡΡ Π΄Π»Ρ ΠΏΡΠΎΠ²Π΅ΡΠΊΠΈ ΠΈΡ Π΄ΠΎΡΡΡΠΏΠ½ΠΎΡΡΠΈ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΡΠΌ |
YandexScreenshotBot | ΠΠ΅Π»Π°Π΅Ρ ΡΠ½ΠΈΠΌΠΎΠΊ (ΡΠΊΡΠΈΠ½ΡΠΎΡ) ΡΡΡΠ°Π½ΠΈΡΡ |
YandexVideoParser | ΠΠ°ΡΠΊ ΡΠ΅ΡΠ²ΠΈΡΠ° Π―Π½Π΄Π΅ΠΊΡ.ΠΠΈΠ΄Π΅ΠΎ |
YandexSearchShop | Π‘ΠΊΠ°ΡΠΈΠ²Π°Π΅Ρ YML-ΡΠ°ΠΉΠ»Ρ ΠΊΠ°ΡΠ°Π»ΠΎΠ³ΠΎΠ² ΡΠΎΠ²Π°ΡΠΎΠ² |
YandexOntoDBAPI | Π ΠΎΠ±ΠΎΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ½ΠΎΠ³ΠΎ ΠΎΡΠ²Π΅ΡΠ°, ΡΠΊΠ°ΡΠΈΠ²Π°ΡΡΠΈΠΉ Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈΠ΅ Π΄Π°Π½Π½ΡΠ΅ |
Β ΠΡΡΠ³ΠΈΠ΅ ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ Π±ΠΎΡΡ
User-agent | Π€ΡΠ½ΠΊΡΠΈΠΈ |
---|---|
Baiduspider | Π‘ΠΏΠ°ΠΉΠ΄Π΅Ρ ΠΊΠΈΡΠ°ΠΉΡΠΊΠΎΠ³ΠΎ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠ°Β Baidu |
Cliqzbot | Π ΠΎΠ±ΠΎΡ Π°Π½ΠΎΠ½ΠΈΠΌΠ½ΠΎΠΉ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ Cliqz |
AhrefsBot | ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠΉ Π±ΠΎΡ ΡΠ΅ΡΠ²ΠΈΡΠ°Β Ahrefs (ΡΡΡΠ»ΠΎΡΠ½ΡΠΉ Π°Π½Π°Π»ΠΈΠ·) |
Genieo | Π ΠΎΠ±ΠΎΡ ΡΠ΅ΡΠ²ΠΈΡΠ°Β Genieo |
Bingbot | ΠΡΠ°ΡΠ»Π΅Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡΒ Bing |
Slurp | ΠΡΠ°ΡΠ»Π΅Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ Yahoo |
DuckDuckBot | ΠΠ΅Π±-ΠΊΡΠ°ΡΠ»Π΅Ρ ΠΠ‘ DuckDuckGo |
facebot | Π ΠΎΠ±ΠΎΡ Facebook Π΄Π»Ρ Π²Π΅Π±-ΠΊΡΠ°ΡΠ»ΠΈΠ½Π³Π° |
WebAlta (WebAlta Crawler/2.0) | ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠΉΒ ΠΊΡΠ°ΡΠ»Π΅Ρ ΠΠ‘ WebAltaΒ |
BomboraBot | Π‘ΠΊΠ°Π½ΠΈΡΡΠ΅Ρ ΡΡΡΠ°Π½ΠΈΡΡ, Π·Π°Π΄Π΅ΠΉΡΡΠ²ΠΎΠ²Π°Π½Π½ΡΠ΅ Π² ΠΏΡΠΎΠ΅ΠΊΡΠ΅ Bombora |
CCBot | ΠΡΠ°ΡΠ»Π΅Ρ Π½Π° ΠΎΡΠ½ΠΎΠ²Π΅Β Nutch,Β ΠΊΠΎΡΠΎΡΡΠΉ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ ΠΏΡΠΎΠ΅ΠΊΡ Apache Hadoop |
MSNBot | ΠΠΎΡ ΠΠ‘Β MSNΒ |
Mail.Ru | ΠΡΠ°ΡΠ»Π΅Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡΒ Mail.Ru |
ia_archiver | Π‘ΠΊΡΠ°ΠΏΠΏΠΈΡ Π΄Π°Π½Π½ΡΠ΅ Π΄Π»Ρ ΡΠ΅ΡΠ²ΠΈΡΠ° Alexa |
Teoma | ΠΠΎΡ ΡΠ΅ΡΠ²ΠΈΡΠ°Β Ask |
ΠΠΎΠΈΡΠΊΠΎΠ²ΡΡ Π±ΠΎΡΠΎΠ² ΠΎΡΠ΅Π½Ρ ΠΌΠ½ΠΎΠ³ΠΎ, Ρ ΠΎΡΠΎΠ±ΡΠ°Π» ΡΠΎΠ»ΡΠΊΠΎ ΡΠ°ΠΌΡΡ ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΡΡ ΠΈ ΠΈΠ·Π²Π΅ΡΡΠ½ΡΡ . ΠΡΠ»ΠΈ Π΅ΡΡΡ Π±ΠΎΡΡ, Ρ ΠΊΠΎΡΠΎΡΡΠΌΠΈ Π²Ρ ΡΡΠ°Π»ΠΊΠΈΠ²Π°Π»ΠΈΡΡ ΠΏΠΎ ΠΏΡΠΈΡΠΈΠ½Π΅ Π°Π³ΡΠ΅ΡΡΠΈΠ²Π½ΠΎΠ³ΠΎ ΠΈ Π½Π°ΡΡΠΎΠΉΡΠΈΠ²ΠΎΠ³ΠΎ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΠ°ΠΉΡΠΎΠ², ΠΏΡΠΎΡΡ Π² ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΡΡ ΡΠΊΠ°Π·Π°ΡΡ ΡΡΠΎ, Ρ Π΄ΠΎΠ±Π°Π²Π»Ρ ΠΈΡ ΡΠ°ΠΊΠΆΠ΅ Π² ΡΠ°Π±Π»ΠΈΡΡ.
sky-fi.info
Π§ΡΠΎ ΡΠ°ΠΊΠΎΠ΅ ΡΠΎΠ±ΠΎΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠΈ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΈ Google
Π ΠΎΠ±ΠΎΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠΈ Google
ΠΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΌΠ΅Ρ Π°Π½ΠΈΠ·ΠΌ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΠΊΠΎΠ½ΡΠ΅Π½ΡΠ° WWW Ρ Google Π½ΠΎΡΠΈΡ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ Googlebot. ΠΠ³ΠΎ ΠΌΠ΅Ρ Π°Π½ΠΈΠ·ΠΌ Π½Π°ΡΡΡΠΎΠ΅Π½ ΡΠ°ΠΊ, ΡΡΠΎΠ±Ρ Π΅ΠΆΠ΅Π΄Π½Π΅Π²Π½ΠΎ ΠΈΠ·ΡΡΠ°ΡΡ ΠΌΠΈΠ»Π»ΠΈΠ°ΡΠ΄Ρ ΡΡΡΠ°Π½ΠΈΡ Ρ ΡΠ΅Π»ΡΡ ΠΏΠΎΠΈΡΠΊΠ° Π½ΠΎΠ²ΡΡ ΠΈΠ»ΠΈ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½Π½ΡΡ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ². ΠΡΠΈ ΡΡΠΎΠΌ Π±ΠΎΡ ΡΠ°ΠΌ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅Ρ, ΠΊΠ°ΠΊΠΈΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°ΡΡ, Π° ΠΊΠ°ΠΊΠΈΠ΅ β ΠΈΠ³Π½ΠΎΡΠΈΡΠΎΠ²Π°ΡΡ.
ΠΠ»Ρ ΡΡΠΎΠ³ΠΎ ΠΊΡΠ°ΡΠ»Π΅ΡΠ° Π²Π°ΠΆΠ½ΠΎΠ΅ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ ΠΈΠΌΠ΅Π΅Ρ Π½Π°Π»ΠΈΡΠΈΠ΅ Π½Π° ΡΠ°ΠΉΡΠ΅ ΡΠ°ΠΉΠ»Π° Sitemap, ΠΏΡΠ΅Π΄ΠΎΡΡΠ°Π²Π»ΡΠ΅ΠΌΠΎΠ³ΠΎ Π²Π»Π°Π΄Π΅Π»ΡΡΠ΅ΠΌ ΡΠ΅ΡΡΡΡΠ°. Π‘Π΅ΡΡ ΠΊΠΎΠΌΠΏΡΡΡΠ΅ΡΠΎΠ², ΠΎΠ±Π΅ΡΠΏΠ΅ΡΠΈΠ²Π°ΡΡΠ°Ρ Π΅Π³ΠΎ ΡΡΠ½ΠΊΡΠΈΠΎΠ½ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ Π½Π°ΡΡΠΎΠ»ΡΠΊΠΎ ΠΌΠΎΡΠ½Π°, ΡΡΠΎ Π±ΠΎΡ ΠΌΠΎΠΆΠ΅Ρ Π΄Π΅Π»Π°ΡΡ Π·Π°ΠΏΡΠΎΡΡ ΠΊ ΡΡΡΠ°Π½ΠΈΡΠ°ΠΌ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ° ΡΠ°Π· Π² ΠΏΠ°ΡΡ ΡΠ΅ΠΊΡΠ½Π΄. Π Π½Π°ΡΡΡΠΎΠ΅Π½ Π±ΠΎΡ ΡΠ°ΠΊ, ΡΡΠΎΠ±Ρ Π·Π° ΠΎΠ΄ΠΈΠ½ Π·Π°Ρ ΠΎΠ΄ ΠΏΡΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡΠΎΠ²Π°ΡΡ Π±ΠΎΠ»ΡΡΠ΅Π΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΡΡΠ°Π½ΠΈΡ, ΡΡΠΎΠ±Ρ Π½Π΅ Π²ΡΠ·ΡΠ²Π°ΡΡ Π½Π°Π³ΡΡΠ·ΠΊΡ Π½Π° ΡΠ΅ΡΠ²Π΅Ρ. ΠΡΠ»ΠΈ ΡΠ°Π±ΠΎΡΠ° ΡΠ°ΠΉΡΠ° Π·Π°ΠΌΠ΅Π΄Π»ΡΠ΅ΡΡΡ ΠΎΡ ΡΠ°ΡΡΡΡ Π·Π°ΠΏΡΠΎΡΠΎΠ² ΠΏΠ°ΡΠΊΠ°, ΡΠΊΠΎΡΠΎΡΡΡ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΠ·ΠΌΠ΅Π½ΠΈΡΡ, Π½Π°ΡΡΡΠΎΠΈΠ² Π² Search Console. ΠΡΠΈ ΡΡΠΎΠΌ ΠΏΠΎΠ²ΡΡΠΈΡΡ ΡΠΊΠΎΡΠΎΡΡΡ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ, ΠΊ ΡΠΎΠΆΠ°Π»Π΅Π½ΠΈΡ, Π½Π΅Π»ΡΠ·Ρ.
ΠΠΎΡΠ° Google ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΠΏΡΠΎΡΠΈΡΡ ΠΏΠΎΠ²ΡΠΎΡΠ½ΠΎ ΠΏΡΠΎΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°ΡΡ ΡΠ°ΠΉΡ. ΠΠ»Ρ ΡΡΠΎΠ³ΠΎ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΠΎΡΠΊΡΡΡΡ Search Console ΠΈ Π½Π°ΠΉΡΠΈ ΡΡΠ½ΠΊΡΠΈΡ ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΈΠ½Π΄Π΅ΠΊΡ, ΠΊΠΎΡΠΎΡΠ°Ρ Π΄ΠΎΡΡΡΠΏΠ½Π° ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΡΠΌ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠ° ΠΡΠΎΡΠΌΠΎΡΡΠ΅ΡΡ ΠΊΠ°ΠΊ Googlebot. ΠΠΎΡΠ»Π΅ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΠΏΠΎΡΠ²ΠΈΡΡΡ ΠΊΠ½ΠΎΠΏΠΊΠ° ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΈΠ½Π΄Π΅ΠΊΡ. ΠΡΠΈ ΡΡΠΎΠΌ Google Π½Π΅ Π³Π°ΡΠ°Π½ΡΠΈΡΡΠ΅Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ Π²ΡΠ΅Ρ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠΉ, ΠΏΠΎΡΠΊΠΎΠ»ΡΠΊΡ ΠΏΡΠΎΡΠ΅ΡΡ ΡΠ²ΡΠ·Π°Π½ Ρ ΡΠ°Π±ΠΎΡΠΎΠΉ Β«ΡΠ»ΠΎΠΆΠ½ΡΡ Π°Π»Π³ΠΎΡΠΈΡΠΌΠΎΠ²Β».
ΠΠΎΡΡ Google ΡΠ°ΠΊΠΆΠ΅ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΡΡΡΡ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΡΠΌ user-agent. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) β ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ Googlebot. Googlebot-Image/1.0 β Google ΠΊΠ°ΡΡΠΈΠ½ΠΊΠΈ.
ΠΠ°Π±Π»ΠΎΠΊΠΈΡΠΎΠ²Π°ΡΡ Π΄ΠΎΡΡΡΠΏ Googlebot ΠΊ Π²ΡΠ΅ΠΌΡ ΡΠ°ΠΉΡΡ ΠΈΠ»ΠΈ Π΅Π³ΠΎ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π°ΠΌ ΠΌΠΎΠΆΠ½ΠΎ Ρ ΠΏΠΎΠΌΠΎΡΡΡ Π²ΡΠ΅ ΡΠΎΠ³ΠΎ ΠΆΠ΅ ΡΠ°ΠΉΠ»Π° robots.txt. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Β«ΠΏΡΠΎΡΠΈΡΠ°Π²Β» Π² ΡΠ°ΠΉΠ»Π΅ ΠΊΠΎΠ΄
User-agent: googlebot
Disallow: /books/
ΠΏΠ°ΡΠΊ ΠΎΡΠΊΠ°ΠΆΠ΅ΡΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π° books. ΠΠΎΡΡ Google ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ ΠΏΠΎΠ΄ΡΠΈΠ½ΡΡΡΡΡ Β«Π‘ΡΠ°Π½Π΄Π°ΡΡΡ ΠΈΡΠΊΠ»ΡΡΠ΅Π½ΠΈΠΉ Π΄Π»Ρ ΡΠΎΠ±ΠΎΡΠΎΠ²Β».
Π§ΡΠΎΠ±Ρ ΠΏΠΎΠ½ΡΡΡ, ΠΊΠ°ΠΊ ΠΏΠ°ΡΠΊΠΈ Google Π²ΠΈΠ΄ΡΡ Π²Π°Ρ ΡΠ°ΠΉΡ (Ρ ΡΡΠ΅ΡΠΎΠΌ Π·Π°ΠΏΡΠ΅ΡΠΎΠ²), ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΠ΅ΡΡΡ Π²ΠΎΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡΡΡ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠΎΠΌ Π‘ΠΊΠ°Π½Π΅Ρ Google Π΄Π»Ρ ΡΠ°ΠΉΡΠΎΠ². Π ΠΏΠΎΡΡΠ²ΡΡΠ²ΠΎΠ²Π°ΡΡ ΡΠ΅Π±Ρ Π±ΠΎΡΠΎΠΌ.
arazuvaev.ru
ΠΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΡΡΠ°Π½ΠΈΡ ΠΈ ΡΠ°Π·Π΄Π΅Π»ΠΎΠ² ΡΠ°ΠΉΡΠ° ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌΠΈ ΡΠΎΠ±ΠΎΡΠ°ΠΌΠΈ Π―Π½Π΄Π΅ΠΊΡ
41.4KΠΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΠ΅ΡΡΡΡΠΎΠ², ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½Π½ΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌΠΈ ΡΠΈΡΡΠ΅ΠΌΠ°ΠΌΠΈ, ΠΏΠΎΡΡΠΎΡΠ½Π½ΠΎ ΡΠ°ΡΡΠ΅Ρ. Π§ΡΠΎΠ±Ρ ΡΠ΅ΡΡΡΡ ΠΌΠΎΠ³ ΠΏΠΎΠΏΠ°ΡΡΡ Π² Π±Π°Π·Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ, ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΡ, ΠΊΠ°ΠΊ ΠΌΠΈΠ½ΠΈΠΌΡΠΌ, Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΎΠΎΠ±ΡΠΈΡΡ ΠΎ ΡΡΡΠ΅ΡΡΠ²ΠΎΠ²Π°Π½ΠΈΠΈ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ΅ΡΡΡΡΠ°. Π£Π·Π½Π°ΡΡ ΠΎ Π½Π΅ΠΌ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊ ΠΌΠΎΠΆΠ΅Ρ Π΄Π²ΡΠΌΡ ΡΠΏΠΎΡΠΎΠ±Π°ΠΌ:
- Π΅ΡΠ»ΠΈ Π²Ρ Π·Π°ΡΠ΅Π³ΠΈΡΡΡΠΈΡΡΠ΅ΡΠ΅ΡΡ Π² ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΠ΅;
- Π»ΠΈΠ±ΠΎ ΠΏΠ΅ΡΠ΅ΠΉΠ΄Ρ Π½Π° Π²Π°ΡΠΈ ΡΡΡΠ°Π½ΠΈΡΡ ΠΏΠΎ ΡΡΡΠ»ΠΊΠ΅ Ρ ΡΠ΅ΡΡΡΡΠΎΠ², ΡΠΆΠ΅ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½Π½ΡΡ ΡΠΈΡΡΠ΅ΠΌΠΎΠΉ.
ΠΠΎΡΠ»Π΅ ΡΡΠΎΠ³ΠΎ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΉ ΡΠΎΠ±ΠΎΡ Π±ΡΠ΄Π΅Ρ Π²ΡΠ΅ΠΌΡ ΠΎΡ Π²ΡΠ΅ΠΌΠ΅Π½ΠΈ Π²ΠΎΠ·Π²ΡΠ°ΡΠ°ΡΡΡΡ Π½Π° Π²Π°ΡΠΈ ΡΡΡΠ°Π½ΠΈΡΡ, ΠΎΠ±Π½ΠΎΠ²Π»ΡΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΎ Π½ΠΈΡ . ΠΠΎΡΡΠΎΡΠ½Π½Π°Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΠ΅ΡΡΡΡΠ° β ΠΎΠ΄ΠΈΠ½ ΠΈΠ· Π²Π°ΠΆΠ½Π΅ΠΉΡΠΈΡ ΡΠ»Π΅ΠΌΠ΅Π½ΡΠΎΠ² Π² ΡΠ°Π±ΠΎΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ. ΠΡ ΡΠΎΠ³ΠΎ, ΠΊΠ°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΈ Π² ΠΊΠ°ΠΊΠΈΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌΠ°Ρ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ Π²Π°Ρ ΡΠ°ΠΉΡ, Π±ΡΠ΄Π΅Ρ Π·Π°Π²ΠΈΡΠ΅ΡΡ ΠΊΠΎΠ½Π΅ΡΠ½ΡΠΉ ΡΠ΅Π·ΡΠ»ΡΡΠ°Ρ ΠΏΡΠΎΠ΄Π²ΠΈΠΆΠ΅Π½ΠΈΡ Π² ΡΠΎΠΉ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠΉ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΠ΅.
Π£ΡΠΏΠ΅ΡΠ½Π°Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΠ°ΠΉΡΠ° ΡΠΎΠ±ΠΎΡΠ°ΠΌΠΈ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ β ΡΡΠΎ ΡΠΎ, ΡΠ΅Π³ΠΎ Π²Ρ Π΄ΠΎΠ»ΠΆΠ½Ρ ΠΎΠ±ΡΠ·Π°ΡΠ΅Π»ΡΠ½ΠΎ Π΄ΠΎΠ±ΠΈΡΡΡΡ Π½Π° Π½Π°ΡΠ°Π»ΡΠ½ΠΎΠΌ ΡΡΠ°ΠΏΠ΅ ΠΏΡΠΎΠ΄Π²ΠΈΠΆΠ΅Π½ΠΈΡ. Π ΡΠΎΠΌ, ΠΊΠ°ΠΊΠΈΠΌΠΈ ΡΠΏΠΎΡΠΎΠ±Π°ΠΌΠΈ Π΄ΠΎΠ±ΠΈΡΡΡΡ ΠΊΠΎΡΡΠ΅ΠΊΡΠ½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΡΠ°ΠΉΡΠ°, ΠΊΠ°ΠΊΠΈΠ΅ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΠΈ ΠΌΠΎΠ³ΡΡ Π²ΠΎΠ·Π½ΠΈΠΊΠ½ΡΡΡ ΠΏΡΠΈ ΠΏΠΎΠ΄Π³ΠΎΡΠΎΠ²ΠΈΡΠ΅Π»ΡΠ½ΠΎΠΉ ΡΠ°Π±ΠΎΡΠ΅, Π° ΡΠ°ΠΊΠΆΠ΅ ΠΎ ΡΠΎΠΌ, ΠΊΠ°ΠΊ ΡΡΡΡΠΎΠ΅Π½Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ, ΡΠΎΠ±ΠΎΡΡ ΠΊΠΎΡΠΎΡΡΡ Π±ΡΠ΄ΡΡ ΠΎΠ±ΡΠ°Π±Π°ΡΡΠ²Π°ΡΡ Π²Π°ΡΠΈ ΡΡΡΠ°Π½ΠΈΡΡ, ΠΏΠΎΠΉΠ΄Π΅Ρ ΡΠ΅ΡΡ Π² Π΄Π°Π½Π½ΠΎΠΌ ΠΌΠ°ΡΡΠ΅Ρ-ΠΊΠ»Π°ΡΡΠ΅.
ΠΡΠΎΡΠ΅ΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΠΌΡ Π±ΡΠ΄Π΅ΠΌ ΡΠ°ΡΡΠΌΠ°ΡΡΠΈΠ²Π°ΡΡ Π½Π° ΠΏΡΠΈΠΌΠ΅ΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ Π―Π½Π΄Π΅ΠΊΡ. ΠΡΠΎ Π²ΠΏΠΎΠ»Π½Π΅ Π»ΠΎΠ³ΠΈΡΠ½ΠΎ, ΠΏΠΎΡΠΊΠΎΠ»ΡΠΊΡ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ, Π²Π»Π°Π΄Π΅ΡΡΠΈΡ ΡΡΡΡΠΊΠΈΠΌ ΡΠ·ΡΠΊΠΎΠΌ, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡ ΠΈΠΌΠ΅Π½Π½ΠΎ ΡΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌΡ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠ° Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎΠΉ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΈ.
ΠΠΎΠ²ΠΎΡΡ ΠΎΠ± ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ, ΠΏΡΠ΅ΠΆΠ΄Π΅ Π²ΡΠ΅Π³ΠΎ, ΡΠ»Π΅Π΄ΡΠ΅Ρ ΡΠ°ΡΡΠΊΠ°Π·Π°ΡΡ ΠΎ ΡΠΎΠΌ, ΠΊΡΠΎ Π΅Π΅ ΠΎΡΡΡΠ΅ΡΡΠ²Π»ΡΠ΅Ρ Π½Π΅ΠΏΠΎΡΡΠ΅Π΄ΡΡΠ²Π΅Π½Π½ΠΎ, ΡΠΎ Π΅ΡΡΡ ΠΎ ΡΠΎΠ±ΠΎΡΠ°Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ. ΠΠ° Π²ΠΎΠΏΡΠΎΡ: βΠ° ΡΡΠΎ ΡΠ°ΠΊΠΎΠ΅ ΡΠΎΠ±ΠΎΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ ΠΈ ΡΡΠΎ ΠΎΠ½ Π΄Π΅Π»Π°Π΅Ρ?β. Π―Π½Π΄Π΅ΠΊΡ ΠΎΡΠ²Π΅ΡΠ°Π΅Ρ ΡΠ»Π΅Π΄ΡΡΡΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ: Β«Π ΠΎΠ±ΠΎΡ (Π°Π½Π³Π». crawler) Ρ ΡΠ°Π½ΠΈΡ ΡΠΏΠΈΡΠΎΠΊ URL, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΎΠ½ ΠΌΠΎΠΆΠ΅Ρ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ, ΠΈ ΡΠ΅Π³ΡΠ»ΡΡΠ½ΠΎ Π²ΡΠΊΠ°ΡΠΈΠ²Π°Π΅Ρ ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΡΡΡΠΈΠ΅ ΠΈΠΌ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ. ΠΡΠ»ΠΈ ΠΏΡΠΈ Π°Π½Π°Π»ΠΈΠ·Π΅ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ° ΡΠΎΠ±ΠΎΡ ΠΎΠ±Π½Π°ΡΡΠΆΠΈΠ²Π°Π΅Ρ Π½ΠΎΠ²ΡΡ ΡΡΡΠ»ΠΊΡ, ΠΎΠ½ Π΄ΠΎΠ±Π°Π²Π»ΡΠ΅Ρ Π΅Π΅ Π² ΡΠ²ΠΎΠΉ ΡΠΏΠΈΡΠΎΠΊ. Π’Π°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ, Π»ΡΠ±ΠΎΠΉ Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ ΠΈΠ»ΠΈ ΡΠ°ΠΉΡ, Π½Π° ΠΊΠΎΡΠΎΡΡΠΉ Π΅ΡΡΡ ΡΡΡΠ»ΠΊΠΈ, ΠΌΠΎΠΆΠ΅Ρ Π±ΡΡΡ Π½Π°ΠΉΠ΄Π΅Π½ ΡΠΎΠ±ΠΎΡΠΎΠΌ, Π° Π·Π½Π°ΡΠΈΡ, ΠΈ ΠΏΠΎΠΈΡΠΊΠΎΠΌ Π―Π½Π΄Π΅ΠΊΡΠ°Β».
ΠΠ±Π»Π°Π΄Π°Ρ Π·Π½Π°Π½ΠΈΡΠΌΠΈ ΠΎ Π½ΠΈΡ , Π²Ρ Ρ Π»Π΅Π³ΠΊΠΎΡΡΡΡ ΡΠΌΠΎΠΆΠ΅ΡΠ΅ ΠΏΠΎΠ΄Π³ΠΎΡΠΎΠ²ΠΈΡΡ Π²Π°Ρ ΡΠ°ΠΉΡ Π΄Π»Ρ ΡΡΠΏΠ΅ΡΠ½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ. ΠΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΠ°ΠΉΡΠ° ΠΏΡΠΎΠΈΡΡ ΠΎΠ΄ΠΈΡ ΡΠ»Π΅Π΄ΡΡΡΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ: ΡΠΎΠ±ΠΎΡΡ-ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΎΡΡ ΠΏΠΎΡΠ΅ΡΠ°ΡΡ ΡΡΡΠ°Π½ΠΈΡΡ ΠΈ Π²Π½ΠΎΡΡΡ ΠΈΡ ΡΠΎΠ΄Π΅ΡΠΆΠΈΠΌΠΎΠ΅ Π² Π±Π°Π·Ρ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ², Π΄ΠΎΡΡΡΠΏΠ½ΡΡ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠ°.
Π―Π½Π΄Π΅ΠΊΡ ΠΏΠΎΡΠ²ΠΈΠ»ΡΡ Π² 1996 Π³ΠΎΠ΄Ρ. ΠΠΎ Π½Π΅ Π² ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ, Π° Π² Π²ΠΈΠ΄Π΅ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΡ ΠΎΠ±ΠΎΡΠΎΠ±Π»Π΅Π½Π½ΡΡ ΠΏΡΠΎΠ΄ΡΠΊΡΠΎΠ². ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Π―ndex.Site β ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠ°, ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΡΡΠ°Ρ ΠΏΠΎΠΈΡΠΊ Π½Π° ΡΠ°ΠΉΡΠ΅, Π―ndex.CD β ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠ° ΠΏΠΎΠΈΡΠΊΠ° Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ² Π½Π° Ρd-Π΄ΠΈΡΠΊΠ΅.
Π‘Π°ΠΌΠ° ΠΆΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²Π°Ρ ΡΠΈΡΡΠ΅ΠΌΠ° Π²ΠΎΠ·Π½ΠΈΠΊΠ»Π° ΠΎΡΠ΅Π½ΡΡ 1997 Π³ΠΎΠ΄Π°. 23 ΡΠ΅Π½ΡΡΠ±ΡΡ Π½Π° Π²ΡΡΡΠ°Π²ΠΊΠ΅ Softool Π―Π½Π΄Π΅ΠΊΡ Π±ΡΠ» ΠΎΡΠΈΡΠΈΠ°Π»ΡΠ½ΠΎ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½ ΡΠΆΠ΅ Π² ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅ ΠΏΠΎΠ»Π½ΠΎΡΡΠ½ΠΊΡΠΈΠΎΠ½Π°Π»ΡΠ½ΠΎΠΉ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ ΠΠ½ΡΠ΅ΡΠ½Π΅ΡΠ°. Π‘ ΡΠ΅Ρ ΠΏΠΎΡ ΠΎΠ±ΡΠ΅ΠΌ Π ΡΠ½Π΅ΡΠ° Π½Π΅ΠΏΡΠ΅ΡΡΠ²Π½ΠΎ Π²ΠΎΠ·ΡΠ°ΡΡΠ°Π», ΡΡΠΎ Π²ΡΠ½ΡΠΆΠ΄Π°Π»ΠΎ ΡΠΎΠ²Π΅ΡΡΠ΅Π½ΡΡΠ²ΠΎΠ²Π°ΡΡ Π°Π»Π³ΠΎΡΠΈΡΠΌΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΠΈ ΠΏΠΎΠΈΡΠΊΠ° ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΈ.
ΠΠΎΡΡΠΎΠΌΡ Π² 1999 Π³ΠΎΠ΄Ρ Π±ΡΠ» ΡΠΎΠ·Π΄Π°Π½ Π½ΠΎΠ²ΡΠΉ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΉ ΡΠΎΠ±ΠΎΡ, ΠΊΠΎΡΠΎΡΡΠΉ ΠΏΠΎΠΌΠΈΠΌΠΎ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎΠ³ΠΎ ΡΠ²Π΅Π»ΠΈΡΠ΅Π½ΠΈΡ ΡΠΊΠΎΡΠΎΡΡΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΠ» ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΡΠΌ ΠΈΡΠΊΠ°ΡΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΏΠΎ ΡΠ°Π·Π½ΡΠΌ Π·ΠΎΠ½Π°ΠΌ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ° β Π² URL, Π² Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠ°Ρ , Π² ΡΡΡΠ»ΠΊΠ°Ρ ΠΈ Ρ.ΠΏ.
Π‘Π΅ΠΉΡΠ°Ρ ΠΎΡΠΈΡΠΈΠ°Π»ΡΠ½ΠΎ Π°Π½ΠΎΠ½ΡΠΈΡΠΎΠ²Π°Π½ΠΎ 11 ΡΠΎΠ±ΠΎΡΠΎΠ² Π―Π½Π΄Π΅ΠΊΡΠ°, ΠΊΠ°ΠΆΠ΄ΡΠΉ ΠΈΠ· ΠΊΠΎΡΠΎΡΡΡ ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΠ·ΠΈΡΡΠ΅ΡΡΡ Π½Π° ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΠΎΠΉ Π·Π°Π΄Π°ΡΠ΅.
- Yandex/1.01.001 (compatible; Win16; I) β ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΠΎΠ±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡΠ°. ΠΡΠΎ ΡΠ°ΠΌΡΠΉ Π²Π°ΠΆΠ½ΡΠΉ ΡΠΎΠ±ΠΎΡ, ΡΡΠ½ΠΊΡΠΈΡ ΠΊΠΎΡΠΎΡΠΎΠ³ΠΎ β ΠΏΠΎΠΈΡΠΊ ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΈ, Π½Π°ΠΉΠ΄Π΅Π½Π½ΠΎΠΉ Π½Π° ΠΏΡΠΎΡΡΠΎΡΠ°Ρ ΡΠΎΡΡΠΈΠΉΡΠΊΠΎΠ³ΠΎ ΠΠ½ΡΠ΅ΡΠ½Π΅ΡΠ°. ΠΠ»Ρ Π²ΡΠ΅Ρ SEO-ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΠΎΠ² Π²Π°ΠΆΠ½ΠΎ ΠΎΡΡΠ»Π΅ΠΆΠΈΠ²Π°ΡΡ ΠΏΠΎΡΠ²Π»Π΅Π½ΠΈΠ΅ Π½Π° ΡΠ²ΠΎΠΈΡ ΡΠ°ΠΉΡΠ°Ρ Π² ΠΏΠ΅ΡΠ²ΡΡ ΠΎΡΠ΅ΡΠ΅Π΄Ρ ΡΡΠΎΠ³ΠΎ ΡΠΎΠ±ΠΎΡΠ°-ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΎΡΠ°. ΠΠ±ΡΡΠ½ΠΎ ΡΠΎΠ±ΠΎΡ Π·Π°Ρ ΠΎΠ΄ΠΈΡ ΡΠΎ ΡΠ»Π΅Π΄ΡΡΡΠΈΡ ip-Π°Π΄ΡΠ΅ΡΠΎΠ²: 213.180.206.4, 213.180.206.1, 213.180.216.4, 213.180.206.248, 213.180.216.28. ΠΠΎΡΡΠΎΠΌΡ, ΡΠ²ΠΈΠ΄Π΅Π² Π² Π»ΠΎΠ³Π°Ρ ΡΠ²ΠΎΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ° Π·Π°Π²Π΅ΡΠ½ΠΎΠ΅ ΡΠ»ΠΎΠ²ΠΎ yandex, ΠΎΠ±ΡΠ°ΡΠΈΡΠ΅ ΡΠ²ΠΎΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ Π½Π° ip-Π°Π΄ΡΠ΅Ρ, ΠΏΠΎΡΠΎΠΌΡ ΠΊΠ°ΠΊ Π² ΠΈΠ½ΡΠ΅ΡΠ½Π΅ΡΠ΅ ΡΠ΅ΠΉΡΠ°Ρ ΡΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ Π΄ΠΎΡΡΠ°ΡΠΎΡΠ½ΠΎΠ΅ Π±ΠΎΠ»ΡΡΠΎΠ΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΠ΅ΡΠ²ΠΈΡΠΎΠ² ΡΠ΅ΡΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΠ°ΠΉΡΠ°, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡΡ Π·Π°Ρ ΠΎΠ΄ΠΈΡΡ Π½Π° ΡΡΡΠ°Π½ΠΈΡΠΊΠΈ, ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΡΡΡ ΠΊΠ°ΠΊ user agent: Yandex/1.01.001 (compatible; Win16; I) ΠΠΎΠΆΠ΅Ρ ΠΎΠΊΠ°Π·Π°ΡΡΡΡ, ΡΡΠΎ Π²ΠΎΠ²ΡΠ΅ ΠΈ Π½Π΅ Π―Π½Π΄Π΅ΠΊΡ ΠΏΠΎΡΠ΅ΡΠΈΠ» ΠΠ°Ρ ΡΠ°ΠΉΡ.
- Yandex/1.01.001 (compatible; Win16; P) β ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΎΡ ΠΊΠ°ΡΡΠΈΠ½ΠΎΠΊ, ΠΊΠΎΡΠΎΡΡΠ΅ Π²ΠΏΠΎΡΠ»Π΅Π΄ΡΡΠ²ΠΈΠΈ Π±ΡΠ΄ΡΡ Π΄ΠΎΡΡΡΠΏΠ½Ρ Π² ΠΏΠΎΠΈΡΠΊΠ΅ Π―Π½Π΄Π΅ΠΊΡ. ΠΠ°ΡΡΠΈΠ½ΠΊΠΈ (http://images.yandex.ru). ΠΠ»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ ΡΠ°ΠΌΡΠΌ ΠΏΡΠΎΡΡΡΠΌ ΠΏΡΡΠ΅ΠΌ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΡ, ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΡΠ΅Ρ Π»ΠΈ ΠΊΠ°ΡΡΠΈΠ½ΠΊΠ° Π·Π°ΠΏΡΠΎΡΡ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ, ΡΠ²Π»ΡΠ΅ΡΡΡ Π°Π½Π°Π»ΠΈΠ· ΡΠ΅Π³Π° alt. ΠΡΠΎΡΠΎΠΉ ΠΏΡΡΡ, ΠΊΠΎΡΠΎΡΡΠΉ ΠΊΠ°ΠΊ ΠΈ ΠΏΠ΅ΡΠ²ΡΠΉ ΡΠΊΠΎΡΠ΅Π΅ Π²ΡΠ΅Π³ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ ΡΠ΅ΡΠ²ΠΈΡ Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°ΡΡΠΈΠ½ΠΊΠΈ β Π°Π½Π°Π»ΠΈΠ· ΠΈΠΌΠ΅Π½ΠΈ ΡΠ°ΠΉΠ»Π°. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΏΠΎΡΠΌΠΎΡΡΠΈΡΠ΅ Π½Π° Π»ΠΎΡΠΎΡΡ Π½Π° ΡΡΡΠ°Π½ΠΈΡΠ΅ (http://en.npftravel.ru/news/issue_117.html). ΠΠΈ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΡΠΏΠΎΠΌΠΈΠ½Π°Π½ΠΈΡ ΡΠ»ΠΎΠ²Π° Β«Π»ΠΎΡΠΎΡΒ» Π² ΡΠ΅Π»Π΅ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°, ΠΎΠ΄Π½Π°ΠΊΠΎ ΠΊΠ°ΡΡΠΈΠ½ΠΊΠ° Π²ΡΠ΅-ΡΠ°ΠΊΠΈ Π±ΡΠ»Π° Π½Π°ΠΉΠ΄Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ Β«Π»ΠΎΡΠΎΡΒ» Π±Π»Π°Π³ΠΎΠ΄Π°ΡΡ ΡΠΎΠΌΡ, ΡΡΠΎ ΡΠ°ΠΉΠ» ΠΈΠΌΠ΅Π΅Ρ ΠΈΠΌΡ lotos.jpg.
- Yandex/1.01.001 (compatible; Win16; H) β ΡΠΎΠ±ΠΎΡ, ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΡΡΠΈΠΉ Π·Π΅ΡΠΊΠ°Π»Π° ΡΠ°ΠΉΡΠΎΠ². ΠΠ°Π΄Π°ΡΠ° ΡΡΠΎΠ³ΠΎ ΡΠΎΠ±ΠΎΡΠ° β ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ ΡΡΠ΅ΠΏΠ΅Π½ΠΈ ΡΡ ΠΎΠΆΠ΅ΡΡΠΈ Π΄Π²ΡΡ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ². ΠΡΠ»ΠΈ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ ΠΎΡΠ΅Π½Ρ ΠΏΠΎΡ ΠΎΠΆΠΈ Π΄ΡΡΠ³ Π½Π° Π΄ΡΡΠ³Π°, Π² ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠ°Ρ Π²ΡΠ΄Π°ΡΠΈ Π―Π½Π΄Π΅ΠΊΡ, ΡΠΊΠΎΡΠ΅Π΅ Π²ΡΠ΅Π³ΠΎ, ΠΏΠΎΠΊΠ°ΠΆΠ΅Ρ ΡΠΎΠ»ΡΠΊΠΎ ΠΎΠ΄ΠΈΠ½ ΡΠ°ΠΉΡ, Π² ΡΡΠΎΠΌ ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΠΎ ΠΈ Π·Π°ΠΊΠ»ΡΡΠ°Π΅ΡΡΡ ΠΏΡΠΎΡΠ΅ΡΡ Π·Π°Π·Π΅ΡΠΊΠ°Π»ΠΈΠ²Π°Π½ΠΈΡ. Π’ΠΎ Π΅ΡΡΡ ΡΠ°ΠΉΡ-Π·Π΅ΡΠΊΠ°Π»ΠΎ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΠ΅Ρ ΡΠΎΠ±ΠΎΠΉ Π½ΠΈΡΡΠΎ ΠΈΠ½ΠΎΠ΅, ΠΊΠ°ΠΊ ΠΏΠΎΠ»Π½ΡΡ ΠΊΠΎΠΏΠΈΡ ΡΠ°ΠΉΡΠ°.
- Yandex/1.03.003 (compatible; Win16; D) β ΡΠΎΠ±ΠΎΡ, ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΡΡΠΈΠΉ Π΄ΠΎΡΡΡΠΏΠ½ΠΎΡΡΡ ΡΡΡΠ°Π½ΠΈΡΡ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΠΏΡΠΈ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΠΈ Π΅Π΅ ΡΠ΅ΡΠ΅Π· ΡΠΎΡΠΌΡ Β«ΠΠΎΠ±Π°Π²ΠΈΡΡ URLΒ».
- Yandex/1.03.000 (compatible; Win16; M) β ΡΠΎΠ±ΠΎΡ, ΠΏΠΎΡΠ΅ΡΠ°ΡΡΠΈΠΉ ΡΡΡΠ°Π½ΠΈΡΡ ΠΏΡΠΈ Π΅Π΅ ΠΎΡΠΊΡΡΡΠΈΠΈ ΠΏΠΎ ΡΡΡΠ»ΠΊΠ΅ Β«ΠΠ°ΠΉΠ΄Π΅Π½Π½ΡΠ΅ ΡΠ»ΠΎΠ²Π°Β», Π½ΠΈΠΆΠ΅ ΡΠ½ΠΈΠΏΠΏΠ΅ΡΠ°.
- YaDirectBot/1.0 (compatible; Win16; I) β ΡΠΎΠ±ΠΎΡ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ°ΠΉΡΠΎΠ², ΡΡΠ°ΡΡΠ²ΡΡΡΠΈΡ Π² ΡΠ΅ΠΊΠ»Π°ΠΌΠ½ΠΎΠΉ ΡΠ΅ΡΠΈ Π―Π½Π΄Π΅ΠΊΡΠ°.
- Yandex/1.02.000 (compatible; Win16; F) β ΡΠΎΠ±ΠΎΡ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΠΈΠΊΠΎΠ½ΠΊΠΈ ΡΠ°ΠΉΡΠΎΠ² (favicons), ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΠΎΠΊΠ°Π·ΡΠ²Π°ΡΡΡΡ ΠΏΠΎΡΠΎΠΌ Π² ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠ°Ρ ΠΏΠΎΠΈΡΠΊΠ° ΡΠ»Π΅Π²Π° ΠΎΡ ΡΡΡΠ»ΠΊΠΈ Π½Π° Π½Π°ΠΉΠ΄Π΅Π½Π½ΡΠΉ ΡΠ°ΠΉΡ.
ΠΡΠΎΡΠ΅ΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ° ΡΠΎΠ±ΠΎΡΠ°ΠΌΠΈ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ, ΠΊΠ°ΠΊ ΠΏΡΠ°Π²ΠΈΠ»ΠΎ, Π½Π°ΡΠΈΠ½Π°Π΅ΡΡΡ Ρ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΡ ΡΠ°ΠΉΡΠ° Π² ΡΠΎΡΠΌΡ Π½Π° ΡΠΏΠ΅ΡΠΈΠ°Π»ΡΠ½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΠ΅. ΠΠ»Ρ Π―Π½Π΄Π΅ΠΊΡΠ° ΡΡΠΎ ΡΡΡΠ°Π½ΠΈΡΠ° https://webmaster.yandex.ru/. ΠΠ΄Π΅ΡΡ ΡΡΠ΅Π±ΡΠ΅ΡΡΡ Π²Π²Π΅ΡΡΠΈ Π»ΠΈΡΡ Π°Π΄ΡΠ΅Ρ ΡΠ°ΠΉΡΠ°, Π½ΠΈΠΊΠ°ΠΊΠΈΡ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΡΡ Π΄Π°Π½Π½ΡΡ Π²Π½ΠΎΡΠΈΡΡ Π½Π΅ ΡΡΠ΅Π±ΡΠ΅ΡΡΡ. Π Π Π°ΠΌΠ±Π»Π΅ΡΠ΅, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΡΡΠ΅Π±ΡΠ΅ΡΡΡ ΡΠΊΠ°Π·ΡΠ²Π°ΡΡ Π΅ΡΠ΅ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ ΡΠ°ΠΉΡΠ°, Π΄Π°ΡΡ ΠΊΡΠ°ΡΠΊΠΎΠ΅ ΠΎΠΏΠΈΡΠ°Π½ΠΈΠ΅ ΡΠ΅Π³ΠΈΡΡΡΠΈΡΡΠ΅ΠΌΠΎΠ³ΠΎ ΡΠ°ΠΉΡΠ° ΠΈ ΠΊΠΎΠ½ΡΠ°ΠΊΡΠ½ΠΎΠ΅ Π»ΠΈΡΠΎ.
ΠΡΠ»ΠΈ ΡΠ°ΠΉΡ Π΄ΠΎΠ±Π°Π²Π»ΡΠ΅ΡΡΡ Π²ΠΏΠ΅ΡΠ²ΡΠ΅, ΡΠΎ Π―Π½Π΄Π΅ΠΊΡ Π²ΡΠ΄Π°ΡΡ ΡΠΎΠΎΠ±ΡΠ΅Π½ΠΈΠ΅:
Β«ΠΠ΄ΡΠ΅Ρ http://example.com ΡΡΠΏΠ΅ΡΠ½ΠΎ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½. ΠΠΎ ΠΌΠ΅ΡΠ΅ ΠΎΠ±Ρ ΠΎΠ΄Π° ΡΠΎΠ±ΠΎΡΠ° ΠΎΠ½ Π±ΡΠ΄Π΅Ρ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ ΠΈ ΡΡΠ°Π½Π΅Ρ Π΄ΠΎΡΡΡΠΏΠ½ΡΠΌ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠ°Β».
ΠΡΠ»ΠΈ ΡΠ°ΠΉΡ ΡΠΆΠ΅ ΠΏΠΎΡΠ΅ΡΠ°Π»ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠΌ-ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΎΡΠΎΠΌ, ΡΠΎ ΠΏΠΎΡΠ²ΠΈΡΡΡ ΡΠΎΠΎΠ±ΡΠ΅Π½ΠΈΠ΅:
Β«ΠΠΎΠΊΡΠΌΠ΅Π½Ρ http://example.com/ ΡΠΆΠ΅ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ ΠΈ Π΄ΠΎΡΡΡΠΏΠ΅Π½ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠ°.
ΠΡ ΠΌΠΎΠΆΠ΅ΡΠ΅ ΠΏΠΎΡΠΌΠΎΡΡΠ΅ΡΡ, ΠΊΠ°ΠΊΠΈΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ°ΠΉΡΠ° http://example.com/ Π΄ΠΎΡΡΡΠΏΠ½Ρ Π² Π―Π½Π΄Π΅ΠΊΡΠ΅ ΠΊ Π½Π°ΡΡΠΎΡΡΠ΅ΠΌΡ Π²ΡΠ΅ΠΌΠ΅Π½ΠΈ (* ΡΡΡΠ°Π½ΠΈΡ)Β».
ΠΠΎΡΠ»Π΅ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΡ Π½ΠΎΠ²ΠΎΠ³ΠΎ ΡΠ°ΠΉΡΠ° ΡΠ΅ΡΠ΅Π· ΡΠΎΡΠΌΡ, Π΅Π³ΠΎ ΡΡΡ ΠΆΠ΅ ΠΏΠΎΡΠ΅ΡΠΈΡ ΡΠΎΠ±ΠΎΡ Yandex/1.03.003 (compatible; Win16; D). ΠΠ½ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΠΈΡ Π΄ΠΎΡΡΡΠΏΠ½ΠΎΡΡΡ ΡΠ°ΠΉΡΠ° Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ, Π° ΡΠ°ΠΊΠΆΠ΅ ΡΡΡΠ°Π½ΠΎΠ²ΠΈΡ, ΡΠ΄ΠΎΠ²Π»Π΅ΡΠ²ΠΎΡΡΠ΅Ρ Π»ΠΈ ΡΠ°ΠΉΡ ΡΡΠ΅Π±ΠΎΠ²Π°Π½ΠΈΡΠΌ Π―Π½Π΄Π΅ΠΊΡΠ°, ΠΎΡΠ½ΠΎΠ²Π½ΡΠΌ ΠΈΠ· ΠΊΠΎΡΠΎΡΡΡ ΡΠ²Π»ΡΠ΅ΡΡΡ Β«ΡΡΡΡΠΊΠΎΡΠ·ΡΡΠ½ΠΎΡΡΡΒ» ΡΠ΅ΡΡΡΡΠ°. ΠΠΎΡΡΠΎΠΌΡ, ΠΊΠ°ΠΊ ΠΏΡΠΈΠΌΠ΅Ρ, ΠΌΠΎΠΆΠ΅Ρ Π²ΠΎΠ·Π½ΠΈΠΊΠ½ΡΡΡ ΡΠ°ΠΊΠ°Ρ ΡΠΈΡΡΠ°ΡΠΈΡ:
Β«ΠΠ΄ΡΠ΅Ρ http://www.example.com/ Π½Π΅ Π±ΡΠ» Π²Π½Π΅ΡΠ΅Π½ Π² Π±Π°Π·Ρ Π―Π½Π΄Π΅ΠΊΡΠ°, ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΡΠ°ΠΉΡ http://www.example.com/ Π½Π°Ρ ΠΎΠ΄ΠΈΡΡΡ Π²Π½Π΅ Π΄ΠΎΠΌΠ΅Π½ΠΎΠ² ΡΡΡΠ°Π½ Π‘ΠΠ, ΠΏΡΠΈ ΡΡΠΎΠΌ Π½Π°Ρ ΡΠΎΠ±ΠΎΡ Π½Π΅ ΡΠΌΠΎΠ³ ΡΠ°ΡΠΏΠΎΠ·Π½Π°ΡΡ Π² Π½Π΅ΠΌ ΡΡΡΡΠΊΠΈΠΉ ΡΠ΅ΠΊΡΡΒ».
ΠΡΠ»ΠΈ ΠΆΠ΅ Π²ΡΠ΅ Ρ ΠΎΡΠΎΡΠΎ, ΡΠΎ Π² Π»ΠΎΠ³Π°Ρ ΡΠ°ΠΉΡΠ° ΠΌΠΎΠΆΠ½ΠΎ Π±ΡΠ΄Π΅Ρ ΠΎΠ±Π½Π°ΡΡΠΆΠΈΡΡ ΡΡΡΠΎΠΊΡ:
213.180.206.223 β [18/Jul/2006:10:22:08 +0400] Β«GET /robots.txt HTTP/1.1Β» 404 296 Β«-Β» Β«Yandex/1.03.003 (compatible; Win16; D)Β»
213.180.206.223 β [18/Jul/2006:10:22:08 +0400] Β«GET / HTTP/1.1Β» 200 2674 Β«-Β» Β«Yandex/1.03.003 (compatible; Win16; D)Β»
ΠΠΈΠ΄Π½ΠΎ, ΡΡΠΎ ΡΠ½Π°ΡΠ°Π»Π° ΡΠΎΠ±ΠΎΡ ΠΎΠ±ΡΠ°ΡΠΈΠ»ΡΡ ΠΊ ΡΠ°ΠΉΠ»Ρ robots.txt (Π΅Π³ΠΎ Π² Π΄Π°Π½Π½ΠΎΠΌ ΡΠ»ΡΡΠ°Π΅ ΠΏΡΠΎΡΡΠΎ Π½Π΅ ΡΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ) ΡΡΠΎΠ±Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΠΈΡΡ, Π½Π΅ Π·Π°ΠΏΡΠ΅ΡΠ΅Π½ Π»ΠΈ ΡΠ°ΠΉΡ ΠΊ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ. ΠΠ°ΡΠ΅ΠΌ ΡΠΆΠ΅ ΠΎΠ±ΡΠ°ΡΠΈΠ»ΡΡ ΠΊ Π³Π»Π°Π²Π½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΠ΅.
ΠΠΎΡΠ»Π΅ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΡ ΡΠ°ΠΉΡΠ° Π½Π° ΡΡΡΠ°Π½ΠΈΡΠ΅ https://webmaster.yandex.ru/ ΠΌΠ΅Π½Π΅Π΅ ΡΠ΅ΠΌ ΡΠ΅ΡΠ΅Π· Π΄Π²Π° Π΄Π½Ρ ΡΠ°ΠΉΡ ΠΏΠΎΡΠ΅ΡΠΈΡ ΡΠΎΠ±ΠΎΡ-ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΎΡ Yandex/1.01.001 (compatible; Win16; I). Π Π΅ΡΠ΅ ΡΠ΅ΡΠ΅Π· Π½Π΅ΠΊΠΎΡΠΎΡΠΎΠ΅ Π²ΡΠ΅ΠΌΡ ΡΠ°ΠΉΡ Π±ΡΠ΄Π΅Ρ Π΄ΠΎΡΡΡΠΏΠ΅Π½ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠ° Π² Π―Π½Π΄Π΅ΠΊΡΠ΅.
Π’ΠΎ ΡΡΠΎ ΠΠ°Ρ ΡΠ°ΠΉΡ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π»ΡΡ β ΡΡΠΎ Π΅ΡΠ΅ ΠΏΠΎΠ»Π΄Π΅Π»Π°, Π³ΠΎΡΠ°Π·Π΄ΠΎ Π²Π°ΠΆΠ½Π΅Π΅ Π½Π°ΡΡΠΈΡΡΡΡ Π³ΡΠ°ΠΌΠΎΡΠ½ΠΎ ΡΠΏΡΠ°Π²Π»ΡΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠ΅ΠΉ. ΠΠΎΠ΄ΡΠΌΠ°ΠΉΡΠ΅, ΠΊΠ°ΠΊΠΈΠ΅ Π±Ρ Π²Ρ Ρ ΠΎΡΠ΅Π»ΠΈ Π²ΠΈΠ΄Π΅ΡΡ ΡΡΡΠ°Π½ΠΈΡΡ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ° Π² Π²ΡΠ΄Π°ΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ: ΠΊΠ°ΠΊΠΈΠ΅ ΠΈΠ· Π½ΠΈΡ Π±ΡΠ΄ΡΡ ΠΏΠΎΠ»Π΅Π·Π½Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ, Π° ΠΊΠ°ΠΊΠΈΠ΅ ΠΈΠ· Π½ΠΈΡ Π½Π΅ Π½Π΅ΡΡΡ Π½ΠΈΠΊΠ°ΠΊΠΎΠΉ ΡΠΌΡΡΠ»ΠΎΠ²ΠΎΠΉ Π½Π°Π³ΡΡΠ·ΠΊΠΈ ΠΈ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡΡΡ ΠΈΡΠΊΠ»ΡΡΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΊΠ°ΠΊ ΡΠ΅Ρ Π½ΠΈΡΠ΅ΡΠΊΠ°Ρ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ, ΠΊ ΠΏΡΠΈΠΌΠ΅ΡΡ.
ΠΠ΅Π»Π°ΡΠ΅Π»ΡΠ½ΠΎ Π·Π°ΠΊΡΡΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ Π°Π΄ΠΌΠΈΠ½ΠΈΡΡΡΠ°ΡΠΈΠ²Π½ΡΠΉ ΡΠ°Π·Π΄Π΅Π» ΡΠ°ΠΉΡΠ°, Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ /images/ (Π΅ΡΠ»ΠΈ ΠΎΠ½Π° Π½Π°Π·Π²Π°Π½Π° ΡΠ°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ), Π³Π΄Π΅ Ρ ΡΠ°Π½ΠΈΡΡΡ Π³ΡΠ°ΡΠΈΡΠ΅ΡΠΊΠ°Ρ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ. ΠΠ»Π°Π΄Π΅Π»ΡΡΠ°ΠΌ ΠΈΠ½ΡΠ΅ΡΠ½Π΅Ρ-ΠΌΠ°Π°Π³Π°Π·ΠΈΠ½ΠΎΠ² ΡΠ»Π΅Π΄ΡΠ΅Ρ Π·Π°ΠΊΡΡΡΡ ΡΠ»ΡΠΆΠ΅Π±Π½ΡΠ΅ ΡΡΠ°Π½ΠΈΡΡ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ°ΠΉΡΠ°, ΡΠ΅ΡΠ΅Π· ΠΊΠΎΡΠΎΡΡΠ΅ ΠΎΡΡΡΠ΅ΡΡΠ²Π»ΡΠ΅ΡΡΡ Π½Π΅ΠΏΠΎΡΡΠ΅Π΄ΡΡΠ²Π΅Π½Π½Π°Ρ ΠΏΠΎΠΊΡΠΏΠΊΠ° ΡΠΎΠ³ΠΎ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠ³ΠΎ ΠΏΡΠΎΠ΄ΡΠΊΡΠ° ΠΈ Ρ.Π΄. ΠΡΠΈΠ½ΡΠ² Π΄Π°Π½Π½ΡΠ΅ ΠΌΠ΅ΡΡ, Π²ΠΎ-ΠΏΠ΅ΡΠ²ΡΡ , Π²Ρ Π±ΡΠ΄Π΅ΡΠ΅ ΡΠ²Π΅ΡΠ΅Π½Ρ Π² ΡΠΎΠΌ, ΡΡΠΎ ΡΠΎΠ±ΠΎΡΡ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡ ΠΈΠΌΠ΅Π½Π½ΠΎ ΡΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ, ΠΊΠΎΡΠΎΡΠ°Ρ Π½Π° ΡΠ°ΠΌΠΎΠΌ Π΄Π΅Π»Π΅ Π²Π°ΠΆΠ½Π°, Π²ΠΎ-Π²ΡΠΎΡΡΡ , ΠΎΠ±Π»Π΅Π³ΡΠΈΡΠ΅ ΡΠΎΠ±ΠΎΡΡ ΡΠΎΠ±ΠΎΡΠ°ΠΌ, ΠΊΠΎΡΠΎΡΡΠ΅ Π½Π΅ Π±ΡΠ΄ΡΡ ΠΏΠΎΡΠ΅ΡΠ°ΡΡ Π²ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ°ΠΉΡΠ°.
Π€Π°ΠΉΠ» robots.txt ΡΠ²Π»ΡΠ΅ΡΡΡ ΡΠ°ΠΌΡΠΌ ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΡΠΌ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½Ρ, ΠΏΠΎΡΡΠ΅Π΄ΡΡΠ²ΠΎΠΌ ΠΊΠΎΡΠΎΡΠΎΠ³ΠΎ Π²Ρ ΡΠΌΠΎΠΆΠ΅ΡΠ΅ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎ ΡΠΏΡΠ°Π²Π»ΡΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠ΅ΠΉ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ°. ΠΡΠ°ΠΉΠ½Π΅ ΠΏΡΠΎΡΡ Π² ΡΠΊΡΠΏΠ»ΡΠ°ΡΠ°ΡΠΈΠΈ, Π½Π΅ ΡΡΠ΅Π±ΡΠ΅Ρ ΡΠΏΠ΅ΡΠΈΠ°Π»ΡΠ½ΡΡ Π½Π°Π²ΡΠΊΠΎΠ². ΠΠΎ Π±ΠΎΠ»ΡΡΠΎΠΌΡ ΡΡΠ΅ΡΡ, Π½ΡΠΆΠ΅Π½ ΡΠΎΠ»ΡΠΊΠΎ Π΄Π»Ρ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ Π·Π°ΠΏΡΠ΅ΡΠ°ΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΡΡΠ°Π½ΠΈΡ ΠΈΠ»ΠΈ ΡΠ°Π·Π΄Π΅Π»ΠΎΠ² ΡΠ°ΠΉΡΠ° Π΄Π»Ρ ΡΠΎΠΉ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠΉ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ.
Π€Π°ΠΉΠ» /robots.txt ΠΏΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ Π΄Π»Ρ ΡΠΊΠ°Π·Π°Π½ΠΈΡ Π²ΡΠ΅ΠΌ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌ ΡΠΎΠ±ΠΎΡΠ°ΠΌ, ΠΊΠ°ΠΊ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΎΠ½Π½ΡΠ΅ ΡΠ΅ΡΠ²Π΅ΡΠ°.
Π‘ΠΈΠ½ΡΠ°ΠΊΡΠΈΡ ΡΠ°ΠΉΠ»Π° ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ Π·Π°Π΄Π°Π²Π°ΡΡ Π·Π°ΠΏΡΠ΅ΡΠ½ΡΠ΅ ΠΎΠ±Π»Π°ΡΡΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ, ΠΊΠ°ΠΊ Π΄Π»Ρ Π²ΡΠ΅Ρ
, ΡΠ°ΠΊ ΠΈ Π΄Π»Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ½Π½ΡΡ
, ΡΠΎΠ±ΠΎΡΠΎΠ².
Π ΡΠ°ΠΉΠ»Ρ robots.txt ΠΏΡΠ΅Π΄ΡΡΠ²Π»ΡΡΡΡΡ ΡΠΏΠ΅ΡΠΈΠ°Π»ΡΠ½ΡΠ΅ ΡΡΠ΅Π±ΠΎΠ²Π°Π½ΠΈΡ, Π½Π΅ Π²ΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ ΠΊΠΎΡΠΎΡΡΡ
ΠΌΠΎΠΆΠ΅Ρ ΠΏΡΠΈΠ²Π΅ΡΡΠΈ ΠΊ Π½Π΅ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎΠΌΡ ΡΡΠΈΡΡΠ²Π°Π½ΠΈΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΈ ΡΠΎΠ±ΠΎΡΠΎΠΌ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ ΠΈΠ»ΠΈ Π²ΠΎΠΎΠ±ΡΠ΅ ΠΊ Π½Π΅Π΄Π΅Π΅ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡΠΈ Π΄Π°Π½Π½ΠΎΠ³ΠΎ ΡΠ°ΠΉΠ»Π°.
ΠΡΠ½ΠΎΠ²Π½ΡΠ΅ ΡΡΠ΅Π±ΠΎΠ²Π°Π½ΠΈΡ:
- Π²ΡΠ΅ Π±ΡΠΊΠ²Ρ Π² Π½Π°Π·Π²Π°Π½ΠΈΠΈ ΡΠ°ΠΉΠ»Π° Π΄ΠΎΠ»ΠΆΠ½Ρ Π±ΡΡΡ ΠΏΡΠΎΠΏΠΈΡΠ½ΡΠΌΠΈ, Ρ. Π΅. Π΄ΠΎΠ»ΠΆΠ½Ρ ΠΈΠΌΠ΅ΡΡ Π½ΠΈΠΆΠ½ΠΈΠΉ ΡΠ΅Π³ΠΈΡΡΡ: robots.txt β ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎ, Robots.txt ΠΈΠ»ΠΈ ROBOTS.TXT β Π½Π΅ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎ;
- ΡΠ°ΠΉΠ» robots.txt Π΄ΠΎΠ»ΠΆΠ΅Π½ ΡΠΎΠ·Π΄Π°Π²Π°ΡΡΡΡ Π² ΡΠ΅ΠΊΡΡΠΎΠ²ΠΎΠΌ ΡΠΎΡΠΌΠ°ΡΠ΅. ΠΡΠΈ ΠΊΠΎΠΏΠΈΡΠΎΠ²Π°Π½ΠΈΠΈ Π΄Π°Π½Π½ΠΎΠ³ΠΎ ΡΠ°ΠΉΠ»Π° Π½Π° ΡΠ°ΠΉΡ, ftp-ΠΊΠ»ΠΈΠ΅Π½Ρ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±ΡΡΡ Π½Π°ΡΡΡΠΎΠ΅Π½ Π½Π° ΡΠ΅ΠΊΡΡΠΎΠ²ΡΠΉ ΡΠ΅ΠΆΠΈΠΌ ΠΎΠ±ΠΌΠ΅Π½Π° ΡΠ°ΠΉΠ»Π°ΠΌΠΈ;
- ΡΠ°ΠΉΠ» robots.txt Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±ΡΡΡ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ Π² ΠΊΠΎΡΠ½Π΅Π²ΠΎΠΌ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ ΡΠ°ΠΉΡΠ°.
Π€Π°ΠΉΠ» robots.txt ΠΎΠ±ΡΠ·Π°ΡΠ΅Π»ΡΠ½ΠΎ Π²ΠΊΠ»ΡΡΠ°Π΅Ρ Π² ΡΠ΅Π±Ρ Π΄Π²Π΅ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ: Β«User-agentΒ» ΠΈ Β«DisallowΒ». ΠΠ΅ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°ΡΡ Π΅ΡΠ΅ ΠΈ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΡΠ΅ Π·Π°ΠΏΠΈΡΠΈ. Π’Π°ΠΊ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΏΠΎΠΈΡΠΊΠΎΠ²Π°Ρ ΡΠΈΡΡΠ΅ΠΌΠ° Π―Π½Π΄Π΅ΠΊΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Β«HostΒ» Π΄Π»Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΡ ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠ³ΠΎ Π·Π΅ΡΠΊΠ°Π»Π° ΡΠ°ΠΉΡΠ°.
ΠΠ°ΠΆΠ΄Π°Ρ Π·Π°ΠΏΠΈΡΡ ΠΈΠΌΠ΅Π΅Ρ ΡΠ²ΠΎΠ΅ ΠΏΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ ΠΈ ΠΌΠΎΠΆΠ΅Ρ Π²ΡΡΡΠ΅ΡΠ°ΡΡΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΡΠ°Π·, Π² Π·Π°Π²ΠΈΡΠΈΠΌΠΎΡΡΠΈ ΠΎΡ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° Π·Π°ΠΊΡΡΠ²Π°Π΅ΠΌΡΡ
ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΡΡΡΠ°Π½ΠΈΡ ΠΈΠ»ΠΈ (ΠΈ) Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΉ ΠΈ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° ΡΠΎΠ±ΠΎΡΠΎΠ², ΠΊ ΠΊΠΎΡΠΎΡΡΠΌ ΠΡ ΠΎΠ±ΡΠ°ΡΠ°Π΅ΡΠ΅ΡΡ.
ΠΠΎΠ»Π½ΠΎΡΡΡΡ ΠΏΡΡΡΠΎΠΉ ΡΠ°ΠΉΠ» robots.txt ΡΠΊΠ²ΠΈΠ²Π°Π»Π΅Π½ΡΠ΅Π½ Π΅Π³ΠΎ ΠΎΡΡΡΡΡΡΠ²ΠΈΡ, ΡΡΠΎ ΠΏΡΠ΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π΅Ρ ΡΠ°Π·ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ Π½Π° ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ Π²ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ°.
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Β«User-agentΒ»
ΠΠ°ΠΏΠΈΡΡ Β«User-agentΒ» Π΄ΠΎΠ»ΠΆΠ½Π° ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΡ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠ³ΠΎ ΡΠΎΠ±ΠΎΡΠ°. ΠΡΠΈΠΌΠ΅Ρ Π·Π°ΠΏΠΈΡΠΈ Β«User-agentΒ», Π³Π΄Π΅ ΠΎΠ±ΡΠ°ΡΠ΅Π½ΠΈΠ΅ ΠΏΡΠΎΠΈΡΡ ΠΎΠ΄ΠΈΡ ΠΊΠΎ Π²ΡΠ΅ΠΌ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌ ΡΠΈΡΡΠ΅ΠΌΠ°ΠΌ Π±Π΅Π· ΠΈΡΠΊΠ»ΡΡΠ΅Π½ΠΈΠΉ ΠΈ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ ΡΠΈΠΌΠ²ΠΎΠ» Β«*Β»:
ΠΡΠΈΠΌΠ΅Ρ Π·Π°ΠΏΠΈΡΠΈ Β«User-agentΒ», Π³Π΄Π΅ ΠΎΠ±ΡΠ°ΡΠ΅Π½ΠΈΠ΅ ΠΏΡΠΎΠΈΡΡ ΠΎΠ΄ΠΈΡ ΡΠΎΠ»ΡΠΊΠΎ ΠΊ ΡΠΎΠ±ΠΎΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ Π―Π½Π΄Π΅ΠΊΡ:
Π ΠΎΠ±ΠΎΡ ΠΊΠ°ΠΆΠ΄ΠΎΠΉ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ ΠΈΠΌΠ΅Π΅Ρ ΡΠ²ΠΎΡ Π½Π°Π·Π²Π°Π½ΠΈΠ΅. Π‘ΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ Π΄Π²Π° ΠΎΡΠ½ΠΎΠ²Π½ΡΡ ΡΠΏΠΎΡΠΎΠ±Π° ΡΠ·Π½Π°ΡΡ ΡΡΠΈ Π½Π°Π·Π²Π°Π½ΠΈΡ:
- ΠΠ° ΡΠ°ΠΉΡΠ°Ρ ΠΌΠ½ΠΎΠ³ΠΈΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ ΠΏΡΠΈΡΡΡΡΡΠ²ΡΠ΅Ρ ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΠ·ΠΈΡΠΎΠ²Π°Π½Π½ΡΠΉ ΡΠ°Π·Π΄Π΅Π» Β«ΠΏΠΎΠΌΠΎΡΡ Π²Π΅Π±-ΠΌΠ°ΡΡΠ΅ΡΡΒ» (Π½Π° Π―Π½Π΄Π΅ΠΊΡΠ΅ ΠΎΠ½ ΡΠΎΠΆΠ΅ Π΅ΡΡΡ http://webmaster.yandex.ru/faq.xml), Π² ΠΊΠΎΡΠΎΡΠΎΠΌ ΡΠ°ΡΡΠΎ ΡΠΊΠ°Π·ΡΠ²Π°ΡΡΡΡ Π½Π°Π·Π²Π°Π½ΠΈΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ².
- ΠΡΠΈ ΠΏΡΠΎΡΠΌΠΎΡΡΠ΅ Π»ΠΎΠ³ΠΎΠ² Π²Π΅Π±-ΡΠ΅ΡΠ²Π΅ΡΠ°, Π° ΠΈΠΌΠ΅Π½Π½ΠΎ ΠΏΡΠΈ ΠΏΡΠΎΡΠΌΠΎΡΡΠ΅ ΠΎΠ±ΡΠ°ΡΠ΅Π½ΠΈΠΉ ΠΊ ΡΠ°ΠΉΠ»Ρ robots.txt, ΠΌΠΎΠΆΠ½ΠΎ ΡΠ²ΠΈΠ΄Π΅ΡΡ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²ΠΎ ΠΈΠΌΡΠ½, Π² ΠΊΠΎΡΠΎΡΡΡ ΠΏΡΠΈΡΡΡΡΡΠ²ΡΡΡ Π½Π°Π·Π²Π°Π½ΠΈΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ ΠΈΠ»ΠΈ ΠΈΡ ΡΠ°ΡΡΡ. ΠΠΎΡΡΠΎΠΌΡ ΠΠ°ΠΌ ΠΎΡΡΠ°Π΅ΡΡΡ Π»ΠΈΡΡ Π²ΡΠ±ΡΠ°ΡΡ Π½ΡΠΆΠ½ΠΎΠ΅ ΠΈΠΌΡ ΠΈ Π²ΠΏΠΈΡΠ°ΡΡ Π΅Π³ΠΎ Π² ΡΠ°ΠΉΠ» robots.txt.
ΠΠ°Π·Π²Π°Π½ΠΈΡ ΠΎΡΠ½ΠΎΠ²Π½ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ² ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ:
Google β Β«googlebotΒ»;
Π―Π½Π΄Π΅ΠΊΡΠ° β Β«YandexΒ»;
Π Π°ΠΌΠ±Π»Π΅ΡΠ° β Β«StackRamblerΒ»;
Yahoo! β Β«Yahoo! SlurpΒ»;
MSN β Β«msnbotΒ».
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Β«DisallowΒ»
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Β«DisallowΒ» Π΄ΠΎΠ»ΠΆΠ½Π° ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΡ ΠΏΡΠ΅Π΄ΠΏΠΈΡΠ°Π½ΠΈΡ, ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠΊΠ°Π·ΡΠ²Π°ΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΌΡ ΡΠΎΠ±ΠΎΡΡ ΠΈΠ· Π·Π°ΠΏΠΈΡΠΈ Β«User-agentΒ», ΠΊΠ°ΠΊΠΈΠ΅ ΡΠ°ΠΉΠ»Ρ ΠΈΠ»ΠΈ (ΠΈ) ΠΊΠ°ΡΠ°Π»ΠΎΠ³ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ Π·Π°ΠΏΡΠ΅ΡΠ΅Π½ΠΎ.
Π Π°ΡΡΠΌΠΎΡΡΠΈΠΌ ΡΠ°Π·Π»ΠΈΡΠ½ΡΠ΅ ΠΏΡΠΈΠΌΠ΅ΡΡ Π·Π°ΠΏΠΈΡΠΈ Β«DisallowΒ».
ΠΡΠΈΠΌΠ΅Ρ1. Π‘Π°ΠΉΡ ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ ΠΎΡΠΊΡΡΡ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ:
ΠΡΠΈΠΌΠ΅Ρ 2. ΠΠ»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π·Π°ΠΏΡΠ΅ΡΠ΅Π½ ΡΠ°ΠΉΠ» Β«page.htmΒ», Π½Π°Ρ ΠΎΠ΄ΡΡΠΈΠΉΡΡ Π² ΠΊΠΎΡΠ½Π΅Π²ΠΎΠΌ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ ΠΈ ΡΠ°ΠΉΠ» Β«page2.htmΒ», ΡΠ°ΡΠΏΠΎΠ»Π°Π³Π°ΡΡΠΈΠΉΡΡ Π² Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ Β«dirΒ»:
Disallow: /page.htm Disallow: /dir/page2.htm
ΠΡΠΈΠΌΠ΅Ρ 3. ΠΠ»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π·Π°ΠΏΡΠ΅ΡΠ΅Π½Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ Β«cgi-binΒ» ΠΈ Β«forumΒ» ΠΈ, ΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎ, Π²ΡΡ ΡΠΎΠ΄Π΅ΡΠΆΠΈΠΌΠΎΠ΅ Π΄Π°Π½Π½ΠΎΠΉ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ:
Disallow: /cgi-bin/ Disallow: /forum/
ΠΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ Π·Π°ΠΊΡΡΡΠΈΠ΅ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΡΡΠ΄Π° Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ² ΠΈ (ΠΈΠ»ΠΈ) Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΉ, Π½Π°ΡΠΈΠ½Π°ΡΡΠΈΡ ΡΡ Ρ ΠΎΠ΄Π½ΠΈΡ ΠΈ ΡΠ΅Ρ ΠΆΠ΅ ΡΠΈΠΌΠ²ΠΎΠ»ΠΎΠ², ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡ ΡΠΎΠ»ΡΠΊΠΎ ΠΎΠ΄Π½Ρ Π·Π°ΠΏΠΈΡΡ Β«DisallowΒ». ΠΠ»Ρ ΡΡΠΎΠ³ΠΎ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ Π½Π°ΡΠ°Π»ΡΠ½ΡΠ΅ ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²ΡΠ΅ ΡΠΈΠΌΠ²ΠΎΠ»Ρ Π±Π΅Π· Π·Π°ΠΊΡΡΠ²Π°ΡΡΠ΅ΠΉ Π½Π°ΠΊΠ»ΠΎΠ½Π½ΠΎΠΉ ΡΠ΅ΡΡΡ.
ΠΡΠΈΠΌΠ΅Ρ 4. ΠΠ»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π·Π°ΠΏΡΠ΅ΡΠ΅Π½Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΡ Β«dirΒ», Π° ΡΠ°ΠΊ ΠΆΠ΅ Π²ΡΠ΅ ΡΠ°ΠΉΠ»Ρ ΠΈ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ, Π½Π°ΡΠΈΠ½Π°ΡΡΠΈΠ΅ΡΡ Π±ΡΠΊΠ²Π°ΠΌΠΈ Β«dirΒ», Ρ. Π΅. ΡΠ°ΠΉΠ»Ρ: Β«dir.htmΒ», Β«direct.htmΒ», Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ: Β«dirΒ», Β«directory1Β», Β«directory2Β» ΠΈ Ρ. Π΄:
ΠΠ΅ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ ΡΠ°Π·ΡΠ΅ΡΠ°ΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ΅Π³ΡΠ»ΡΡΠ½ΡΡ Π²ΡΡΠ°ΠΆΠ΅Π½ΠΈΠΉ Π² Π·Π°ΠΏΠΈΡΠΈ Β«DisallowΒ». Π’Π°ΠΊ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΏΠΎΠΈΡΠΊΠΎΠ²Π°Ρ ΡΠΈΡΡΠ΅ΠΌΠ° Google ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°Π΅Ρ Π² Π·Π°ΠΏΠΈΡΠΈ Β«DisallowΒ» ΡΠΈΠΌΠ²ΠΎΠ»Ρ Β«*Β» (ΠΎΠ·Π½Π°ΡΠ°Π΅Ρ Π»ΡΠ±ΡΡ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎΡΡΡ ΡΠΈΠΌΠ²ΠΎΠ»ΠΎΠ²) ΠΈ Β«$Β» (ΠΎΠΊΠΎΠ½ΡΠ°Π½ΠΈΠ΅ ΡΡΡΠΎΠΊΠΈ). ΠΡΠΎ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ Π·Π°ΠΏΡΠ΅ΡΠΈΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΠΎΠ³ΠΎ ΡΠΈΠΏΠ° ΡΠ°ΠΉΠ»ΠΎΠ².
ΠΡΠΈΠΌΠ΅Ρ 5. ΠΠ°ΠΏΡΠ΅Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΡΠ°ΠΉΠ»ΠΎΠ² Ρ ΡΠ°ΡΡΠΈΡΠ΅Π½ΠΈΠ΅ΠΌ Β«htmΒ»:
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Β«HostΒ»
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Β«HostΒ» Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠ° Π΄Π»Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΡ ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠ³ΠΎ Π·Π΅ΡΠΊΠ°Π»Π° ΡΠ°ΠΉΡΠ°, ΡΠΎ Π΅ΡΡΡ, Π΅ΡΠ»ΠΈ ΡΠ°ΠΉΡ ΠΈΠΌΠ΅Π΅Ρ Π·Π΅ΡΠΊΠ°Π»ΠΎ, ΡΠΎ Ρ ΠΏΠΎΠΌΠΎΡΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Β«HostΒ» ΠΌΠΎΠΆΠ½ΠΎ Π²ΡΠ±ΡΠ°ΡΡ url ΡΠΎΠ³ΠΎ ΡΠ°ΠΉΡΠ°, ΠΏΠΎΠ΄ ΠΊΠΎΡΠΎΡΡΠΌ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅ΡΡΡ Π²Π°Ρ ΡΠ°ΠΉΡ. Π ΠΏΡΠΎΡΠΈΠ²Π½ΠΎΠΌ ΡΠ»ΡΡΠ°Π΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²Π°Ρ ΡΠΈΡΡΠ΅ΠΌΠ° Π²ΡΠ±Π΅ΡΠ΅Ρ Π³Π»Π°Π²Π½ΠΎΠ΅ Π·Π΅ΡΠΊΠ°Π»ΠΎ ΡΠ°ΠΌΠΎΡΡΠΎΡΡΠ΅Π»ΡΠ½ΠΎ, Π° ΠΎΡΡΠ°Π»ΡΠ½ΡΠ΅ ΠΈΠΌΠ΅Π½Π° Π±ΡΠ΄ΡΡ Π·Π°ΠΏΡΠ΅ΡΠ΅Π½Ρ ΠΊ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ.
Π ΡΠ΅Π»ΡΡ ΡΠΎΠ²ΠΌΠ΅ΡΡΠΈΠΌΠΎΡΡΠΈ Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌΠΈ ΡΠΎΠ±ΠΎΡΠ°ΠΌΠΈ, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΡΠΈ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠ΅ ΡΠ°ΠΉΠ»Π° robots.txt Π½Π΅ Π²ΠΎΡΠΏΡΠΈΠ½ΠΈΠΌΠ°ΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Host, Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ Π΄ΠΎΠ±Π°Π²Π»ΡΡΡ Π΅Π΅ Π½Π΅ΠΏΠΎΡΡΠ΅Π΄ΡΡΠ²Π΅Π½Π½ΠΎ ΠΏΠΎΡΠ»Π΅ Π·Π°ΠΏΠΈΡΠ΅ΠΉ Disallow.
ΠΡΠΈΠΌΠ΅Ρ 6. www.site.ru β ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠ΅ Π·Π΅ΡΠΊΠ°Π»ΠΎ:
ΠΡΠΎΡΠΌΠ»Π΅Π½ΠΈΠ΅ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠ΅Π² Π² ΡΠ°ΠΉΠ»Π΅ robots.txt
ΠΡΠ±Π°Ρ ΡΡΡΠΎΠΊΠ° Π² robots.txt, Π½Π°ΡΠΈΠ½Π°ΡΡΠ°ΡΡΡ Ρ ΡΠΈΠΌΠ²ΠΎΠ»Π° Β«#Β», ΡΡΠΈΡΠ°Π΅ΡΡΡ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠ΅ΠΌ. Π Π°Π·ΡΠ΅ΡΠ΅Π½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ Π² ΠΊΠΎΠ½ΡΠ΅ ΡΡΡΠΎΠΊ Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π°ΠΌΠΈ, Π½ΠΎ Π½Π΅ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠΎΠ±ΠΎΡΡ ΠΌΠΎΠ³ΡΡ Π½Π΅ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎ ΡΠ°ΡΠΏΠΎΠ·Π½Π°ΡΡ Π΄Π°Π½Π½ΡΡ ΡΡΡΠΎΠΊΡ.
ΠΡΠΈΠΌΠ΅Ρ 7. ΠΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΉ Π½Π°Ρ ΠΎΠ΄ΠΈΡΡΡ Π½Π° ΠΎΠ΄Π½ΠΎΠΉ ΡΡΡΠΎΠΊΠ΅ Π²ΠΌΠ΅ΡΡΠ΅ Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²ΠΎΠΉ:
Disallow: /cgi-bin/ #ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΉ
ΠΠ΅Π»Π°ΡΠ΅Π»ΡΠ½ΠΎ ΡΠ°Π·ΠΌΠ΅ΡΠ°ΡΡ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΉ Π½Π° ΠΎΡΠ΄Π΅Π»ΡΠ½ΠΎΠΉ ΡΡΡΠΎΠΊΠ΅.
Π‘ ΠΏΠΎΠΌΠΎΡΡΡ ΠΌΠ΅ΡΠ°-ΡΠ΅Π³ΠΎΠ² ΡΠΎΠΆΠ΅ ΠΌΠΎΠΆΠ½ΠΎ ΡΠΏΡΠ°Π²Π»ΡΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠ΅ΠΉ ΡΡΡΠ°Π½ΠΈΡ ΡΠ°ΠΉΡΠ°. ΠΠ΅ΡΠ°-ΡΠ΅Π³ΠΈ Π΄ΠΎΠ»ΠΆΠ½Ρ Π½Π°Ρ ΠΎΠ΄ΠΈΡΡΡΡ Π² Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠ΅ HTML-Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ° (ΠΌΠ΅ΠΆΠ΄Ρ ΡΠ΅Π³Π°ΠΌΠΈ ΠΈ ).
ΠΠ°ΠΈΠ±ΠΎΠ»Π΅Π΅ ΠΏΠΎΠ»Π΅Π·Π½ΡΠ΅ ΠΠΠ’Π-ΡΠ΅Π³ΠΈ, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΠΎΠΌΠΎΠ³ΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠ°ΠΌ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ ΡΡΡΠ°Π½ΠΈΡΡ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ°:
- ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΠ΅ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠ΅ΠΉ ΡΡΡΠ°Π½ΠΈΡ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ². Π Π΄Π°Π½Π½ΠΎΠΌ ΡΠ»ΡΡΠ°Π΅, ΡΠΊΠ°Π·ΡΠ²Π°Π΅Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΌΡ ΡΠΎΠ±ΠΎΡΡ, ΡΡΠΎΠ±Ρ ΠΎΠ½ Π½Π΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π» Π²ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ.
- Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ, ΡΡΠΎΠ±Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΠΈΡΡ ΡΠ΅Π»Π΅Π²Π°Π½ΡΠ½Π° Π»ΠΈ ΡΡΡΠ°Π½ΠΈΡΠ° Π΄Π°Π½Π½ΠΎΠΌΡ Π·Π°ΠΏΡΠΎΡΡ.
- ΠΏΠΎΠ²ΡΡΠ°Π΅Ρ Π²Π΅ΡΠΎΡΡΠ½ΠΎΡΡΡ Π½Π°Ρ ΠΎΠΆΠ΄Π΅Π½ΠΈΡ ΡΡΡΠ°Π½ΠΈΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠΎΠΌ ΠΏΠΎ Π²ΡΠ±ΡΠ°Π½Π½ΠΎΠΌΡ Π·Π°ΠΏΡΠΎΡΡ (Π°ΠΌ).
- ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΠ΅ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠ΅ΠΉ ΡΡΡΠ°Π½ΠΈΡΡ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ². ΠΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅Ρ ΡΠ°ΡΡΠΎΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ. Π Π΄Π°Π½Π½ΠΎΠΌ ΡΠ»ΡΡΠ°Π΅ ΡΠΊΠ°Π·ΡΠ²Π°Π΅ΡΡΡ, ΡΡΠΎ Π²Π°Ρ Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ ΡΠ²Π»ΡΠ΅ΡΡΡ Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ½ΡΠΌ ΠΈ ΡΠΎΠ±ΠΎΡΡ ΡΠ»Π΅Π΄ΡΠ΅Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ Π΅Π³ΠΎ ΡΠ΅Π³ΡΠ»ΡΡΠ½ΠΎ.
ΠΡΡΡ ΡΠ΅Π³ΠΈ, ΠΊΠΎΡΠΎΡΡΠ΅ Π½Π΅ΠΏΠΎΡΡΠ΅Π΄ΡΡΠ²Π΅Π½Π½ΠΎ ΠΊ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ Π½Π΅ ΠΎΡΠ½ΠΎΡΡΡΡΡ, Π½ΠΎ Π²ΡΠΏΠΎΠ»Π½ΡΡΡ ΡΠ°ΠΊΠΆΠ΅ Π²Π°ΠΆΠ½ΡΡ ΡΠΎΠ»Ρ Π΄Π» ΡΠ΄ΠΎΠ±ΡΡΠ²Π° ΡΠ°Π±ΠΎΡΡ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ Ρ ΡΠ°ΠΉΡΠΎΠΌ:
- ΠΊΠΎΠ½ΡΡΠΎΠ»Ρ ΠΊΡΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π΄Π»Ρ HTTP/1.0. ΠΠ΅ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΠΊΡΡΠΈΡΠΎΠ²Π°ΡΡ ΡΡΡΠ°Π½ΠΈΡΡ.
- ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ Π·Π°Π΄Π΅ΡΠΆΠΊΠΈ Π² ΡΠ΅ΠΊΡΠ½Π΄Π°Ρ , ΠΏΠΎΡΠ»Π΅ ΠΊΠΎΡΠΎΡΠΎΠΉ Π±ΡΠ°ΡΠ·Π΅Ρ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈ ΠΎΠ±Π½ΠΎΠ²Π»ΡΠ΅Ρ Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ ΠΈΠ»ΠΈ ΠΏΡΠΎΠΈΡΡ ΠΎΠ΄ΠΈΡ ΡΠ΅Π΄ΠΈΡΠ΅ΠΊΡ.
- ΡΠΊΠ°Π·ΡΠ²Π°Π΅Ρ, ΠΊΠΎΠ³Π΄Π° ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ Π½Π° Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ΅ ΡΡΡΠ°ΡΠ΅Π΅Ρ, ΠΈ Π±ΡΠ°ΡΠ·Π΅Ρ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±ΡΠ΄Π΅Ρ Π²Π·ΡΡΡ Π½ΠΎΠ²ΡΡ ΠΊΠΎΠΏΠΈΡ, Π° Π½Π΅ Π³ΡΡΠ·ΠΈΡΡ ΠΈΠ· ΠΊΡΡΠ°.
ΠΡΡΡ Π΅ΡΠ΅ ΠΎΠ΄ΠΈΠ½ ΠΌΠ΅ΡΠ°-ΡΠ΅Π³ revisit-after, ΠΏΠΎ ΠΏΠΎΠ²ΠΎΠ΄Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΡ, ΠΊΠΎΡΠΎΡΠΎΠ³ΠΎ Ρ ΠΎΠ΄ΠΈΠ»ΠΎ ΡΠ°Π½ΡΡΠ΅ ΠΌΠ½ΠΎΠ³ΠΎ ΡΠ»ΡΡ ΠΎΠ², ΡΡΠΎ ΠΎΠ½ ΠΌΠΎΠΆΠ΅Ρ Π·Π°ΡΡΠ°Π²ΠΈΡΡ ΡΠΎΠ±ΠΎΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ ΠΏΠΎΡΠ΅ΡΠ°ΡΡ ΡΠ°ΠΉΡ Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΠΎΠΉ ΠΏΠ΅ΡΠΈΠΎΠ΄ΠΈΡΠ½ΠΎΡΡΡΡ, ΠΎΠ΄Π½Π°ΠΊΠΎ ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΡ Π―Π½Π΄Π΅ΠΊΡ ΠΎΡΠΈΡΠΈΠ°Π»ΡΠ½ΠΎ ΠΎΠΏΡΠΎΠ²Π΅ΡΠ³Π»ΠΈ ΡΡΠΎ.
ΠΠ΅Ρ Π³Π°ΡΠ°Π½ΡΠΈΠΈ, ΡΡΠΎ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ ΡΡΠΈΡΡΠ²Π°ΡΡ ΡΠΎΠ΄Π΅ΡΠΆΠΈΠΌΠΎΠ΅ ΠΌΠ΅ΡΠ°-ΡΠ΅Π³ΠΎΠ², ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡ ΡΠ°ΠΉΡ. Π’Π΅ΠΌ Π±ΠΎΠ»Π΅Π΅ Π½Π΅Ρ Π³Π°ΡΠ°Π½ΡΠΈΠΈ, ΡΡΠΎ ΡΡΠ° ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ Π±ΡΠ΄Π΅Ρ ΡΡΠΈΡΡΠ²Π°ΡΡΡΡ ΠΏΡΠΈ ΡΠ°Π½ΠΆΠΈΡΠΎΠ²Π°Π½ΠΈΠΈ ΡΠ°ΠΉΡΠ° Π² Π²ΡΠ΄Π°ΡΠ΅. ΠΠΎ ΠΌΠ΅ΡΠ°-ΡΠ΅Π³ΠΈ ΠΏΠΎΠ»Π΅Π·Π½Ρ ΡΠ΅ΠΌ, ΡΡΠΎ ΠΏΡΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΡΡΡΠ°Π½ΠΈΡ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠ°ΠΌ ΠΏΠΎΠ»ΡΡΠΈΡΡ Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΡΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΎ ΡΠ΅ΡΡΡΡΠ΅.
ΠΠ»Ρ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ ΠΈΡ
Π½Π΅ Π½ΡΠΆΠ½ΠΎ ΠΌΠ½ΠΎΠ³ΠΎ Π²ΡΠ΅ΠΌΠ΅Π½ΠΈ, ΠΏΠΎΡΡΠΎΠΌΡ ΡΡΠ°ΡΠ°ΠΉΡΠ΅ΡΡ Π²Π²Π΅ΡΡΠΈ ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎ ΠΏΠΎΠ»Π½ΡΡ ΠΌΠ΅ΡΠ°-ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΎ ΡΡΡΠ°Π½ΠΈΡΠ΅.
Π Π°Π±ΠΎΡΠ°Ρ Π² ΡΡΠ΅ΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠ³ΠΎ ΠΏΡΠΎΠ΄Π²ΠΈΠΆΠ΅Π½ΠΈΡ ΡΠ°ΠΉΡΠΎΠ², ΠΏΡΠΈΡ ΠΎΠ΄ΠΈΡΡΡ ΡΡΠ°Π»ΠΊΠΈΠ²Π°ΡΡΡΡ Ρ ΠΏΡΠΎΠ±Π»Π΅ΠΌΠ°ΠΌΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΠ°ΠΉΡΠΎΠ² ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌΠΈ ΡΠΈΡΡΠ΅ΠΌΠ°ΠΌΠΈ, Π²ΡΠ΅ΠΌΠ΅Π½Π½ΡΡ Β«Π²ΡΠΏΠ°Π΄Π΅Π½ΠΈΠΉΒ» Π½Π΅ΠΊΠΎΡΠΎΡΡΡ ΡΡΡΠ°Π½ΠΈΡ ΡΠ°ΠΉΡΠΎΠ², ΠΈ, ΠΊΠ°ΠΊ ΡΠ»Π΅Π΄ΡΡΠ²ΠΈΠ΅, ΠΏΠΎΡΠ΅ΡΠ΅ΠΉ ΠΏΠΎΠ·ΠΈΡΠΈΠΉ ΠΏΠΎ ΠΊΠ»ΡΡΠ΅Π²ΡΠΌ ΡΠ»ΠΎΠ²Π°ΠΌ. ΠΡΠΎΠΈΡΡ ΠΎΠ΄ΠΈΡ ΡΡΠΎ, Π² ΠΏΠΎΠ΄Π°Π²Π»ΡΡΡΠ΅ΠΌ Π±ΠΎΠ»ΡΡΠΈΠ½ΡΡΠ²Π΅ ΡΠ»ΡΡΠ°Π΅Π², ΠΈΠ·-Π·Π° ΠΎΡΠΈΠ±ΠΎΠΊ Π²Π΅Π±-ΠΌΠ°ΡΡΠ΅ΡΠΎΠ².
ΠΠ΅Π΄Ρ Π΄Π°Π»Π΅ΠΊΠΎ Π½Π΅ Π²ΡΠ΅ ΠΏΠΎΠ½ΠΈΠΌΠ°ΡΡ, ΡΡΠΎ, Π½Π° ΠΏΠ΅ΡΠ²ΡΠΉ Π²Π·Π³Π»ΡΠ΄, Π΄Π°ΠΆΠ΅ Π½Π΅Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½Π°Ρ ΠΎΡΠΈΠ±ΠΊΠ° ΠΈΠ»ΠΈ ΡΠΏΡΡΠ΅Π½ΠΈΠ΅ ΠΌΠΎΠΆΠ΅Ρ ΠΏΡΠΈΠ²Π΅ΡΡΠΈ ΠΊ Β«Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΡΠΌΒ» ΠΏΠΎΡΠ»Π΅Π΄ΡΡΠ²ΠΈΡΠΌ β ΠΏΠΎΡΠ΅ΡΠ΅ ΠΏΠΎΠ·ΠΈΡΠΈΠΉ Π² Π²ΡΠ΄Π°ΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ. ΠΠ°Π»Π΅Π΅ Π±ΡΠ΄Π΅Ρ ΡΠ°ΡΡΠΌΠΎΡΡΠ΅Π½ ΡΠΏΠΈΡΠΎΠΊ ΠΏΡΠΎΠ±Π»Π΅ΠΌ, Ρ ΠΊΠΎΡΠΎΡΡΠΌΠΈ ΠΡ ΠΌΠΎΠΆΠ΅ΡΠ΅ ΡΡΠΎΠ»ΠΊΠ½ΡΡΡΡΡ ΠΏΡΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ.
ΠΡΠΎΠ±Π»Π΅ΠΌΠ°. Π ΠΎΠ±ΠΎΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ ΠΏΠΎΠ»ΡΡΠ°Π΅Ρ ΠΎΠ΄Π½Ρ ΠΈ ΡΡ ΠΆΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ Ρ ΡΠ°Π·Π½ΡΠΌΠΈ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡΠ°ΠΌΠΈ ΡΠ΅ΡΡΠΈΠΉ. ΠΠΎΠΈΡΠΊΠΎΠ²Π°Ρ ΡΠΈΡΡΠ΅ΠΌΠ° Β«Π²ΠΈΠ΄ΠΈΡΒ» ΡΡΠΎ ΠΊΠ°ΠΊ ΡΠ°Π·Π½ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ. Π’ΠΎΠΆΠ΅ ΡΠ°ΠΌΠΎΠ΅ ΠΏΡΠΎΠΈΡΡ
ΠΎΠ΄ΠΈΡ ΠΈ Ρ Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈΠΌΠΈ ΡΡΡΠ°Π½ΠΈΡΠ°ΠΌΠΈ.
ΠΠΏΠΈΡΠ°Π½ΠΈΠ΅. ΠΠ° Π½Π΅ΠΊΠΎΡΠΎΡΡΡ
ΡΠ°ΠΉΡΠ°Ρ
ΡΡΡΠ΅ΡΡΠ²ΡΡΡ Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ Ρ ΡΠ°Π·Π»ΠΈΡΠ½ΡΠΌ ΠΏΠΎΡΡΠ΄ΠΊΠΎΠΌ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ², Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ index.php?id=3&show=for_print ΠΈ index.php?show=for_print&id=3.
ΠΠ»Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ β ΡΡΠΎ ΠΎΠ΄Π½Π° ΠΈ ΡΠ° ΠΆΠ΅ ΡΡΡΠ°Π½ΠΈΡΠ°, Π° Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ β ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ°Π·Π½ΡΠ΅. Π’Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡΠΈΠ²Π΅ΡΡΠΈ ΠΏΡΠΈΠΌΠ΅Ρ ΡΠΎ ΡΡΡΠ°Π½ΠΈΡΠ΅ΠΉ ΡΠ°ΠΉΡΠ°: Β«Π²Π΅ΡΡΠΈΡ Π΄Π»Ρ ΠΏΠ΅ΡΠ°ΡΠΈΒ» Ρ Π°Π΄ΡΠ΅ΡΠΎΠΌ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ index.htm?do=print ΠΈ ΡΠ°ΠΌΠΎΠΉ Π³Π»Π°Π²Π½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΠ΅ΠΉ index.htm. ΠΠΎ ΡΡΡΡΠΊΡΡΡΠ΅ ΠΈ ΡΠ΅ΠΊΡΡΠΎΠ²ΠΎΠΌΡ Π½Π°ΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ ΡΡΠΈ ΡΡΡΠ°Π½ΠΈΡΡ ΠΏΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΈ ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²Ρ. ΠΠ΄Π½Π°ΠΊΠΎ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ β ΡΡΠΎ ΡΠ°Π·Π½ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ, ΠΊΠΎΡΠΎΡΡΠ΅ Π±ΡΠ΄ΡΡ Β«ΡΠΊΠ»Π΅Π΅Π½ΡΒ», ΠΈ, Π²ΠΌΠ΅ΡΡΠΎ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΏΡΠΎΠ΄Π²ΠΈΠ³Π°Π΅ΠΌΠΎΠΉ Π³Π»Π°Π²Π½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΡ Π² Π²ΡΠ΄Π°ΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠ° Π±ΡΠ΄Π΅Ρ ΡΡΡΠ°Π½ΠΈΡΠ° Β«Π΄Π»Ρ ΠΏΠ΅ΡΠ°ΡΠΈΒ».
Π‘Ρ ΠΎΠΆΠ°Ρ ΠΏΡΠΎΠ±Π»Π΅ΠΌΠ° Π²ΠΎΠ·Π½ΠΈΠΊΠ°Π΅Ρ ΠΏΡΠΈ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠΈ, ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ, ΡΡΡΠ»ΠΎΠΊ Π½Π° Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΡ ΠΈ Π½Π° ΡΠ°ΠΉΠ» Π² Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ /root/ ΠΈ /root/index.htm. ΠΠ»Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ ΠΎΠ½Π° ΡΠ΅ΡΠ°Π΅ΡΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Β«DirectoryIndex /index.htmΒ» ΡΠ°ΠΉΠ»Π° .htaccess, Π»ΠΈΠ±ΠΎ Π½Π°ΡΡΡΠΎΠΉΠΊΠ°ΠΌΠΈ ΡΠ΅ΡΠ²Π΅ΡΠ°. ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΠΌΠ°ΡΠΈΠ½Ρ ΠΆΠ΅ ΡΠ΅ΡΠ°ΡΡ Π΄Π°Π½Π½ΡΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ ΡΠ°ΠΌΠΈ: Ρ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ΠΌ Π²ΡΠ΅ΠΌΠ΅Π½ΠΈ Β«ΡΠΊΠ»Π΅ΠΈΠ²Π°ΡΡΒ» ΠΈΠ½Π΄Π΅ΠΊΡΠ½ΡΡ ΡΡΡΠ°Π½ΠΈΡΡ Ρ Β«ΠΊΠΎΡΠ½Π΅ΠΌΒ» Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ.
ΠΠ΄ΠΈΠ½ ΠΈΠ· Π²ΠΈΠ΄ΠΎΠ² Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈΡ ΡΡΡΠ°Π½ΠΈΡ β ΡΡΡΠ°Π½ΠΈΡΡ Ρ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡΠ°ΠΌΠΈ ΡΠ΅ΡΡΠΈΠΉ. ΠΠ° ΡΠ°ΠΉΡΠ°Ρ , Π³Π΄Π΅ ΠΏΡΠΈΠ½ΡΡΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡΡ ΡΠ΅ΡΡΠΈΠΉ, ΠΊΠ°ΠΆΠ΄ΡΠΉ ΠΏΠΎΡΠ΅ΡΠΈΡΠ΅Π»Ρ ΠΏΡΠΈ Π·Π°Ρ ΠΎΠ΄Π΅ Π½Π° ΡΠ΅ΡΡΡΡ ΠΏΠΎΠ»ΡΡΠ°Π΅Ρ ΡΠ½ΠΈΠΊΠ°Π»ΡΠ½ΡΠΉ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ &session_id=. ΠΡΠΎ ΠΏΠ°ΡΠ°ΠΌΠ΅Ρ Π΄ΠΎΠ±Π°Π²Π»ΡΠ΅ΡΡΡ ΠΊ Π°Π΄ΡΠ΅ΡΡ ΠΊΠ°ΠΆΠ΄ΠΎΠΉ ΠΏΠΎΡΠ΅ΡΠ°Π΅ΠΌΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ°ΠΉΡΠ°. ΠΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡΠ° ΡΠ΅ΡΡΠΈΠΈ ΠΎΠ±Π΅ΡΠΏΠ΅ΡΠΈΠ²Π°Π΅Ρ Π±ΠΎΠ»Π΅Π΅ ΡΠ΄ΠΎΠ±Π½ΡΠΉ ΡΠ±ΠΎΡ ΡΡΠ°ΡΠΈΡΡΠΈΠΊΠΈ ΠΎ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠΈ ΠΏΠΎΡΠ΅ΡΠΈΡΠ΅Π»Π΅ΠΉ ΡΠ°ΠΉΡΠ°. ΠΠ΅Ρ Π°Π½ΠΈΠ·ΠΌ ΡΠ΅ΡΡΠΈΠΉ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΡΠΎΡ ΡΠ°Π½ΡΡΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΎ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ ΠΏΡΠΈ ΠΏΠ΅ΡΠ΅Ρ ΠΎΠ΄Π΅ ΠΎΡ ΠΎΠ΄Π½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ°ΠΉΡΠ° ΠΊ Π΄ΡΡΠ³ΠΎΠΉ, ΡΠ΅Π³ΠΎ Π½Π΅ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ Π΄Π΅Π»Π°ΡΡ ΠΏΡΠΎΡΠΎΠΊΠΎΠ» HTTP. ΠΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡ Ρ ΡΠ°Π½ΠΈΡΡΡ Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ Π² ΠΊΡΠΊΠΈ ΠΈΠ»ΠΈ Π΄ΠΎΠ±Π°Π²Π»ΡΠ΅ΡΡΡ ΠΊΠ°ΠΊ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ Π² Π°Π΄ΡΠ΅Ρ ΡΡΡΠ°Π½ΠΈΡΡ.
ΠΠ΄Π½Π°ΠΊΠΎ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΡΠΎΠ±ΠΎΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ Π½Π΅ ΠΏΡΠΈΠ½ΠΈΠΌΠ°ΡΡ ΠΊΡΠΊΠΈ, ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡ ΡΠ΅ΡΡΠΈΠΈ Π΄ΠΎΠ±Π°Π²Π»ΡΠ΅ΡΡΡ Π² Π°Π΄ΡΠ΅Ρ ΡΡΡΠ°Π½ΠΈΡΡ, ΠΏΡΠΈ ΡΡΠΎΠΌ ΡΠΎΠ±ΠΎΡ ΠΌΠΎΠΆΠ΅Ρ Π½Π°ΠΉΡΠΈ Π±ΠΎΠ»ΡΡΠΎΠ΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΠΊΠΎΠΏΠΈΠΉ ΠΎΠ΄Π½ΠΎΠΉ ΠΈ ΡΠΎΠΉ ΠΆΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ Ρ ΡΠ°Π·Π½ΡΠΌΠΈ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡΠ°ΠΌΠΈ ΡΠ΅ΡΡΠΈΠΉ. ΠΡΠΎΡΠ΅ Π³ΠΎΠ²ΠΎΡΡ, Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠ³ΠΎ ΡΠΎΠ±ΠΎΡΠ° ΡΡΡΠ°Π½ΠΈΡΠ° Ρ Π½ΠΎΠ²ΡΠΌ Π°Π΄ΡΠ΅ΡΠΎΠΌ β ΡΡΠΎ Π½ΠΎΠ²Π°Ρ ΡΡΡΠ°Π½ΠΈΡΠ°, ΠΏΡΠΈ ΠΊΠ°ΠΆΠ΄ΠΎΠΌ Π·Π°Ρ ΠΎΠ΄Π΅ Π½Π° ΡΠ°ΠΉΡ, ΡΠΎΠ±ΠΎΡ Π±ΡΠ΄Π΅Ρ ΠΏΠΎΠ»ΡΡΠ°ΡΡ Π½ΠΎΠ²ΡΠΉ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡ ΡΠ΅ΡΡΠΈΠΈ, ΠΈ, ΠΏΠΎΡΠ΅ΡΠ°Ρ ΡΠ΅ ΠΆΠ΅ ΡΠ°ΠΌΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ, ΡΡΠΎ ΠΈ ΡΠ°Π½ΡΡΠ΅, Π±ΡΠ΄Π΅Ρ Π²ΠΎΡΠΏΡΠΈΠ½ΠΈΠΌΠ°ΡΡ ΠΈΡ ΠΊΠ°ΠΊ Π½ΠΎΠ²ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ°ΠΉΡΠ°.
ΠΠ·Π²Π΅ΡΡΠ½ΠΎ, ΡΡΠΎ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ ΠΈΠΌΠ΅ΡΡ Π°Π»Π³ΠΎΡΠΈΡΠΌΡ Β«ΡΠΊΠ»Π΅ΠΉΠΊΠΈΒ» ΡΡΡΠ°Π½ΠΈΡ Ρ ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²ΡΠΌ ΡΠΎΠ΄Π΅ΡΠΆΠ°Π½ΠΈΠ΅ΠΌ, ΠΏΠΎΡΡΠΎΠΌΡ ΡΠ°ΠΉΡΡ, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡΠΈΠ΅ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡΡ ΡΠ΅ΡΡΠΈΠΉ, Π²ΡΠ΅ ΠΆΠ΅ Π±ΡΠ΄ΡΡ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½Ρ. ΠΠ΄Π½Π°ΠΊΠΎ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΠ°ΠΊΠΈΡ ΡΠ°ΠΉΡΠΎΠ² Π·Π°ΡΡΡΠ΄Π½Π΅Π½Π°. Π Π½Π΅ΠΊΠΎΡΠΎΡΡΡ ΡΠ»ΡΡΠ°ΡΡ ΠΎΠ½Π° ΠΌΠΎΠΆΠ΅Ρ ΠΏΡΠΎΠΉΡΠΈ Π½Π΅ΠΊΠΎΡΡΠ΅ΠΊΡΠ½ΠΎ, ΠΏΠΎΡΡΠΎΠΌΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ Π½Π° ΡΠ°ΠΉΡΠ΅ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡΠΎΠ² ΡΠ΅ΡΡΠΈΠΉ Π½Π΅ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΠ΅ΡΡΡ.
Π Π΅ΡΠ΅Π½ΠΈΠ΅. Π§ΡΠΎ ΠΊΠ°ΡΠ°Π΅ΡΡΡ Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈΡ ΡΡΡΠ°Π½ΠΈΡ, ΡΠΎ Π½ΡΠΆΠ½ΠΎ Π·Π°ΠΊΡΡΠ²Π°ΡΡ ΡΡΡΠ°Π½ΠΈΡΡ Β«Π²Π΅ΡΡΠΈΡ Π΄Π»Ρ ΠΏΠ΅ΡΠ°ΡΠΈΒ» ΠΈ Π΄ΡΡΠ³ΠΈΠ΅ Π΄ΡΠ±Π»ΠΈΠΊΠ°ΡΡ Π² ΡΠ°ΠΉΠ»Π΅ robots.txt, Π»ΠΈΠ±ΠΎ Ρ ΠΏΠΎΠΌΠΎΡΡΡ Π°ΡΡΠΈΠ±ΡΡΠ° ΠΌΠ΅ΡΠ°-ΡΠ΅Π³Π° noindex. ΠΡΡΠ³ΠΎΠ΅ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ β Π·Π°ΡΠ°Π½Π΅Π΅ ΡΠΎΠ·Π΄Π°Π²Π°ΡΡ ΡΡΠ½ΠΊΡΠΈΠΎΠ½Π°Π» ΡΠ°ΠΉΡΠ°, ΠΊΠΎΡΠΎΡΡΠΉ Π±Ρ Π½Π΅ Π³Π΅Π½Π΅ΡΠΈΡΠΎΠ²Π°Π» Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ Ρ ΡΠ°Π·Π»ΠΈΡΠ½ΡΠΌ ΠΏΠΎΡΡΠ΄ΠΊΠΎΠΌ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ².
Π§ΡΠΎ ΠΊΠ°ΡΠ°Π΅ΡΡΡ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡΠΎΠ² ΡΠ΅ΡΡΠΈΠΉ, ΡΠΎ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ Π΄Π°Π½Π½ΠΎΠΉ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ ΠΏΡΠΎΡΡΠΎΠ΅ β ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ Ρ .htaccess ΡΠ»Π΅Π΄ΡΡΡΠΈΠ΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρ:
php_flag session.use_trans_sid Off php_flag session.use_only_cookie On php_flag session.auto_start On
ΠΡΠΎΠ±Π»Π΅ΠΌΠ°. ΠΡΠΈΠ±ΠΊΠΈ Π² ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠ΅ 404 ΡΡΠ°ΡΡΡΠ° ΡΠ΅ΡΠ²Π΅ΡΠΎΠΌ, ΠΊΠΎΠ³Π΄Π° Π²ΠΌΠ΅ΡΡΠΎ 404 ΠΊΠΎΠ΄Π° (ΡΡΡΠ°Π½ΠΈΡΠ° Π½Π΅ ΡΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ), ΡΠ΅ΡΠ²Π΅Ρ ΠΎΡΠ΄Π°Π΅Ρ ΠΊΠΎΠ΄ 200 ΠΈ ΡΡΠ°Π½Π΄Π°ΡΡΠ½ΡΡ ΡΡΡΠ°Π½ΠΈΡΡ ΠΎΡΠΈΠ±ΠΊΠΈ.
ΠΠΏΠΈΡΠ°Π½ΠΈΠ΅. ΠΠ±ΡΠ°Π±Π°ΡΡΠ²Π°ΡΡ 404 ΠΎΡΠΈΠ±ΠΊΡ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎ-ΡΠ°Π·Π½ΠΎΠΌΡ, Π½ΠΎ ΡΠΌΡΡΠ» ΠΎΡΡΠ°Π΅ΡΡΡ ΠΎΠ΄ΠΈΠ½. ΠΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΈ ΡΠ°ΠΌΡΠΉ ΠΏΡΠΎΡΡΠΎΠΉ Π²Π°ΡΠΈΠ°Π½Ρ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠΈ Π΄Π°Π½Π½ΠΎΠΉ ΠΎΡΠΈΠ±ΠΊΠΈ β ΡΠΎΠ·Π΄Π°Π½ΠΈΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ 404.htm ΠΈ Π·Π°ΠΏΠΈΡΡ Π² ΡΠ°ΠΉΠ»Π΅ .htaccess Β«ErrorDocument 404 /404.htmΒ». ΠΠ΄Π½Π°ΠΊΠΎ ΡΠ°ΠΊ ΠΏΠΎΡΡΡΠΏΠ°ΡΡ Π½Π΅ Π²ΡΠ΅ Π²Π΅Π±-ΠΌΠ°ΡΡΠ΅ΡΠ°, ΠΌΠ½ΠΎΠ³ΠΈΠ΅ Π½Π°ΡΡΡΠ°ΠΈΠ²Π°ΡΡ ΡΠ΅ΡΠ²Π΅Ρ Π½Π° Π²ΡΠ΄Π°ΡΡ Π³Π»Π°Π²Π½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ°ΠΉΡΠ° ΠΏΡΠΈ 404 ΠΎΡΠΈΠ±ΠΊΠ΅. ΠΠΎΡ Π·Π΄Π΅ΡΡ-ΡΠΎ ΠΈ ΡΠΏΡΡΡΠ°Π½ Β«ΠΏΠΎΠ΄Π²ΠΎΠ΄Π½ΡΠΉ ΠΊΠ°ΠΌΠ΅Π½ΡΒ». Π ΡΠ»ΡΡΠ°Π΅ Π½Π΅ΠΊΠΎΡΡΠ΅ΠΊΡΠ½ΡΡ Π½Π°ΡΡΡΠΎΠ΅ΠΊ ΡΠ΅ΡΠ²Π΅ΡΠ°, Π΄Π»Ρ ΡΡΡΠ°Π½ΠΈΡΡ Ρ ΠΎΡΠΈΠ±ΠΊΠΎΠΉ 404 (Ρ.Π΅. Π² Π΄Π°Π½Π½ΠΎΠΌ ΡΠ»ΡΡΠ°Π΅ ΠΎΡΠ΄Π°Π½Π½ΠΎΠΉ Π³Π»Π°Π²Π½ΠΎΠΉ), ΡΠ΅ΡΠ²Π΅Ρ Π²ΠΎΠ·Π²ΡΠ°ΡΠ°Π΅Ρ 200 OK. Π’Π°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ, ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΠ»ΡΡΠΈΡΡ ΡΡΠΎΠΏΡΠΎΡΠ΅Π½ΡΠ½ΡΠΉ Π΄ΡΠ±Π»ΠΈΠΊΠ°Ρ Π³Π»Π°Π²Π½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΡ, Π²ΡΠ»Π΅Π΄ΡΡΠ²ΠΈΠ΅ ΡΠ΅Π³ΠΎ ΡΠΎΠ±ΠΎΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠ° ΠΌΠΎΠΆΠ΅Ρ Β«ΡΠΊΠ»Π΅ΠΈΡΡΒ» Π΅Π΅ Ρ Π»ΡΠ±ΠΎΠΉ Π΄ΡΡΠ³ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΠ΅ΠΉ ΡΠ°ΠΉΡΠ°.
Π Π΅ΡΠ΅Π½ΠΈΠ΅. ΠΡΡ ΠΎΠ΄ ΠΈΠ· Π΄Π°Π½Π½ΠΎΠΉ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ ΡΠ°ΠΊΠΎΠ²: Π³ΡΠ°ΠΌΠΎΡΠ½Π°Ρ Π½Π°ΡΡΡΠΎΠΉΠΊΠ° ΡΠ΅ΡΠ²Π΅ΡΠ° ΠΈ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠ° 404 ΠΊΠΎΠ΄Π° ΡΠ΅ΡΠ΅Π· ΡΠ°ΠΉΠ» .htaccess ΠΏΡΡΠ΅ΠΌ ΡΠΎΠ·Π΄Π°Π½ΠΈΡ ΠΎΡΠ΄Π΅Π»ΡΠ½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΡ ΠΏΠΎΠ΄ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΡ ΠΎΡΠΈΠ±ΠΊΠΈ.
ΠΡΠΎΠ±Π»Π΅ΠΌΠ°. Π Π°Π·ΠΌΠ΅ΡΠ΅Π½ΠΈΠ΅ ΠΌΠ°ΡΠ΅ΡΠΈΠ°Π»ΠΎΠ² ΡΠ°ΠΉΡΠ° Π½Π° Π΄ΡΡΠ³ΠΈΡ
ΡΠ°ΠΉΡΠ°Ρ
, Π°, ΠΊΠ°ΠΊ ΡΠ»Π΅Π΄ΡΡΠ²ΠΈΠ΅, β Β«ΡΠΊΠ»Π΅ΠΈΠ²Π°Π½ΠΈΠ΅Β» ΠΈ ΠΏΠΎΡΠ΅ΡΡ ΠΏΠΎΠ·ΠΈΡΠΈΠΉ.
ΠΠΏΠΈΡΠ°Π½ΠΈΠ΅. ΠΠΏΠΈΡΠ°Π½ΠΈΠ΅ Π΄Π°Π½Π½ΠΎΠΉ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ Π·Π°ΠΊΠ»ΡΡΠ΅Π½ΠΎ Π² Π΅Π΅ Π½Π°Π·Π²Π°Π½ΠΈΠΈ, ΠΈ Π² ΡΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠΌ ΠΠ½ΡΠ΅ΡΠ½Π΅ΡΠ΅ Π²ΡΠ΅ΠΌ Ρ
ΠΎΡΠΎΡΠΎ ΠΈΠ·Π²Π΅ΡΡΠ½ΠΎ, ΡΡΠΎ ΠΏΠ»Π°Π³ΠΈΠ°Ρ β ΡΡΠΎ Β«Π²ΠΎΡΠΎΠ²ΡΡΠ²ΠΎΒ» ΠΊΠΎΠ½ΡΠ΅Π½ΡΠ° ΠΈ Β«ΠΏΡΠΈΡΠ²Π°ΠΈΠ²Π°Π½ΠΈΠ΅Β» Π°Π²ΡΠΎΡΡΠΊΠΈΡ
ΠΏΡΠ°Π², Π°, Ρ ΡΠΎΡΠΊΠΈ Π·ΡΠ΅Π½ΠΈΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ, β ΡΡΠΎ Π΅ΡΠ΅ ΠΈ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠ΅ΠΉ ΡΠ°ΠΉΡΠ° Π² Π²ΠΈΠ΄Π΅ ΠΏΠΎΡΠ²Π»Π΅Π½ΠΈΡ Π΄ΡΠ±Π»Π΅ΠΉ Π΅Π³ΠΎ ΡΡΡΠ°Π½ΠΈΡ.
Π Π΅ΡΠ΅Π½ΠΈΠ΅. Π Π΅ΡΠ΅Π½ΠΈΠ΅ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ Π·Π΄Π΅ΡΡ ΠΎΠ΄Π½ΠΎ β ΠΏΠΈΡΡΠΌΠΎ Ρ ΠΆΠ°Π»ΠΎΠ±ΠΎΠΉ ΠΎ Π½Π°ΡΡΡΠ΅Π½ΠΈΠΈ Π°Π²ΡΠΎΡΡΠΊΠΈΡ
ΠΏΡΠ°Π², Ρ
ΠΎΡΡΠ΅ΡΡ ΡΠ°ΠΉΡΠ°-ΠΏΠ»Π°Π³ΠΈΠ°ΡΠΎΡΠ°, ΠΏΡΠ΅Π΄Π²Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΏΡΠ΅Π΄ΡΠΏΡΠ΅Π΄ΠΈΠ², ΠΊΠΎΠ½Π΅ΡΠ½ΠΎ, Π²ΠΈΠ½ΠΎΠ²Π½ΠΎΠ³ΠΎ Π² ΡΠΎΠΌ, ΡΡΠΎ ΠΎΠ½ ΠΏΠΎΡΡΡΠΏΠ°Π΅Ρ Π½Π΅Π·Π°ΠΊΠΎΠ½Π½ΠΎ.
ΠΠ΅ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ Π½Π΅ΠΊΠΎΡΠΎΡΡΡ ΡΠ»Π΅ΠΌΠ΅Π½ΡΠΎΠ² ΡΡΡΠ°Π½ΠΈΡΡ ΠΌΠΎΠΆΠ΅Ρ Π±ΡΡΡ Π²ΡΠ·Π²Π°Π½Π° Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΠΌΠΈ ΠΏΡΠΈΡΠΈΠ½Π°ΠΌΠΈ:
- Π’Π΅ΠΊΡΡ Π·Π°ΠΊΠ»ΡΡΠ΅Π½ Π² ΡΠ΅Π³ . ΠΡΠΎ ΡΠΏΠ΅ΡΠΈΠ°Π»ΡΠ½ΡΠΉ ΡΠ΅Π³, Π·Π°ΠΏΡΠ΅ΡΠ°ΡΡΠΈΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΠ΅ΠΊΡΡΠ° ΡΠΎΠ±ΠΎΡΡ Π―Π½Π΄Π΅ΠΊΡΠ°.
- Π’Π΅ΠΊΡΡ ΡΠ°ΡΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ Π² ΡΠΊΡΠΈΠΏΡΠ΅, Ρ.Π΅ ΠΌΠ΅ΠΆΠ΄Ρ ΡΠ΅Π³Π°ΠΌΠΈ
- Π’Π΅ΠΊΡΡ ΡΠ°ΡΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ Π² ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΡΡ
- ΠΡΠ΅Π½Ρ ΠΌΠ°Π»Π΅Π½ΡΠΊΠΈΠΉ ΡΠ°Π·ΠΌΠ΅Ρ ΡΡΡΠ°Π½ΠΈΡΡ (Π―Π½Π΄Π΅ΠΊΡ Π½Π΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ ΡΠ°ΠΉΠ»Ρ ΠΌΠ΅Π½ΡΡΠ΅ 1 ΠΊΠ±)
- Π Π΅ΡΡΡΡ Π½Π΅ ΡΠΎΠ΄Π΅ΡΠΆΠΈΡ ΡΡΡΡΠΊΠΈΠΉ ΡΠ΅ΠΊΡΡ (ΠΎΠΏΡΡΡ ΠΆΠ΅, ΡΡΠΎ ΠΊΠ°ΡΠ°ΡΠ΅Π»ΡΠ½ΠΎ Π―Π½Π΄Π΅ΠΊΡΠ°)
ΠΠ°ΠΆΠ΄ΠΎΠΌΡ, ΠΊΡΠΎ Π²Π΅Π΄Π΅Ρ Π² ΠΠ½ΡΠ΅ΡΠ½Π΅ΡΠ΅ ΡΠ΅ΡΡΠ΅Π·Π½ΡΠΉ ΠΏΡΠΎΠ΅ΠΊΡ, Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΠΎΠ½ΠΈΠΌΠ°ΡΡ, ΠΊΠ°ΠΊ ΡΠΎΠ±ΠΎΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ. ΠΠ½Π°Π½ΠΈΠ΅ ΠΎ ΡΠΎΠΌ, ΠΊΠΎΠ³Π΄Π° ΡΠΎΠ±ΠΎΡ ΠΏΡΠΈΡ ΠΎΠ΄ΠΈΡ Π½Π° ΡΠ°ΠΉΡ, ΡΡΠΎ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ, ΡΡΠΎ Π½Π΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ, ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ ΠΈΠ·Π±Π΅ΠΆΠ°ΡΡ ΠΌΠ½ΠΎΠ³ΠΈΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌ, ΠΏΡΠ΅ΠΆΠ΄Π΅ Π²ΡΠ΅Π³ΠΎ ΡΠ΅Ρ Π½ΠΈΡΠ΅ΡΠΊΠΈΡ , ΡΠΆΠ΅ Π½Π° ΡΡΠ°Π΄ΠΈΠΈ ΡΠΎΠ·Π΄Π°Π½ΠΈΡ ΡΠ°ΠΉΡΠ° ΠΈ Π΄Π°Π»Π΅Π΅ β ΠΏΡΠΈ Π΅Π³ΠΎ ΡΠΎΠΏΡΠΎΠ²ΠΎΠΆΠ΄Π΅Π½ΠΈΠΈ.
Π§ΡΠΎΠ±Ρ Π½Π΅ Π·Π°Π΄Π°Π²Π°ΡΡΡΡ Π²ΠΎΠΏΡΠΎΡΠΎΠΌ, ΠΏΠΎΡΠ΅ΠΌΡ Π² ΠΎΡΠ΅ΡΠ΅Π΄Π½ΠΎΠΉ ΡΠ°Π· ΡΠ°ΠΉΡ ΠΏΡΠΎΠΏΠ°Π» ΠΈΠ· Π²ΡΠ΄Π°ΡΠΈ ΠΏΠΎ Π½Π΅ΠΊΠΎΡΠΎΡΠΎΠΌΡ Π·Π°ΠΏΡΠΎΡΡ, ΠΏΡΠ΅ΠΆΠ΄Π΅ Π²ΡΠ΅Π³ΠΎ, ΡΡΠΎΠΈΡ ΠΏΡΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡΠΎΠ²Π°ΡΡ, Π° ΡΡΠΎ ΠΆΠ΅ Π½Π° Π΄Π°Π½Π½ΡΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π» ΡΠΎΠ±ΠΎΡ Π½Π° ΡΠ°ΠΉΡΠ΅? ΠΠ΅ ΠΌΠΎΠ³Π»ΠΎ ΠΎΠΊΠ°Π·Π°ΡΡΡΡ ΡΠ°ΠΊ, ΡΡΠΎ Π½Π΅ΠΊΠΎΡΠΎΡΠ°Ρ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΡΡΠ°Π»Π° Π½Π΅Π΄ΠΎΡΡΡΠΏΠ½Π° ΡΠΎΠ±ΠΎΡΡ ΠΏΠΎ ΡΠ΅ΠΌ ΠΈΠ»ΠΈ ΠΈΠ½ΡΠΌ ΠΏΡΠΈΡΠΈΠ½Π°ΠΌ?
ΠΠ½Π°Π½ΠΈΠ΅ ΠΎΡΠ½ΠΎΠ² ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ° ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎ ΠΏΡΠΎΠΈΠ·Π²Π΅ΡΡΠΈ ΡΠ΅Π³ΠΈΡΡΡΠ°ΡΠΈΡ ΡΠ΅ΡΡΡΡΠ° Π² ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΠ΅ ΠΈ Π³ΡΠ°ΠΌΠΎΡΠ½ΠΎ ΠΎΡΡΡΠ΅ΡΡΠ²Π»ΡΡΡ Π΅Π³ΠΎ Π΄Π°Π»ΡΠ½Π΅ΠΉΡΠ΅Π΅ ΠΏΡΠΎΠ΄Π²ΠΈΠΆΠ΅Π½ΠΈΠ΅, ΡΡΠΎΠ±Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΠΈ Π²ΡΠ΅Π³Π΄Π° Π½Π°Ρ ΠΎΠ΄ΠΈΠ»ΠΈ ΠΠ°Ρ ΡΠ°ΠΉΡ Π½Π° ΠΏΡΠΎΡΡΠΎΡΠ°Ρ ΠΠ½ΡΠ΅ΡΠ½Π΅ΡΠ°.
www.internet-technologies.ru
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) β ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΠΎΠ±ΠΎΡ. |
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexBot/3.0; +http://yandex.com/bots) β ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΠΎΠ±ΠΎΡ. |
Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots) β ΡΠΊΠ°ΡΠΈΠ²Π°Π΅Ρ ΡΡΡΠ°Π½ΠΈΡΡ Π΄Π»Ρ ΠΏΡΠΎΠ²Π΅ΡΠΊΠΈ ΠΈΡ Π΄ΠΎΡΡΡΠΏΠ½ΠΎΡΡΠΈ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΡΠΌ, ΠΎΡΠΎΠ±ΡΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΈΠ½ΡΠ΅ΡΠΏΡΠ΅ΡΠΈΡΡΠ΅Ρ robots.txt. |
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ, ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΡΡΠΈΠΉ ΡΡΡΠ°Π½ΠΈΡΡ Ρ Π²Π΅ΡΡΡΠΊΠΎΠΉ, ΠΏΠΎΠ΄Ρ ΠΎΠ΄ΡΡΠ΅ΠΉ ΠΏΠΎΠ΄ ΠΌΠΎΠ±ΠΈΠ»ΡΠ½ΡΠ΅ ΡΡΡΡΠΎΠΉΡΡΠ²Π°, ΠΎΡΠΎΠ±ΡΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΈΠ½ΡΠ΅ΡΠΏΡΠ΅ΡΠΈΡΡΠ΅Ρ robots.txt. |
Mozilla/5.0 (compatible; YandexDirectDyn/1.0; +http://yandex.com/bots β ΡΠΎΠ±ΠΎΡ Π³Π΅Π½Π΅ΡΠ°ΡΠΈΠΈ Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈΡ Π±Π°Π½Π½Π΅ΡΠΎΠ², ΠΎΡΠΎΠ±ΡΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΈΠ½ΡΠ΅ΡΠΏΡΠ΅ΡΠΈΡΡΠ΅Ρ robots.txt. |
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36 (compatible; YandexScreenshotBot/3.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ, Π΄Π΅Π»Π°ΡΡΠΈΠΉ ΡΠ½ΠΈΠΌΠΎΠΊ ΡΡΡΠ°Π½ΠΈΡΡ, ΠΎΡΠΎΠ±ΡΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΈΠ½ΡΠ΅ΡΠΏΡΠ΅ΡΠΈΡΡΠ΅Ρ robots.txt. |
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) β ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΎΡ Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°ΡΡΠΈΠ½ΠΎΠΊ. |
Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) β ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΎΡ Π―Π½Π΄Π΅ΠΊΡ.ΠΠΈΠ΄Π΅ΠΎ. |
ozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots) β ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΎΡ Π―Π½Π΄Π΅ΠΊΡ.ΠΠΈΠ΄Π΅ΠΎ, ΠΎΡΠΎΠ±ΡΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΈΠ½ΡΠ΅ΡΠΏΡΠ΅ΡΠΈΡΡΠ΅Ρ robots.txt. |
Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΠΌΡΠ»ΡΡΠΈΠΌΠ΅Π΄ΠΈΠΉΠ½ΡΠ΅ Π΄Π°Π½Π½ΡΠ΅. |
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ ΠΏΠΎΠΈΡΠΊΠ° ΠΏΠΎ Π±Π»ΠΎΠ³Π°ΠΌ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ ΠΏΠΎΡΡΠΎΠ². |
Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)β ΡΠΎΠ±ΠΎΡ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΠΏΠΈΠΊΡΠΎΠ³ΡΠ°ΠΌΠΌΡ ΡΠ°ΠΉΡΠΎΠ² (favicons). |
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)β ΡΠΎΠ±ΠΎΡ ΡΠ΅ΡΠ²ΠΈΡΠ° Π―Π½Π΄Π΅ΠΊΡ.ΠΠ΅Π±ΠΌΠ°ΡΡΠ΅Ρ. |
Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots)β ΡΠΎΠ±ΠΎΡ, ΠΎΠ±ΡΠ°ΡΠ°ΡΡΠΈΠΉΡΡ ΠΊ ΡΡΡΠ°Π½ΠΈΡΠ΅ ΠΏΡΠΈ Π²Π°Π»ΠΈΠ΄Π°ΡΠΈΠΈ ΠΌΠΈΠΊΡΠΎΡΠ°Π·ΠΌΠ΅ΡΠΊΠΈ ΡΠ΅ΡΠ΅Π· ΡΠΎΡΠΌΡ ΠΠ°Π»ΠΈΠ΄Π°ΡΠΎΡ ΠΌΠΈΠΊΡΠΎΡΠ°Π·ΠΌΠ΅ΡΠΊΠΈ. |
Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ ΠΌΠΎΠ±ΠΈΠ»ΡΠ½ΡΡ ΡΠ΅ΡΠ²ΠΈΡΠΎΠ². |
Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ Π Π΅ΠΊΠ»Π°ΠΌΠ½ΠΎΠΉ ΡΠ΅ΡΠΈ Π―Π½Π΄Π΅ΠΊΡΠ°. |
Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) β ΡΠΊΠ°ΡΠΈΠ²Π°Π΅Ρ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΎ ΠΊΠΎΠ½ΡΠ΅Π½ΡΠ΅ ΡΠ°ΠΉΡΠΎΠ²-ΠΏΠ°ΡΡΠ½Π΅ΡΠΎΠ² Π Π΅ΠΊΠ»Π°ΠΌΠ½ΠΎΠΉ ΡΠ΅ΡΠΈ, ΡΡΠΎΠ±Ρ ΡΡΠΎΡΠ½ΠΈΡΡ ΠΈΡ ΡΠ΅ΠΌΠ°ΡΠΈΠΊΡ Π΄Π»Ρ ΠΏΠΎΠ΄Π±ΠΎΡΠ° ΡΠ΅Π»Π΅Π²Π°Π½ΡΠ½ΠΎΠΉ ΡΠ΅ΠΊΠ»Π°ΠΌΡ, ΠΎΡΠΎΠ±ΡΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΈΠ½ΡΠ΅ΡΠΏΡΠ΅ΡΠΈΡΡΠ΅Ρ robots.txt. |
Mozilla/5.0 (compatible; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots) β ΡΠΊΠ°ΡΠΈΠ²Π°Π΅Ρ ΡΠ΅Π»Π΅Π²ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ΅ΠΊΠ»Π°ΠΌΠ½ΡΡ ΠΎΠ±ΡΡΠ²Π»Π΅Π½ΠΈΠΉ Π΄Π»Ρ ΠΏΡΠΎΠ²Π΅ΡΠΊΠΈ ΠΈΡ Π΄ΠΎΡΡΡΠΏΠ½ΠΎΡΡΠΈ ΠΈ ΡΡΠΎΡΠ½Π΅Π½ΠΈΡ ΡΠ΅ΠΌΠ°ΡΠΈΠΊΠΈ. ΠΡΠΎ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ Π΄Π»Ρ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ΠΈΡ ΠΎΠ±ΡΡΠ²Π»Π΅Π½ΠΈΠΉ Π² ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ Π²ΡΠ΄Π°ΡΠ΅ ΠΈ Π½Π° ΡΠ°ΠΉΡΠ°Ρ -ΠΏΠ°ΡΡΠ½Π΅ΡΠ°Ρ . ΠΡΠΈ ΠΎΠ±Ρ ΠΎΠ΄Π΅ ΡΠ°ΠΉΡΠ° ΡΠΎΠ±ΠΎΡ Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ ΡΠ°ΠΉΠ» robots.txt, ΠΏΠΎΡΡΠΎΠΌΡ ΠΈΠ³Π½ΠΎΡΠΈΡΡΠ΅Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ, ΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½Π½ΡΠ΅ Π΄Π»Ρ Π½Π΅Π³ΠΎ. |
Mozilla/5.0 (compatible; YandexCalendar/1.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°Π»Π΅Π½Π΄Π°ΡΡ, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ Π΄Π»Ρ ΡΠΈΠ½Ρ ΡΠΎΠ½ΠΈΠ·Π°ΡΠΈΠΈ Ρ Π΄ΡΡΠ³ΠΈΠΌΠΈ ΠΊΠ°Π»Π΅Π½Π΄Π°ΡΡΠΌΠΈ, ΠΎΡΠΎΠ±ΡΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΈΠ½ΡΠ΅ΡΠΏΡΠ΅ΡΠΈΡΡΠ΅Ρ robots.txt. |
Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots) β Β«ΠΏΡΠΎΡΡΡΠΊΠΈΠ²Π°Π»ΠΊΠ°Β» Π±ΡΡΡΡΡΡ ΡΡΡΠ»ΠΎΠΊ, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ Π΄Π»Ρ ΠΏΡΠΎΠ²Π΅ΡΠΊΠΈ Π΄ΠΎΡΡΡΠΏΠ½ΠΎΡΡΠΈ ΡΡΡΠ°Π½ΠΈΡ, ΠΎΠΏΡΠ΅Π΄Π΅Π»ΠΈΠ²ΡΠΈΡ ΡΡ Π² ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅ Π±ΡΡΡΡΡΡ ΡΡΡΠ»ΠΎΠΊ. |
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡ.ΠΠ΅ΡΡΠΈΠΊΠΈ, ΠΎΡΠΎΠ±ΡΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΈΠ½ΡΠ΅ΡΠΏΡΠ΅ΡΠΈΡΡΠ΅Ρ robots.txt. |
Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡ.ΠΠΎΠ²ΠΎΡΡΠ΅ΠΉ; |
Mozilla/5.0 (compatible; YandexNewslinks; +http://yandex.com/bots) β Β«ΠΏΡΠΎΡΡΡΠΊΠΈΠ²Π°Π»ΠΊΠ°Β» Π―Π½Π΄Π΅ΠΊΡ.ΠΠΎΠ²ΠΎΡΡΠ΅ΠΉ, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ Π΄Π»Ρ ΠΏΡΠΎΠ²Π΅ΡΠΊΠΈ ΡΡΡΠ»ΠΎΠΊ ΠΈΠ· Π½ΠΎΠ²ΠΎΡΡΠ½ΡΡ ΠΌΠ°ΡΠ΅ΡΠΈΠ°Π»ΠΎΠ². |
Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots) β Β«ΠΏΡΠΎΡΡΡΠΊΠΈΠ²Π°Π»ΠΊΠ°Β» Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°ΡΠ°Π»ΠΎΠ³Π°, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ Π΄Π»Ρ Π²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠ³ΠΎ ΡΠ½ΡΡΠΈΡ Ρ ΠΏΡΠ±Π»ΠΈΠΊΠ°ΡΠΈΠΈ Π½Π΅Π΄ΠΎΡΡΡΠΏΠ½ΡΡ ΡΠ°ΠΉΡΠΎΠ² Π² ΠΠ°ΡΠ°Π»ΠΎΠ³Π΅. |
Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots) β Π°Π½ΡΠΈΠ²ΠΈΡΡΡΠ½ΡΠΉ ΡΠΎΠ±ΠΎΡ, ΠΊΠΎΡΠΎΡΡΠΉ ΠΏΡΠΎΠ²Π΅ΡΡΠ΅Ρ ΡΡΡΠ°Π½ΠΈΡΡ Π½Π° Π½Π°Π»ΠΈΡΠΈΠ΅ ΠΎΠΏΠ°ΡΠ½ΠΎΠ³ΠΎ ΠΊΠΎΠ΄Π°. |
Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°ΡΠΊΠ΅ΡΠ°. |
Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ Π²Π΅ΡΡΠΈΠΊΠ°Π»Π΅ΠΉ. |
Mozilla/5.0 (compatible; YandexForDomain/1.0; +http://yandex.com/bots) β Π ΠΎΠ±ΠΎΡ ΠΏΠΎΡΡΡ Π΄Π»Ρ Π΄ΠΎΠΌΠ΅Π½Π°, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ ΠΏΡΠΈ ΠΏΡΠΎΠ²Π΅ΡΠΊΠ΅ ΠΏΡΠ°Π² Π½Π° Π²Π»Π°Π΄Π΅Π½ΠΈΠ΅ Π΄ΠΎΠΌΠ΅Π½ΠΎΠΌ. |
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ, ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΡΡΠΈΠΉ Π·Π΅ΡΠΊΠ°Π»Π° ΡΠ°ΠΉΡΠΎΠ²; |
Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡ.Π‘ΠΏΡΠ°Π²ΠΎΡΠ½ΠΈΠΊΠ°. |
Mozilla/5.0 (compatible; YandexSearchShop/1.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ, ΠΊΠΎΡΠΎΡΡΠΉ ΡΠ΅Π³ΡΠ»ΡΡΠ½ΠΎ ΡΠΊΠ°ΡΠΈΠ²Π°Π΅Ρ YML-ΡΠ°ΠΉΠ»Ρ ΠΊΠ°ΡΠ°Π»ΠΎΠ³ΠΎΠ² ΡΠΎΠ²Π°ΡΠΎΠ² (ΠΏΠΎ ΠΈΠ½ΠΈΡΠΈΠ°ΡΠΈΠ²Π΅ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ), ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠ°ΡΡΠΎ ΡΠ°ΡΠΏΠΎΠ»Π°Π³Π°ΡΡΡΡ Π² Π·Π°ΠΏΡΠ΅ΡΠ΅Π½Π½ΡΡ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π°Ρ .ΠΡΠΎΠ±ΡΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΈΠ½ΡΠ΅ΡΠΏΡΠ΅ΡΠΈΡΡΠ΅Ρ robots.txt. |
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36 (compatible; YandexMedianaBot/1.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ ΡΠ΅ΡΠ²ΠΈΡΠ° Π―Π½Π΄Π΅ΠΊΡ.ΠΠ΅Π΄ΠΈΠ°Π½Π°, ΠΎΡΠΎΠ±ΡΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΈΠ½ΡΠ΅ΡΠΏΡΠ΅ΡΠΈΡΡΠ΅Ρ robots.txt. |
Mozilla/5.0 (compatible; YandexOntoDB/1.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ½ΠΎΠ³ΠΎ ΠΎΡΠ²Π΅ΡΠ°. |
Mozilla/5.0 (compatible; YandexOntoDBAPI/1.0; +http://yandex.com/bots) β ΡΠΎΠ±ΠΎΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ½ΠΎΠ³ΠΎ ΠΎΡΠ²Π΅ΡΠ°, ΡΠΊΠ°ΡΠΈΠ²Π°ΡΡΠΈΠΉ Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈΠ΅ Π΄Π°Π½Π½ΡΠ΅, ΠΎΡΠΎΠ±ΡΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΈΠ½ΡΠ΅ΡΠΏΡΠ΅ΡΠΈΡΡΠ΅Ρ robots.txt. |
info-effect.ru
Robots.txt — ΠΠ°ΠΊ ΡΠΎΠ·Π΄Π°ΡΡ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΡΠΉ robots.txt
Π€Π°ΠΉΠ» robots.txt ΡΠ²Π»ΡΠ΅ΡΡΡ ΠΎΠ΄Π½ΠΈΠΌ ΠΈΠ· ΡΠ°ΠΌΡΡ
Π²Π°ΠΆΠ½ΡΡ
ΠΏΡΠΈ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ Π»ΡΠ±ΠΎΠ³ΠΎ ΡΠ°ΠΉΡΠ°. ΠΠ³ΠΎ ΠΎΡΡΡΡΡΡΠ²ΠΈΠ΅ ΠΌΠΎΠΆΠ΅Ρ ΠΏΡΠΈΠ²Π΅ΡΡΠΈ ΠΊ Π²ΡΡΠΎΠΊΠΎΠΉ Π½Π°Π³ΡΡΠ·ΠΊΠ΅ Π½Π° ΡΠ°ΠΉΡ ΡΠΎ ΡΡΠΎΡΠΎΠ½Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ
ΡΠΎΠ±ΠΎΡΠΎΠ² ΠΈ ΠΌΠ΅Π΄Π»Π΅Π½Π½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΠΈ ΠΏΠ΅ΡΠ΅ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ, Π° Π½Π΅ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½Π°Ρ Π½Π°ΡΡΡΠΎΠΉΠΊΠ° ΠΊ ΡΠΎΠΌΡ, ΡΡΠΎ ΡΠ°ΠΉΡ ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ ΠΏΡΠΎΠΏΠ°Π΄Π΅Ρ ΠΈΠ· ΠΏΠΎΠΈΡΠΊΠ° ΠΈΠ»ΠΈ ΠΏΡΠΎΡΡΠΎ Π½Π΅ Π±ΡΠ΄Π΅Ρ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½. Π‘Π»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎ, Π½Π΅ Π±ΡΠ΄Π΅Ρ ΠΈΡΠΊΠ°ΡΡΡΡ Π² Π―Π½Π΄Π΅ΠΊΡΠ΅, Google ΠΈ Π΄ΡΡΠ³ΠΈΡ
ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ
ΡΠΈΡΡΠ΅ΠΌΠ°Ρ
. ΠΠ°Π²Π°ΠΉΡΠ΅ ΡΠ°Π·Π±Π΅ΡΠ΅ΠΌΡΡ Π²ΠΎ Π²ΡΠ΅Ρ
Π½ΡΠ°Π½ΡΠ°Ρ
ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎΠΉ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ robots.txt.
ΠΠ»Ρ Π½Π°ΡΠ°Π»Π° ΠΊΠΎΡΠΎΡΠΊΠΎΠ΅ Π²ΠΈΠ΄Π΅ΠΎ, ΠΊΠΎΡΠΎΡΠΎΠ΅ ΡΠΎΠ·Π΄Π°ΡΡ ΠΎΠ±ΡΠ΅Π΅ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½ΠΈΠ΅ ΠΎ ΡΠΎΠΌ, ΡΡΠΎ ΡΠ°ΠΊΠΎΠ΅ ΡΠ°ΠΉΠ» robots.txt.
ΠΠ°ΠΊ Π²Π»ΠΈΡΠ΅Ρ robots.txt Π½Π° ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΠ°ΠΉΡΠ°
ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΎΠ±ΠΎΡΡ Π±ΡΠ΄ΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ Π²Π°Ρ ΡΠ°ΠΉΡ Π½Π΅Π·Π°Π²ΠΈΡΠΈΠΌΠΎ ΠΎΡ Π½Π°Π»ΠΈΡΠΈΡ ΡΠ°ΠΉΠ»Π° robots.txt. ΠΡΠ»ΠΈ ΠΆΠ΅ ΡΠ°ΠΊΠΎΠΉ ΡΠ°ΠΉΠ» ΡΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ, ΡΠΎ ΡΠΎΠ±ΠΎΡΡ ΠΌΠΎΠ³ΡΡ ΡΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²ΠΎΠ²Π°ΡΡΡΡ ΠΏΡΠ°Π²ΠΈΠ»Π°ΠΌΠΈ, ΠΊΠΎΡΠΎΡΡΠ΅ Π² ΡΡΠΎΠΌ ΡΠ°ΠΉΠ»Π΅ ΠΏΡΠΎΠΏΠΈΡΡΠ²Π°ΡΡΡΡ. ΠΡΠΈ ΡΡΠΎΠΌ Π½Π΅ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠΎΠ±ΠΎΡΡ ΠΌΠΎΠ³ΡΡ ΠΈΠ³Π½ΠΎΡΠΈΡΠΎΠ²Π°ΡΡ ΡΠ΅ ΠΈΠ»ΠΈ ΠΈΠ½ΡΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π°, Π»ΠΈΠ±ΠΎ Π½Π΅ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π° ΠΌΠΎΠ³ΡΡ Π±ΡΡΡ ΡΠΏΠ΅ΡΠΈΡΠΈΡΠ½ΡΠΌΠΈ ΡΠΎΠ»ΡΠΊΠΎ Π΄Π»Ρ Π½Π΅ΠΊΠΎΡΠΎΡΡΡ Π±ΠΎΡΠΎΠ². Π ΡΠ°ΡΡΠ½ΠΎΡΡΠΈ, GoogleBot Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Host ΠΈ Crawl-Delay, YandexNews Ρ Π½Π΅Π΄Π°Π²Π½ΠΈΡ ΠΏΠΎΡ ΡΡΠ°Π» ΠΈΠ³Π½ΠΎΡΠΈΡΠΎΠ²Π°ΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Crawl-Delay, Π° YandexDirect ΠΈ YandexVideoParser ΠΈΠ³Π½ΠΎΡΠΈΡΡΡΡ Π±ΠΎΠ»Π΅Π΅ ΠΎΠ±ΡΠΈΠ΅ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Π² ΡΠΎΠ±ΠΎΡΡΠ΅ (Π½ΠΎ ΡΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²ΡΡΡΡΡ ΡΠ΅ΠΌΠΈ, ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠΊΠ°Π·Π°Π½Ρ ΡΠΏΠ΅ΡΠΈΠ°Π»ΡΠ½ΠΎ Π΄Π»Ρ Π½ΠΈΡ ).
ΠΠΎΠ΄ΡΠΎΠ±Π½Π΅Π΅ ΠΎΠ± ΠΈΡΠΊΠ»ΡΡΠ΅Π½ΠΈΡΡ
:
ΠΡΠΊΠ»ΡΡΠ΅Π½ΠΈΡ Π―Π½Π΄Π΅ΠΊΡΠ°
Π‘ΡΠ°Π½Π΄Π°ΡΡ ΠΈΡΠΊΠ»ΡΡΠ΅Π½ΠΈΠΉ Π΄Π»Ρ ΡΠΎΠ±ΠΎΡΠΎΠ² (ΠΠΈΠΊΠΈΠΏΠ΅Π΄ΠΈΡ)
ΠΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΡΡ Π½Π°Π³ΡΡΠ·ΠΊΡ Π½Π° ΡΠ°ΠΉΡ ΡΠΎΠ·Π΄Π°ΡΡ ΡΠΎΠ±ΠΎΡΡ, ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠΊΠ°ΡΠΈΠ²Π°ΡΡ ΠΊΠΎΠ½ΡΠ΅Π½Ρ Ρ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ°. Π‘Π»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎ, ΡΠΊΠ°Π·ΡΠ²Π°Ρ, ΡΡΠΎ ΠΈΠΌΠ΅Π½Π½ΠΎ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ, Π° ΡΡΠΎ ΠΈΠ³Π½ΠΎΡΠΈΡΠΎΠ²Π°ΡΡ, Π° ΡΠ°ΠΊΠΆΠ΅ Ρ ΠΊΠ°ΠΊΠΈΠΌΠΈ Π²ΡΠ΅ΠΌΠ΅Π½Π½ΡΜΠΌΠΈ ΠΏΡΠΎΠΌΠ΅ΠΆΡΡΠΊΠ°ΠΌΠΈ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΡ ΡΠΊΠ°ΡΠΈΠ²Π°Π½ΠΈΠ΅, Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅, Ρ ΠΎΠ΄Π½ΠΎΠΉ ΡΡΠΎΡΠΎΠ½Ρ, Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎ ΡΠ½ΠΈΠ·ΠΈΡΡ Π½Π°Π³ΡΡΠ·ΠΊΡ Π½Π° ΡΠ°ΠΉΡ ΡΠΎ ΡΡΠΎΡΠΎΠ½Ρ ΡΠΎΠ±ΠΎΡΠΎΠ², Π° Ρ Π΄ΡΡΠ³ΠΎΠΉ ΡΡΠΎΡΠΎΠ½Ρ, ΡΡΠΊΠΎΡΠΈΡΡ ΠΏΡΠΎΡΠ΅ΡΡ ΡΠΊΠ°ΡΠΈΠ²Π°Π½ΠΈΡ, Π·Π°ΠΏΡΠ΅ΡΠΈΠ² ΠΎΠ±Ρ ΠΎΠ΄ Π½Π΅Π½ΡΠΆΠ½ΡΡ ΡΡΡΠ°Π½ΠΈΡ.
Π ΡΠ°ΠΊΠΈΠΌ Π½Π΅Π½ΡΠΆΠ½ΡΠΌ ΡΡΡΠ°Π½ΠΈΡΠ°ΠΌ ΠΎΡΠ½ΠΎΡΡΡΡΡ ΡΠΊΡΠΈΠΏΡΡ ajax, json, ΠΎΡΠ²Π΅ΡΠ°ΡΡΠΈΠ΅ Π·Π° Π²ΡΠΏΠ»ΡΠ²Π°ΡΡΠΈΠ΅ ΡΠΎΡΠΌΡ, Π±Π°Π½Π½Π΅ΡΡ, Π²ΡΠ²ΠΎΠ΄ ΠΊΠ°ΠΏΡΡΠΈ ΠΈ Ρ.Π΄., ΡΠΎΡΠΌΡ Π·Π°ΠΊΠ°Π·Π° ΠΈ ΠΊΠΎΡΠ·ΠΈΠ½Π° ΡΠΎ Π²ΡΠ΅ΠΌΠΈ ΡΠ°Π³Π°ΠΌΠΈ ΠΎΡΠΎΡΠΌΠ»Π΅Π½ΠΈΡ ΠΏΠΎΠΊΡΠΏΠΊΠΈ, ΡΡΠ½ΠΊΡΠΈΠΎΠ½Π°Π» ΠΏΠΎΠΈΡΠΊΠ°, Π»ΠΈΡΠ½ΡΠΉ ΠΊΠ°Π±ΠΈΠ½Π΅Ρ, Π°Π΄ΠΌΠΈΠ½ΠΊΠ°.
ΠΠ»Ρ Π±ΠΎΠ»ΡΡΠΈΠ½ΡΡΠ²Π° ΡΠΎΠ±ΠΎΡΠΎΠ² ΡΠ°ΠΊΠΆΠ΅ ΠΆΠ΅Π»Π°ΡΠ΅Π»ΡΠ½ΠΎ ΠΎΡΠΊΠ»ΡΡΠΈΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ Π²ΡΠ΅Ρ JS ΠΈ CSS. ΠΠΎ Π΄Π»Ρ GoogleBot ΠΈ Yandex ΡΠ°ΠΊΠΈΠ΅ ΡΠ°ΠΉΠ»Ρ Π½ΡΠΆΠ½ΠΎ ΠΎΡΡΠ°Π²ΠΈΡΡ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΠΎΠ½ΠΈ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌΠΈ ΡΠΈΡΡΠ΅ΠΌΠ°ΠΌΠΈ Π΄Π»Ρ Π°Π½Π°Π»ΠΈΠ·Π° ΡΠ΄ΠΎΠ±ΡΡΠ²Π° ΡΠ°ΠΉΡΠ° ΠΈ Π΅Π³ΠΎ ΡΠ°Π½ΠΆΠΈΡΠΎΠ²Π°Π½ΠΈΡ (ΠΏΡΡΡ Google, ΠΏΡΡΡ Π―Π½Π΄Π΅ΠΊΡ).
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ robots.txt
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ β ΡΡΠΎ ΠΏΡΠ°Π²ΠΈΠ»Π° Π΄Π»Ρ ΡΠΎΠ±ΠΎΡΠΎΠ². ΠΡΡΡ ΡΠΏΠ΅ΡΠΈΡΠΈΠΊΠ°ΡΠΈΡ W3C ΠΎΡ 30 ΡΠ½Π²Π°ΡΡ 1994 Π³ΠΎΠ΄Π° ΠΈ ΡΠ°ΡΡΠΈΡΠ΅Π½Π½ΡΠΉ ΡΡΠ°Π½Π΄Π°ΡΡ ΠΎΡ 1996 Π³ΠΎΠ΄Π°. ΠΠ΄Π½Π°ΠΊΠΎ Π½Π΅ Π²ΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ ΠΈ ΡΠΎΠ±ΠΎΡΡ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°ΡΡ ΡΠ΅ ΠΈΠ»ΠΈ ΠΈΠ½ΡΠ΅ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ. Π ΡΠ²ΡΠ·ΠΈ Ρ ΡΡΠΈΠΌ Π΄Π»Ρ Π½Π°Ρ ΠΏΠΎΠ»Π΅Π·Π½Π΅Π΅ Π±ΡΠ΄Π΅Ρ Π·Π½Π°ΡΡ Π½Π΅ ΡΡΠ°Π½Π΄Π°ΡΡ, Π° ΡΠΎ, ΠΊΠ°ΠΊ ΡΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²ΡΡΡΡΡ ΡΠ΅ΠΌΠΈ ΠΈΠ»ΠΈ ΠΈΠ½ΡΠΌΠΈ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ ΠΎΡΠ½ΠΎΠ²Π½ΡΠ΅ ΡΠΎΠ±ΠΎΡΡ.
ΠΠ°Π²Π°ΠΉΡΠ΅ ΡΠ°ΡΡΠΌΠΎΡΡΠΈΠΌ ΠΏΠΎ ΠΏΠΎΡΡΠ΄ΠΊΡ.
User-agent
ΠΡΠΎ ΡΠ°ΠΌΠ°Ρ Π³Π»Π°Π²Π½Π°Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π°, ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΡΡΠ°Ρ Π΄Π»Ρ ΠΊΠ°ΠΊΠΈΡ ΡΠΎΠ±ΠΎΡΠΎΠ² Π΄Π°Π»Π΅Π΅ ΡΠ»Π΅Π΄ΡΡΡ ΠΏΡΠ°Π²ΠΈΠ»Π°.
ΠΠ»Ρ Π²ΡΠ΅Ρ
ΡΠΎΠ±ΠΎΡΠΎΠ²:User-agent: *
ΠΠ»Ρ ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΠΎΠ³ΠΎ Π±ΠΎΡΠ°:User-agent: GoogleBot
ΠΠ±ΡΠ°ΡΠΈΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, ΡΡΠΎ Π² robots.txt Π½Π΅ Π²Π°ΠΆΠ΅Π½ ΡΠ΅Π³ΠΈΡΡΡ ΡΠΈΠΌΠ²ΠΎΠ»ΠΎΠ². Π’.Π΅. ΡΠ·Π΅Ρ-Π°Π³Π΅Π½Ρ Π΄Π»Ρ Π³ΡΠ³Π»Π° ΠΌΠΎΠΆΠ½ΠΎ Ρ ΡΠ°ΠΊΠΈΠΌ ΠΆΠ΅ ΡΡΠΏΠ΅Ρ
ΠΎΠΌ Π·Π°ΠΏΠΈΡΠ°ΡΡ ΡΠΎΠ»Π΅Π΄ΡΡΡΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ:user-agent: googlebot
ΠΠΈΠΆΠ΅ ΠΏΡΠΈΠ²Π΅Π΄Π΅Π½Π° ΡΠ°Π±Π»ΠΈΡΠ° ΠΎΡΠ½ΠΎΠ²Π½ΡΡ ΡΠ·Π΅Ρ-Π°Π³Π΅Π½ΡΠΎΠ² ΡΠ°Π·Π»ΠΈΡΠ½ΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ.
ΠΠΎΡ | Π€ΡΠ½ΠΊΡΠΈΡ |
---|---|
Googlebot | ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΠΎΠ±ΠΎΡ Google |
Googlebot-News | Google ΠΠΎΠ²ΠΎΡΡΠΈ |
Googlebot-Image | Google ΠΠ°ΡΡΠΈΠ½ΠΊΠΈ |
Googlebot-Video | Π²ΠΈΠ΄Π΅ΠΎ |
Mediapartners-Google | Google AdSense, Google Mobile AdSense |
Mediapartners | Google AdSense, Google Mobile AdSense |
AdsBot-Google | ΠΏΡΠΎΠ²Π΅ΡΠΊΠ° ΠΊΠ°ΡΠ΅ΡΡΠ²Π° ΡΠ΅Π»Π΅Π²ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΡ |
AdsBot-Google-Mobile-Apps | Π ΠΎΠ±ΠΎΡ Google Π΄Π»Ρ ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ |
Π―Π½Π΄Π΅ΠΊΡ | |
YandexBot | ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΠΎΠ±ΠΎΡ Π―Π½Π΄Π΅ΠΊΡΠ° |
YandexImages | Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°ΡΡΠΈΠ½ΠΊΠΈ |
YandexVideo | Π―Π½Π΄Π΅ΠΊΡ.ΠΠΈΠ΄Π΅ΠΎ |
YandexMedia | ΠΌΡΠ»ΡΡΠΈΠΌΠ΅Π΄ΠΈΠΉΠ½ΡΠ΅ Π΄Π°Π½Π½ΡΠ΅ |
YandexBlogs | ΡΠΎΠ±ΠΎΡ ΠΏΠΎΠΈΡΠΊΠ° ΠΏΠΎ Π±Π»ΠΎΠ³Π°ΠΌ |
YandexAddurl | ΡΠΎΠ±ΠΎΡ, ΠΎΠ±ΡΠ°ΡΠ°ΡΡΠΈΠΉΡΡ ΠΊ ΡΡΡΠ°Π½ΠΈΡΠ΅ ΠΏΡΠΈ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΠΈ Π΅Π΅ ΡΠ΅ΡΠ΅Π· ΡΠΎΡΠΌΡ Β«ΠΠΎΠ±Π°Π²ΠΈΡΡ URLΒ» |
YandexFavicons | ΡΠΎΠ±ΠΎΡ, ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΠΏΠΈΠΊΡΠΎΠ³ΡΠ°ΠΌΠΌΡ ΡΠ°ΠΉΡΠΎΠ² (favicons) |
YandexDirect | Π―Π½Π΄Π΅ΠΊΡ.ΠΠΈΡΠ΅ΠΊΡ |
YandexMetrika | Π―Π½Π΄Π΅ΠΊΡ.ΠΠ΅ΡΡΠΈΠΊΠ° |
YandexCatalog | Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°ΡΠ°Π»ΠΎΠ³ |
YandexNews | Π―Π½Π΄Π΅ΠΊΡ.ΠΠΎΠ²ΠΎΡΡΠΈ |
YandexImageResizer | ΡΠΎΠ±ΠΎΡ ΠΌΠΎΠ±ΠΈΠ»ΡΠ½ΡΡ ΡΠ΅ΡΠ²ΠΈΡΠΎΠ² |
Bing | |
Bingbot | ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΠΎΠ±ΠΎΡ Bing |
Yahoo! | |
Slurp | ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΠΎΠ±ΠΎΡ Yahoo! |
Mail.Ru | |
Mail.Ru | ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΠΎΠ±ΠΎΡ Mail.Ru |
Rambler | |
StackRambler | Π Π°Π½Π΅Π΅ ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΡΡΠΈΠΉ ΡΠΎΠ±ΠΎΡ Rambler. ΠΠ΄Π½Π°ΠΊΠΎ Ρ 23.06.11 Rambler ΠΏΠ΅ΡΠ΅ΡΡΠ°Π΅Ρ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°ΡΡ ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌΡ ΠΈ ΡΠ΅ΠΏΠ΅ΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ Π½Π° ΡΠ²ΠΎΠΈΡ ΡΠ΅ΡΠ²ΠΈΡΠ°Ρ ΡΠ΅Ρ Π½ΠΎΠ»ΠΎΠ³ΠΈΡ Π―Π½Π΄Π΅ΠΊΡΠ°. ΠΠΎΠ»Π΅Π΅ Π½Π΅ Π°ΠΊΡΡΠ°Π»ΡΠ½ΠΎ. |
Disallow ΠΈ Allow
Disallow Π·Π°ΠΊΡΡΠ²Π°Π΅Ρ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΡΡΠ°Π½ΠΈΡΡ ΠΈ ΡΠ°Π·Π΄Π΅Π»Ρ ΡΠ°ΠΉΡΠ°.
Allow ΠΏΡΠΈΠ½ΡΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΎΡΠΊΡΡΠ²Π°Π΅Ρ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΡΡΠ°Π½ΠΈΡΡ ΠΈ ΡΠ°Π·Π΄Π΅Π»Ρ ΡΠ°ΠΉΡΠ°.
ΠΠΎ Π·Π΄Π΅ΡΡ Π½Π΅ Π²ΡΠ΅ ΡΠ°ΠΊ ΠΏΡΠΎΡΡΠΎ.
ΠΠΎ-ΠΏΠ΅ΡΠ²ΡΡ , Π½ΡΠΆΠ½ΠΎ Π·Π½Π°ΡΡ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΡΠ΅ ΠΎΠΏΠ΅ΡΠ°ΡΠΎΡΡ ΠΈ ΠΏΠΎΠ½ΠΈΠΌΠ°ΡΡ, ΠΊΠ°ΠΊ ΠΎΠ½ΠΈ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡΡΡ β ΡΡΠΎ *, $ ΠΈ #.
* β ΡΡΠΎ Π»ΡΠ±ΠΎΠ΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΠΈΠΌΠ²ΠΎΠ»ΠΎΠ², Π² ΡΠΎΠΌ ΡΠΈΡΠ»Π΅ ΠΈ ΠΈΡ
ΠΎΡΡΡΡΡΡΠ²ΠΈΠ΅. ΠΡΠΈ ΡΡΠΎΠΌ Π² ΠΊΠΎΠ½ΡΠ΅ ΡΡΡΠΎΠΊΠΈ Π·Π²Π΅Π·Π΄ΠΎΡΠΊΡ ΠΌΠΎΠΆΠ½ΠΎ Π½Π΅ ΡΡΠ°Π²ΠΈΡΡ, ΠΏΠΎΠ΄ΡΠ°Π·ΡΠΌΠ΅Π²Π°Π΅ΡΡΡ, ΡΡΠΎ ΠΎΠ½Π° ΡΠ°ΠΌ Π½Π°Ρ
ΠΎΠ΄ΠΈΡΡΡ ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ.
$ β ΠΏΠΎΠΊΠ°Π·ΡΠ²Π°Π΅Ρ, ΡΡΠΎ ΡΠΈΠΌΠ²ΠΎΠ» ΠΏΠ΅ΡΠ΅Π΄ Π½ΠΈΠΌ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±ΡΡΡ ΠΏΠΎΡΠ»Π΅Π΄Π½ΠΈΠΌ.
# β ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΉ, Π²ΡΠ΅ ΡΡΠΎ ΠΏΠΎΡΠ»Π΅ ΡΡΠΎΠ³ΠΎ ΡΠΈΠΌΠ²ΠΎΠ»Π° Π² ΡΡΡΠΎΠΊΠ΅ ΡΠΎΠ±ΠΎΡΠΎΠΌ Π½Π΅ ΡΡΠΈΡΡΠ²Π°Π΅ΡΡΡ.
ΠΡΠΈΠΌΠ΅ΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΡ:
Disallow: *?s=
Disallow: /category/$
Π‘Π»Π΅Π΄ΡΡΡΠΈΠ΅ ΡΡΡΠ»ΠΊΠΈ Π±ΡΠ΄ΡΡ Π·Π°ΠΊΡΡΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ:
http://site.ru/?s=
http://site.ru/?s=keyword
http://site.ru/page/?s=keyword
http://site.ru/category/
Π‘Π»Π΅Π΄ΡΡΡΠΈΠ΅ ΡΡΡΠ»ΠΊΠΈ Π±ΡΠ΄ΡΡ ΠΎΡΠΊΡΡΡΡ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ:
http://site.ru/category/cat1/
http://site.ru/category-folder/
ΠΠΎ-Π²ΡΠΎΡΡΡ
, Π½ΡΠΆΠ½ΠΎ ΠΏΠΎΠ½ΠΈΠΌΠ°ΡΡ, ΠΊΠ°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ Π²ΡΠΏΠΎΠ»Π½ΡΡΡΡΡ Π²Π»ΠΎΠΆΠ΅Π½Π½ΡΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π°.
ΠΠΎΠΌΠ½ΠΈΡΠ΅, ΡΡΠΎ ΠΏΠΎΡΡΠ΄ΠΎΠΊ Π·Π°ΠΏΠΈΡΠΈ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ² Π½Π΅ Π²Π°ΠΆΠ΅Π½. ΠΠ°ΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΏΡΠ°Π²ΠΈΠ», ΡΡΠΎ ΠΎΡΠΊΡΡΡΡ ΠΈΠ»ΠΈ Π·Π°ΠΊΡΡΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅ΡΡΡ ΠΏΠΎ ΡΠΎΠΌΡ, ΠΊΠ°ΠΊΠΈΠ΅ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ ΡΠΊΠ°Π·Π°Π½Ρ. Π Π°Π·Π±Π΅ΡΠ΅ΠΌ Π½Π° ΠΏΡΠΈΠΌΠ΅ΡΠ΅.
Allow: *.css
Disallow: /template/
http://site.ru/template/ β Π·Π°ΠΊΡΡΡΠΎ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ
http://site.ru/template/style.css β Π·Π°ΠΊΡΡΡΠΎ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ
http://site.ru/style.css β ΠΎΡΠΊΡΡΡΠΎ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ
http://site.ru/theme/style.css β ΠΎΡΠΊΡΡΡΠΎ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ
ΠΡΠ»ΠΈ Π½ΡΠΆΠ½ΠΎ, ΡΡΠΎΠ±Ρ Π²ΡΠ΅ ΡΠ°ΠΉΠ»Ρ .css Π±ΡΠ»ΠΈ ΠΎΡΠΊΡΡΡΡ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΠΏΡΠΈΠ΄Π΅ΡΡΡ ΡΡΠΎ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ Π΄Π»Ρ ΠΊΠ°ΠΆΠ΄ΠΎΠΉ ΠΈΠ· Π·Π°ΠΊΡΡΡΡΡ ΠΏΠ°ΠΏΠΎΠΊ. Π Π½Π°ΡΠ΅ΠΌ ΡΠ»ΡΡΠ°Π΅:
Allow: *.css
Allow: /template/*.css
Disallow: /template/
ΠΠΎΠ²ΡΠΎΡΡΡΡ, ΠΏΠΎΡΡΠ΄ΠΎΠΊ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ² Π½Π΅ Π²Π°ΠΆΠ΅Π½.
Sitemap
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Π΄Π»Ρ ΡΠΊΠ°Π·Π°Π½ΠΈΡ ΠΏΡΡΠΈ ΠΊ XML-ΡΠ°ΠΉΠ»Ρ Sitemap. URL-Π°Π΄ΡΠ΅Ρ ΠΏΡΠΎΠΏΠΈΡΡΠ²Π°Π΅ΡΡΡ ΡΠ°ΠΊ ΠΆΠ΅, ΠΊΠ°ΠΊ Π² Π°Π΄ΡΠ΅ΡΠ½ΠΎΠΉ ΡΡΡΠΎΠΊΠ΅.
ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ,
Sitemap: http://site.ru/sitemap.xml
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Sitemap ΡΠΊΠ°Π·ΡΠ²Π°Π΅ΡΡΡ Π² Π»ΡΠ±ΠΎΠΌ ΠΌΠ΅ΡΡΠ΅ ΡΠ°ΠΉΠ»Π° robots.txt Π±Π΅Π· ΠΏΡΠΈΠ²ΡΠ·ΠΊΠΈ ΠΊ ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΠΎΠΌΡ user-agent. ΠΠΎΠΆΠ½ΠΎ ΡΠΊΠ°Π·Π°ΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΏΡΠ°Π²ΠΈΠ» Sitemap.
Host
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Π΄Π»Ρ ΡΠΊΠ°Π·Π°Π½ΠΈΡ Π³Π»Π°Π²Π½ΠΎΠ³ΠΎ Π·Π΅ΡΠΊΠ°Π»Π° ΡΠ°ΠΉΡΠ° (Π² Π±ΠΎΠ»ΡΡΠΈΠ½ΡΡΠ²Π΅ ΡΠ»ΡΡΠ°Π΅Π²: Ρ www ΠΈΠ»ΠΈ Π±Π΅Π· www). ΠΠ±ΡΠ°ΡΠΈΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, ΡΡΠΎ Π³Π»Π°Π²Π½ΠΎΠ΅ Π·Π΅ΡΠΊΠ°Π»ΠΎ ΡΠΊΠ°Π·ΡΠ²Π°Π΅ΡΡΡ ΠΠΠ http://, Π½ΠΎ Π‘ https://. Π’Π°ΠΊΠΆΠ΅ Π΅ΡΠ»ΠΈ Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎ, ΡΠΎ ΡΠΊΠ°Π·ΡΠ²Π°Π΅ΡΡΡ ΠΏΠΎΡΡ.
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°Π΅ΡΡΡ ΡΠΎΠ»ΡΠΊΠΎ Π±ΠΎΡΠ°ΠΌΠΈ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΈ Mail.Ru. ΠΡΡΠ³ΠΈΠΌΠΈ ΡΠΎΠ±ΠΎΡΠ°ΠΌΠΈ, Π² ΡΠ°ΡΡΠ½ΠΎΡΡΠΈ GoogleBot, ΠΊΠΎΠΌΠ°Π½Π΄Π° Π½Π΅ Π±ΡΠ΄Π΅Ρ ΡΡΡΠ΅Π½Π°. Host ΠΏΡΠΎΠΏΠΈΡΡΠ²Π°Π΅ΡΡΡ ΡΠΎΠ»ΡΠΊΠΎ ΠΎΠ΄ΠΈΠ½ ΡΠ°Π·!
ΠΡΠΈΠΌΠ΅Ρ 1:Host: site.ru
ΠΡΠΈΠΌΠ΅Ρ 2:Host: https://site.ru
Crawl-delay
ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Π΄Π»Ρ ΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½ΠΈΡ ΠΈΠ½ΡΠ΅ΡΠ²Π°Π»Π° Π²ΡΠ΅ΠΌΠ΅Π½ΠΈ ΠΌΠ΅ΠΆΠ΄Ρ ΡΠΊΠ°ΡΠΈΠ²Π°Π½ΠΈΠ΅ΠΌ ΡΠΎΠ±ΠΎΡΠΎΠΌ ΡΡΡΠ°Π½ΠΈΡ ΡΠ°ΠΉΡΠ°. ΠΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°Π΅ΡΡΡ ΡΠΎΠ±ΠΎΡΠ°ΠΌΠΈ Π―Π½Π΄Π΅ΠΊΡΠ°, Mail.Ru, Bing, Yahoo. ΠΠ½Π°ΡΠ΅Π½ΠΈΠ΅ ΠΌΠΎΠΆΠ΅Ρ ΡΡΡΠ°Π½Π°Π²Π»ΠΈΠ²Π°ΡΡΡΡ Π² ΡΠ΅Π»ΡΡ ΠΈΠ»ΠΈ Π΄ΡΠΎΠ±Π½ΡΡ Π΅Π΄ΠΈΠ½ΠΈΡΠ°Ρ (ΡΠ°Π·Π΄Π΅Π»ΠΈΡΠ΅Π»Ρ β ΡΠΎΡΠΊΠ°), Π²ΡΠ΅ΠΌΡ Π² ΡΠ΅ΠΊΡΠ½Π΄Π°Ρ .
ΠΡΠΈΠΌΠ΅Ρ 1:Crawl-delay: 3
ΠΡΠΈΠΌΠ΅Ρ 2:Crawl-delay: 0.5
ΠΡΠ»ΠΈ ΡΠ°ΠΉΡ ΠΈΠΌΠ΅Π΅Ρ Π½Π΅Π±ΠΎΠ»ΡΡΡΡ Π½Π°Π³ΡΡΠ·ΠΊΡ, ΡΠΎ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎΡΡΠΈ ΡΡΡΠ°Π½Π°Π²Π»ΠΈΠ²Π°ΡΡ ΡΠ°ΠΊΠΎΠ΅ ΠΏΡΠ°Π²ΠΈΠ»ΠΎ Π½Π΅Ρ. ΠΠ΄Π½Π°ΠΊΠΎ Π΅ΡΠ»ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΡΡΠ°Π½ΠΈΡ ΡΠΎΠ±ΠΎΡΠΎΠΌ ΠΏΡΠΈΠ²ΠΎΠ΄ΠΈΡ ΠΊ ΡΠΎΠΌΡ, ΡΡΠΎ ΡΠ°ΠΉΡ ΠΏΡΠ΅Π²ΡΡΠ°Π΅Ρ Π»ΠΈΠΌΠΈΡΡ ΠΈΠ»ΠΈ ΠΈΡΠΏΡΡΡΠ²Π°Π΅Ρ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΡΠ΅ Π½Π°Π³ΡΡΠ·ΠΊΠΈ Π²ΠΏΠ»ΠΎΡΡ Π΄ΠΎ ΠΏΠ΅ΡΠ΅Π±ΠΎΠ΅Π² ΡΠ°Π±ΠΎΡΡ ΡΠ΅ΡΠ²Π΅ΡΠ°, ΡΠΎ ΡΡΠ° Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π° ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ ΡΠ½ΠΈΠ·ΠΈΡΡ Π½Π°Π³ΡΡΠ·ΠΊΡ.
Π§Π΅ΠΌ Π±ΠΎΠ»ΡΡΠ΅ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅, ΡΠ΅ΠΌ ΠΌΠ΅Π½ΡΡΠ΅ ΡΡΡΠ°Π½ΠΈΡ ΡΠΎΠ±ΠΎΡ Π·Π°Π³ΡΡΠ·ΠΈΡ Π·Π° ΠΎΠ΄Π½Ρ ΡΠ΅ΡΡΠΈΡ. ΠΠΏΡΠΈΠΌΠ°Π»ΡΠ½ΠΎΠ΅ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅ΡΡΡ ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡΠ°Π»ΡΠ½ΠΎ Π΄Π»Ρ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΡΠ°ΠΉΡΠ°. ΠΡΡΡΠ΅ Π½Π°ΡΠΈΠ½Π°ΡΡ Ρ Π½Π΅ ΠΎΡΠ΅Π½Ρ Π±ΠΎΠ»ΡΡΠΈΡ Π·Π½Π°ΡΠ΅Π½ΠΈΠΉ β 0.1, 0.2, 0.5 β ΠΈ ΠΏΠΎΡΡΠ΅ΠΏΠ΅Π½Π½ΠΎ ΠΈΡ ΡΠ²Π΅Π»ΠΈΡΠΈΠ²Π°ΡΡ. ΠΠ»Ρ ΡΠΎΠ±ΠΎΡΠΎΠ² ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ, ΠΈΠΌΠ΅ΡΡΠΈΡ ΠΌΠ΅Π½ΡΡΠ΅Π΅ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ Π΄Π»Ρ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠΎΠ² ΠΏΡΠΎΠ΄Π²ΠΈΠΆΠ΅Π½ΠΈΡ, ΡΠ°ΠΊΠΈΡ ΠΊΠ°ΠΊ Mail.Ru, Bing ΠΈ Yahoo ΠΌΠΎΠΆΠ½ΠΎ ΠΈΠ·Π½Π°ΡΠ°Π»ΡΠ½ΠΎ ΡΡΡΠ°Π½ΠΎΠ²ΠΈΡΡ Π±ΠΎΜΠ»ΡΡΠΈΠ΅ Π·Π½Π°ΡΠ΅Π½ΠΈΡ, ΡΠ΅ΠΌ Π΄Π»Ρ ΡΠΎΠ±ΠΎΡΠΎΠ² Π―Π½Π΄Π΅ΠΊΡΠ°.
Clean-param
ΠΡΠΎ ΠΏΡΠ°Π²ΠΈΠ»ΠΎ ΡΠΎΠΎΠ±ΡΠ°Π΅Ρ ΠΊΡΠ°ΡΠ»Π΅ΡΡ, ΡΡΠΎ URL-Π°Π΄ΡΠ΅ΡΠ° Ρ ΡΠΊΠ°Π·Π°Π½Π½ΡΠΌΠΈ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ°ΠΌΠΈ Π½Π΅ Π½ΡΠΆΠ½ΠΎ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ. ΠΠ»Ρ ΠΏΡΠ°Π²ΠΈΠ»Π° ΡΠΊΠ°Π·ΡΠ²Π°Π΅ΡΡΡ Π΄Π²Π° Π°ΡΠ³ΡΠΌΠ΅Π½ΡΠ°: ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ ΠΈ URL ΡΠ°Π·Π΄Π΅Π»Π°. ΠΠΈΡΠ΅ΠΊΡΠΈΠ²Π° ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°Π΅ΡΡΡ Π―Π½Π΄Π΅ΠΊΡΠΎΠΌ.
ΠΡΠΈΠΌΠ΅Ρ 1:
Clean-param: author_id http://site.ru/articles/
http://site.ru/articles/?author_id=267539 β ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡΡΡ Π½Π΅ Π±ΡΠ΄Π΅Ρ
ΠΡΠΈΠΌΠ΅Ρ 2:
Clean-param: author_id&sid http://site.ru/articles/
http://site.ru/articles/?author_id=267539&sid=0995823627 β ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡΡΡ Π½Π΅ Π±ΡΠ΄Π΅Ρ
Π―Π½Π΄Π΅ΠΊΡ ΡΠ°ΠΊΠΆΠ΅ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΠ΅Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Π΄Π»Ρ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ Π½Π΅ ΡΡΠΈΡΡΠ²Π°Π»ΠΈΡΡ UTM-ΠΌΠ΅ΡΠΊΠΈ ΠΈ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡΡ ΡΠ΅ΡΡΠΈΠΉ. ΠΡΠΈΠΌΠ΅Ρ:
Clean-Param: utm_source&utm_medium&utm_campaign
ΠΡΡΠ³ΠΈΠ΅ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ
Π ΡΠ°ΡΡΠΈΡΠ΅Π½Π½ΠΎΠΉ ΡΠΏΠ΅ΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ robots.txt ΠΌΠΎΠΆΠ½ΠΎ Π½Π°ΠΉΡΠΈ Π΅ΡΠ΅ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ Request-rate ΠΈ Visit-time. ΠΠ΄Π½Π°ΠΊΠΎ ΠΎΠ½ΠΈ Π½Π° Π΄Π°Π½Π½ΡΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ Π½Π΅ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°ΡΡΡΡ Π²Π΅Π΄ΡΡΠΈΠΌΠΈ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌΠΈ ΡΠΈΡΡΠ΅ΠΌΠ°ΠΌΠΈ.
Π‘ΠΌΡΡΠ» Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²:
Request-rate: 1/5 β Π·Π°Π³ΡΡΠΆΠ°ΡΡ Π½Π΅ Π±ΠΎΠ»Π΅Π΅ ΠΎΠ΄Π½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΡ Π·Π° ΠΏΡΡΡ ΡΠ΅ΠΊΡΠ½Π΄
Visit-time: 0600-0845 β Π·Π°Π³ΡΡΠΆΠ°ΡΡ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠΎΠ»ΡΠΊΠΎ Π² ΠΏΡΠΎΠΌΠ΅ΠΆΡΡΠΎΠΊ Ρ 6 ΡΡΡΠ° Π΄ΠΎ 8:45 ΠΏΠΎ ΠΡΠΈΠ½Π²ΠΈΡΡ.
ΠΠ°ΠΊΡΡΠ²Π°ΡΡΠΈΠΉ robots.txt
ΠΡΠ»ΠΈ Π²Π°ΠΌ Π½ΡΠΆΠ½ΠΎ Π½Π°ΡΡΡΠΎΠΈΡΡ, ΡΡΠΎΠ±Ρ Π²Π°Ρ ΡΠ°ΠΉΡ ΠΠ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π»ΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌΠΈ ΡΠΎΠ±ΠΎΡΠ°ΠΌΠΈ, ΡΠΎ Π²Π°ΠΌ Π½ΡΠΆΠ½ΠΎ ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ ΡΠ»Π΅Π΄ΡΡΡΠΈΠ΅ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ:
User-agent: *
Disallow: /
ΠΡΠΎΠ²Π΅ΡΡΡΠ΅, ΡΡΠΎΠ±Ρ Π½Π° ΡΠ΅ΡΡΠΎΠ²ΡΡ ΠΏΠ»ΠΎΡΠ°Π΄ΠΊΠ°Ρ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ° Π±ΡΠ»ΠΈ ΠΏΡΠΎΠΏΠΈΡΠ°Π½Ρ ΡΡΠΈ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ.
ΠΡΠ°Π²ΠΈΠ»ΡΠ½Π°Ρ Π½Π°ΡΡΡΠΎΠΉΠΊΠ° robots.txt
ΠΠ»Ρ Π ΠΎΡΡΠΈΠΈ ΠΈ ΡΡΡΠ°Π½ Π‘ΠΠ, Π³Π΄Π΅ Π΄ΠΎΠ»Ρ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΎΡΡΡΠΈΠΌΠ°, ΡΠ»Π΅Π΄ΡΠ΅Ρ ΠΏΡΠΎΠΏΠΈΡΡΠ²Π°ΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Π΄Π»Ρ Π²ΡΠ΅Ρ ΡΠΎΠ±ΠΎΡΠΎΠ² ΠΈ ΠΎΡΠ΄Π΅Π»ΡΠ½ΠΎ Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΈ Google.
Π§ΡΠΎΠ±Ρ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎ Π½Π°ΡΡΡΠΎΠΈΡΡ robots.txt Π²ΠΎΡΠΏΠΎΠ»ΡΠ·ΡΠΉΡΠ΅ΡΡ ΡΠ»Π΅Π΄ΡΡΡΠΈΠΌ Π°Π»Π³ΠΎΡΠΈΡΠΌΠΎΠΌ:
- ΠΠ°ΠΊΡΠΎΠΉΡΠ΅ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π°Π΄ΠΌΠΈΠ½ΠΊΡ ΡΠ°ΠΉΡΠ°
- ΠΠ°ΠΊΡΠΎΠΉΡΠ΅ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π»ΠΈΡΠ½ΡΠΉ ΠΊΠ°Π±ΠΈΠ½Π΅Ρ, Π°Π²ΡΠΎΡΠΈΠ·Π°ΡΠΈΡ, ΡΠ΅Π³ΠΈΡΡΡΠ°ΡΠΈΡ
- ΠΠ°ΠΊΡΠΎΠΉΡΠ΅ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΠΊΠΎΡΠ·ΠΈΠ½Ρ, ΡΠΎΡΠΌΡ Π·Π°ΠΊΠ°Π·Π°, Π΄Π°Π½Π½ΡΠ΅ ΠΏΠΎ Π΄ΠΎΡΡΠ°Π²ΠΊΠ΅ ΠΈ Π·Π°ΠΊΠ°Π·Π°ΠΌ
- ΠΠ°ΠΊΡΠΎΠΉΡΠ΅ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ajax, json-ΡΠΊΡΠΈΠΏΡΡ
- ΠΠ°ΠΊΡΠΎΠΉΡΠ΅ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΠΏΠ°ΠΏΠΊΡ cgi
- ΠΠ°ΠΊΡΠΎΠΉΡΠ΅ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΠΏΠ»Π°Π³ΠΈΠ½Ρ, ΡΠ΅ΠΌΡ ΠΎΡΠΎΡΠΌΠ»Π΅Π½ΠΈΡ, js, css Π΄Π»Ρ Π²ΡΠ΅Ρ ΡΠΎΠ±ΠΎΡΠΎΠ², ΠΊΡΠΎΠΌΠ΅ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΈ Google
- ΠΠ°ΠΊΡΠΎΠΉΡΠ΅ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΡΠ½ΠΊΡΠΈΠΎΠ½Π°Π» ΠΏΠΎΠΈΡΠΊΠ°
- ΠΠ°ΠΊΡΠΎΠΉΡΠ΅ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΠ»ΡΠΆΠ΅Π±Π½ΡΠ΅ ΡΠ°Π·Π΄Π΅Π»Ρ, ΠΊΠΎΡΠΎΡΡΠ΅ Π½Π΅ Π½Π΅ΡΡΡ Π½ΠΈΠΊΠ°ΠΊΠΎΠΉ ΡΠ΅Π½Π½ΠΎΡΡΠΈ Π΄Π»Ρ ΡΠ°ΠΉΡΠ° Π² ΠΏΠΎΠΈΡΠΊΠ΅ (ΠΎΡΠΈΠ±ΠΊΠ° 404, ΡΠΏΠΈΡΠΎΠΊ Π°Π²ΡΠΎΡΠΎΠ²)
- ΠΠ°ΠΊΡΠΎΠΉΡΠ΅ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΠ΅Ρ Π½ΠΈΡΠ΅ΡΠΊΠΈΠ΅ Π΄ΡΠ±Π»ΠΈ ΡΡΡΠ°Π½ΠΈΡ, Π° ΡΠ°ΠΊΠΆΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ, Π½Π° ΠΊΠΎΡΠΎΡΡΡ Π²Π΅ΡΡ ΠΊΠΎΠ½ΡΠ΅Π½Ρ Π² ΡΠΎΠΌ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠΌ Π²ΠΈΠ΄Π΅ ΠΏΡΠΎΠ΄ΡΠ±Π»ΠΈΡΠΎΠ²Π°Π½ Ρ Π΄ΡΡΠ³ΠΈΡ ΡΡΡΠ°Π½ΠΈΡ (ΠΊΠ°Π»Π΅Π½Π΄Π°ΡΠΈ, Π°ΡΡ ΠΈΠ²Ρ, RSS)
- ΠΠ°ΠΊΡΠΎΠΉΡΠ΅ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΡΡΠ°Π½ΠΈΡΡ Ρ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ°ΠΌΠΈ ΡΠΈΠ»ΡΡΡΠΎΠ², ΡΠΎΡΡΠΈΡΠΎΠ²ΠΊΠΈ, ΡΡΠ°Π²Π½Π΅Π½ΠΈΡ
- ΠΠ°ΠΊΡΠΎΠΉΡΠ΅ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΡΡΠ°Π½ΠΈΡΡ Ρ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ°ΠΌΠΈ UTM-ΠΌΠ΅ΡΠΎΠΊ ΠΈ ΡΠ΅ΡΡΠΈΠΉ
- ΠΡΠΎΠ²Π΅ΡΡΡΠ΅, ΡΡΠΎ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΎ Π―Π½Π΄Π΅ΠΊΡΠΎΠΌ ΠΈ Google Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ° Β«site:Β» (Π² ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΡΡΠΎΠΊΠ΅ Π½Π°Π±Π΅ΡΠΈΡΠ΅ Β«site:site.ruΒ»). ΠΡΠ»ΠΈ Π² ΠΏΠΎΠΈΡΠΊΠ΅ ΠΏΡΠΈΡΡΡΡΡΠ²ΡΡΡ ΡΡΡΠ°Π½ΠΈΡΡ, ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠ°ΠΊΠΆΠ΅ Π½ΡΠΆΠ½ΠΎ Π·Π°ΠΊΡΡΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ, Π΄ΠΎΠ±Π°Π²ΡΡΠ΅ ΠΈΡ Π² robots.txt
- Π£ΠΊΠ°ΠΆΠΈΡΠ΅ Sitemap ΠΈ Host
- ΠΠΎ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎΡΡΠΈ ΠΏΡΠΎΠΏΠΈΡΠΈΡΠ΅ Crawl-Delay ΠΈ Clean-Param
- ΠΡΠΎΠ²Π΅ΡΡΡΠ΅ ΠΊΠΎΡΡΠ΅ΠΊΡΠ½ΠΎΡΡΡ robots.txt ΡΠ΅ΡΠ΅Π· ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΡ Google ΠΈ Π―Π½Π΄Π΅ΠΊΡΠ° (ΠΎΠΏΠΈΡΠ°Π½ΠΎ Π½ΠΈΠΆΠ΅)
- Π§Π΅ΡΠ΅Π· 2 Π½Π΅Π΄Π΅Π»ΠΈ ΠΏΠ΅ΡΠ΅ΠΏΡΠΎΠ²Π΅ΡΡΡΠ΅, ΠΏΠΎΡΠ²ΠΈΠ»ΠΈΡΡ Π»ΠΈ Π² ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ Π²ΡΠ΄Π°ΡΠ΅ Π½ΠΎΠ²ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ, ΠΊΠΎΡΠΎΡΡΠ΅ Π½Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡΡΡ. Π ΡΠ»ΡΡΠ°Π΅ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎΡΡΠΈ ΠΏΠΎΠ²ΡΠΎΡΠΈΡΡ Π²ΡΡΠ΅ ΠΏΠ΅ΡΠ΅ΡΠΈΡΠ»Π΅Π½Π½ΡΠ΅ ΡΠ°Π³ΠΈ.
ΠΡΠΈΠΌΠ΅Ρ robots.txt
# ΠΡΠΈΠΌΠ΅Ρ ΡΠ°ΠΉΠ»Π° robots.txt Π΄Π»Ρ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ Π³ΠΈΠΏΠΎΡΠ΅ΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΡΠ°ΠΉΡΠ° https://site.ru User-agent: * Disallow: /admin/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: */?s= Disallow: *sort= Disallow: *view= Disallow: *utm= Crawl-Delay: 5 User-agent: GoogleBot Disallow: /admin/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: */?s= Disallow: *sort= Disallow: *view= Disallow: *utm= Allow: /plugins/*.css Allow: /plugins/*.js Allow: /plugins/*.png Allow: /plugins/*.jpg Allow: /plugins/*.gif User-agent: Yandex Disallow: /admin/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: */?s= Disallow: *sort= Disallow: *view= Allow: /plugins/*.css Allow: /plugins/*.js Allow: /plugins/*.png Allow: /plugins/*.jpg Allow: /plugins/*.gif Clean-Param: utm_source&utm_medium&utm_campaign Crawl-Delay: 0.5 Sitemap: https://site.ru/sitemap.xml Host: https://site.ru
ΠΠ°ΠΊ Π΄ΠΎΠ±Π°Π²ΠΈΡΡ ΠΈ Π³Π΄Π΅ Π½Π°Ρ ΠΎΠ΄ΠΈΡΡΡ robots.txt
ΠΠΎΡΠ»Π΅ ΡΠΎΠ³ΠΎ ΠΊΠ°ΠΊ Π²Ρ ΡΠΎΠ·Π΄Π°Π»ΠΈ ΡΠ°ΠΉΠ» robots.txt, Π΅Π³ΠΎ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΡΠ°Π·ΠΌΠ΅ΡΡΠΈΡΡ Π½Π° Π²Π°ΡΠ΅ΠΌ ΡΠ°ΠΉΡΠ΅ ΠΏΠΎ Π°Π΄ΡΠ΅ΡΡ site.ru/robots.txt β Ρ.Π΅. Π² ΠΊΠΎΡΠ½Π΅Π²ΠΎΠΌ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅. ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠΉ ΡΠΎΠ±ΠΎΡ Π²ΡΠ΅Π³Π΄Π° ΠΎΠ±ΡΠ°ΡΠ°Π΅ΡΡΡ ΠΊ ΡΠ°ΠΉΠ»Ρ ΠΏΠΎ URL /robots.txt
ΠΠ°ΠΊ ΠΏΡΠΎΠ²Π΅ΡΠΈΡΡ robots.txt
ΠΡΠΎΠ²Π΅ΡΠΊΠ° robots.txt ΠΎΡΡΡΠ΅ΡΡΠ²Π»ΡΠ΅ΡΡΡ ΠΏΠΎ ΡΠ»Π΅Π΄ΡΡΡΠΈΠΌ ΡΡΡΠ»ΠΊΠ°ΠΌ:
Π’ΠΈΠΏΠΈΡΠ½ΡΠ΅ ΠΎΡΠΈΠ±ΠΊΠΈ Π² robots.txt
Π ΠΊΠΎΠ½ΡΠ΅ ΡΡΠ°ΡΡΠΈ ΠΏΡΠΈΠ²Π΅Π΄Ρ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΡΠΈΠΏΠΈΡΠ½ΡΡ ΠΎΡΠΈΠ±ΠΎΠΊ ΡΠ°ΠΉΠ»Π° robots.txt
- robots.txt ΠΎΡΡΡΡΡΡΠ²ΡΠ΅Ρ
- Π² robots.txt ΡΠ°ΠΉΡ Π·Π°ΠΊΡΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ (Disallow: /)
- Π² ΡΠ°ΠΉΠ»Π΅ ΠΏΡΠΈΡΡΡΡΡΠ²ΡΡΡ Π»ΠΈΡΡ ΡΠ°ΠΌΡΠ΅ ΠΎΡΠ½ΠΎΠ²Π½ΡΠ΅ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ, Π½Π΅Ρ Π΄Π΅ΡΠ°Π»ΡΠ½ΠΎΠΉ ΠΏΡΠΎΡΠ°Π±ΠΎΡΠΊΠΈ ΡΠ°ΠΉΠ»Π°
- Π² ΡΠ°ΠΉΠ»Π΅ Π½Π΅ Π·Π°ΠΊΡΡΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΡΡΠ°Π½ΠΈΡΡ Ρ UTM-ΠΌΠ΅ΡΠΊΠ°ΠΌΠΈ ΠΈ ΠΈΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡΠ°ΠΌΠΈ ΡΠ΅ΡΡΠΈΠΉ
- Π² ΡΠ°ΠΉΠ»Π΅ ΡΠΊΠ°Π·Π°Π½Ρ ΡΠΎΠ»ΡΠΊΠΎ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ
Allow: *.css
Allow: *.js
Allow: *.png
Allow: *.jpg
Allow: *.gif
ΠΏΡΠΈ ΡΡΠΎΠΌ ΡΠ°ΠΉΠ»Ρ css, js, png, jpg, gif Π·Π°ΠΊΡΡΡΡ Π΄ΡΡΠ³ΠΈΠΌΠΈ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π°ΠΌΠΈ Π² ΡΡΠ΄Π΅ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΉ - Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Host ΠΏΡΠΎΠΏΠΈΡΠ°Π½Π° Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΡΠ°Π·
- Π² Host Π½Π΅ ΡΠΊΠ°Π·Π°Π½ ΠΏΡΠΎΡΠΎΠΊΠΎΠ» https
- ΠΏΡΡΡ ΠΊ Sitemap ΡΠΊΠ°Π·Π°Π½ Π½Π΅Π²Π΅ΡΠ½ΠΎ, Π»ΠΈΠ±ΠΎ ΡΠΊΠ°Π·Π°Π½ Π½Π΅Π²Π΅ΡΠ½ΡΠΉ ΠΏΡΠΎΡΠΎΠΊΠΎΠ» ΠΈΠ»ΠΈ Π·Π΅ΡΠΊΠ°Π»ΠΎ ΡΠ°ΠΉΡΠ°
P.S.
ΠΡΠ»ΠΈ Ρ Π²Π°Ρ Π΅ΡΡΡ Π΄ΠΎΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ ΠΊ ΡΡΠ°ΡΡΠ΅ ΠΈΠ»ΠΈ Π²ΠΎΠΏΡΠΎΡΡ, ΠΏΠΈΡΠΈΡΠ΅ Π½ΠΈΠΆΠ΅ Π² ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΡΡ
.
ΠΡΠ»ΠΈ Ρ Π²Π°Ρ ΡΠ°ΠΉΡ Π½Π° CMS WordPress, Π²Π°ΠΌ Π±ΡΠ΄Π΅Ρ ΠΏΠΎΠ»Π΅Π·Π½Π° ΡΡΠ°ΡΡΡ Β«ΠΠ°ΠΊ Π½Π°ΡΡΡΠΎΠΈΡΡ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΡΠΉ robots.txt Π΄Π»Ρ WordPressΒ».
P.S.2
ΠΠΎΠ»Π΅Π·Π½ΠΎΠ΅ Π²ΠΈΠ΄Π΅ΠΎ ΠΎΡ Π―Π½Π΄Π΅ΠΊΡΠ° (ΠΠ½ΠΈΠΌΠ°Π½ΠΈΠ΅! ΠΠ΅ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠΈΠΈ ΠΏΠΎΠ΄Ρ ΠΎΠ΄ΡΡ ΡΠΎΠ»ΡΠΊΠΎ Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡΠ°).
seogio.ru
ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΎΠ±ΠΎΡΡ Π―Π½Π΄Π΅ΠΊΡ ΠΈ Google
ΠΠΎΡΠΊΠ²Π° Π³. ΠΠΎΡΠΊΠ²Π°, ΡΠ». ΠΠΎΠ±Π΅Π»Ρ 7, ΠΏ. 56 +7 (800) 700-59-30
ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠΌ ΡΠΎΠ±ΠΎΡΠΎΠΌ Π½Π°Π·ΡΠ²Π°Π΅ΡΡΡ ΡΠΏΠ΅ΡΠΈΠ°Π»ΡΠ½Π°Ρ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠ° ΠΊΠ°ΠΊΠΎΠΉ-Π»ΠΈΠ±ΠΎ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ, ΠΊΠΎΡΠΎΡΠ°Ρ ΠΏΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½Π° Π΄Π»Ρ Π·Π°Π½Π΅ΡΠ΅Π½ΠΈΡ Π² Π±Π°Π·Ρ (ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ) Π½Π°ΠΉΠ΄Π΅Π½Π½ΡΡ Π² ΠΠ½ΡΠ΅ΡΠ½Π΅ΡΠ΅ ΡΠ°ΠΉΡΠΎΠ² ΠΈ ΠΈΡ ΡΡΡΠ°Π½ΠΈΡ. Π’Π°ΠΊΠΆΠ΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡΡΡ Π½Π°Π·Π²Π°Π½ΠΈΡ: ΠΊΡΠ°ΡΠ»Π΅Ρ, ΠΏΠ°ΡΠΊ, Π±ΠΎΡ, automaticindexer, ant, webcrawler, bot, webscutter, webrobots, webspider.
ΠΡΠΈΠ½ΡΠΈΠΏ ΡΠ°Π±ΠΎΡΡ
ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠΉ ΡΠΎΠ±ΠΎΡ β ΡΡΠΎ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠ° Π±ΡΠ°ΡΠ·Π΅ΡΠ½ΠΎΠ³ΠΎ ΡΠΈΠΏΠ°. ΠΠ½ ΠΏΠΎΡΡΠΎΡΠ½Π½ΠΎ ΡΠΊΠ°Π½ΠΈΡΡΠ΅Ρ ΡΠ΅ΡΡ: ΠΏΠΎΡΠ΅ΡΠ°Π΅Ρ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½Π½ΡΠ΅ (ΡΠΆΠ΅ ΠΈΠ·Π²Π΅ΡΡΠ½ΡΠ΅ Π΅ΠΌΡ) ΡΠ°ΠΉΡΡ, ΠΏΠ΅ΡΠ΅Ρ ΠΎΠ΄ΠΈΡ ΠΏΠΎ ΡΡΡΠ»ΠΊΠ°ΠΌ Ρ Π½ΠΈΡ ΠΈ Π½Π°Ρ ΠΎΠ΄ΠΈΡ Π½ΠΎΠ²ΡΠ΅ ΡΠ΅ΡΡΡΡΡ. ΠΡΠΈ ΠΎΠ±Π½Π°ΡΡΠΆΠ΅Π½ΠΈΠΈ Π½ΠΎΠ²ΠΎΠ³ΠΎ ΡΠ΅ΡΡΡΡΠ° ΡΠΎΠ±ΠΎΡ ΠΏΡΠΎΡΠ΅Π΄ΡΡ Π΄ΠΎΠ±Π°Π²Π»ΡΠ΅Ρ Π΅Π³ΠΎ Π² ΠΈΠ½Π΄Π΅ΠΊΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠ°. ΠΠΎΠΈΡΠΊΠΎΠ²ΡΠΉ ΡΠΎΠ±ΠΎΡ ΡΠ°ΠΊΠΆΠ΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΡ Π½Π° ΡΠ°ΠΉΡΠ°Ρ , ΠΏΠ΅ΡΠΈΠΎΠ΄ΠΈΡΠ½ΠΎΡΡΡ ΠΊΠΎΡΠΎΡΡΡ ΡΠΈΠΊΡΠΈΡΡΠ΅ΡΡΡ. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΎΠ±Π½ΠΎΠ²Π»ΡΠ΅ΠΌΡΠΉ ΡΠ°Π· Π² Π½Π΅Π΄Π΅Π»Ρ ΡΠ°ΠΉΡ Π±ΡΠ΄Π΅Ρ ΠΏΠΎΡΠ΅ΡΠ°ΡΡΡΡ ΠΏΠ°ΡΠΊΠΎΠΌ Ρ ΡΡΠΎΠΉ ΡΠ°ΡΡΠΎΡΠΎΠΉ, Π° ΠΊΠΎΠ½ΡΠ΅Π½Ρ Π½Π° Π½ΠΎΠ²ΠΎΡΡΠ½ΡΡ ΡΠ°ΠΉΡΠ°Ρ ΠΌΠΎΠΆΠ΅Ρ ΠΏΠΎΠΏΠ°ΡΡΡ Π² ΠΈΠ½Π΄Π΅ΠΊΡ ΡΠΆΠ΅ ΡΠ΅ΡΠ΅Π· Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΌΠΈΠ½ΡΡ ΠΏΠΎΡΠ»Π΅ ΠΏΡΠ±Π»ΠΈΠΊΠ°ΡΠΈΠΈ. ΠΡΠ»ΠΈ Π½Π° ΡΠ°ΠΉΡ Π½Π΅ Π²Π΅Π΄Π΅Ρ Π½ΠΈ ΠΎΠ΄Π½Π° ΡΡΡΠ»ΠΊΠ° Ρ Π΄ΡΡΠ³ΠΈΡ ΡΠ΅ΡΡΡΡΠΎΠ², ΡΠΎ Π΄Π»Ρ ΠΏΡΠΈΠ²Π»Π΅ΡΠ΅Π½ΠΈΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ² ΡΠ΅ΡΡΡΡ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ Π΄ΠΎΠ±Π°Π²ΠΈΡΡ ΡΠ΅ΡΠ΅Π· ΡΠΏΠ΅ΡΠΈΠ°Π»ΡΠ½ΡΡ ΡΠΎΡΠΌΡ (Π¦Π΅Π½ΡΡ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠΎΠ² Google, ΠΏΠ°Π½Π΅Π»Ρ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠ° Π―Π½Π΄Π΅ΠΊΡ ΠΈ Ρ.Π΄.).
ΠΠΈΠ΄Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ²
ΠΠ°ΡΠΊΠΈ Π―Π½Π΄Π΅ΠΊΡΠ°:
- Yandex/1.01.001 I β ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ Π±ΠΎΡ, Π·Π°Π½ΠΈΠΌΠ°ΡΡΠΈΠΉΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠ΅ΠΉ,
- Yandex/1.01.001 (P)Β β ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ ΠΊΠ°ΡΡΠΈΠ½ΠΊΠΈ,
- Yandex/1.01.001 (H)Β β Π½Π°Ρ ΠΎΠ΄ΠΈΡ Π·Π΅ΡΠΊΠ°Π»Π° ΡΠ°ΠΉΡΠΎΠ²,
- Yandex/1.03.003 (D)Β β ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅Ρ, ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΡΠ΅Ρ Π»ΠΈ ΡΡΡΠ°Π½ΠΈΡΠ°, Π΄ΠΎΠ±Π°Π²Π»Π΅Π½Π½Π°Ρ ΠΈΠ· ΠΏΠ°Π½Π΅Π»ΠΈ Π²Π΅Π±ΠΌΠ°ΡΡΠ΅ΡΠ°, ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ°ΠΌ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ,
- YaDirectBot/1.0 (I)Β β ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ ΡΠ΅ΡΡΡΡΡ ΠΈΠ· ΡΠ΅ΠΊΠ»Π°ΠΌΠ½ΠΎΠΉ ΡΠ΅ΡΠΈ Π―Π½Π΄Π΅ΠΊΡΠ°,
- Yandex/1.02.000 (F)Β β ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ ΡΠ°Π²ΠΈΠΊΠΎΠ½Ρ ΡΠ°ΠΉΡΠΎΠ².
ΠΠ°ΡΠΊΠΈ Google:
- Π ΠΎΠ±ΠΎΡ GooglebotΒ β ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΡΠΎΠ±ΠΎΡ,
- Googlebot NewsΒ β ΡΠΊΠ°Π½ΠΈΡΡΠ΅Ρ ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ Π½ΠΎΠ²ΠΎΡΡΠΈ,
- Google MobileΒ β ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ ΡΠ°ΠΉΡΡ Π΄Π»Ρ ΠΌΠΎΠ±ΠΈΠ»ΡΠ½ΡΡ ΡΡΡΡΠΎΠΉΡΡΠ²,
- Googlebot ImagesΒ β ΠΈΡΠ΅Ρ ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ,
- Googlebot VideoΒ β ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ Π²ΠΈΠ΄Π΅ΠΎ,
- Google AdsBotΒ β ΠΏΡΠΎΠ²Π΅ΡΡΠ΅Ρ ΠΊΠ°ΡΠ΅ΡΡΠ²ΠΎ ΡΠ΅Π»Π΅Π²ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΡ,
- Google Mobile AdSense ΠΈ Google AdSenseΒ β ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΡΠ΅Ρ ΡΠ°ΠΉΡΡ ΡΠ΅ΠΊΠ»Π°ΠΌΠ½ΠΎΠΉ ΡΠ΅ΡΠΈ Google.
ΠΡΡΠ³ΠΈΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠΈ ΡΠ°ΠΊΠΆΠ΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ² Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΡ Π²ΠΈΠ΄ΠΎΠ², ΡΡΠ½ΠΊΡΠΈΠΎΠ½Π°Π»ΡΠ½ΠΎ ΡΡ ΠΎΠΆΠΈΡ Ρ ΠΏΠ΅ΡΠ΅ΡΠΈΡΠ»Π΅Π½Π½ΡΠΌΠΈ.
wiki.rookee.ru