| сndex.Server 3.8 Free Edition : дПЛХНЕОФБГЙС ДМС ТБЪТБВПФЮЙЛПЧ Й БДНЙОЙУФТБФПТПЧ | ||
|---|---|---|
| рТЕД. | зМБЧБ 4. нПДХМЙ ЙОДЕЛУБФПТБ, ЧИПДСЭЙЕ Ч ЛПНРМЕЛФ РПУФБЧЛЙ | уМЕД. |
рТЙНЕТ 4-3. пРТЕДЕМЕОЙЕ ЙУФПЮОЙЛБ ДБООЩИ webds
<DataSrc id="webds"> Config webds.cfg <DataSrc>
<DataSrc id="webds"> <Webds> ... </Webds> <DataSrc>
ч ЬФПН ТБЪДЕМЕ ПРЙУБОЩ ДЙТЕЛФЙЧЩ, ПФОПУСЭЙЕУС Л РТПГЕУУХ ЙОДЕЛУЙТПЧБОЙС ЮЕТЕЪ УФБОДБТФОЩК ЙУФПЮОЙЛ webds. еУМЙ ЛБЛБС-МЙВП ДЙТЕЛФЙЧБ ПФУХФУФЧХЕФ Ч ЛПОЖЙЗХТБГЙПООПН ЖБКМЕ, ДМС УППФЧЕФУФЧХАЭЙИ РБТБНЕФТПЧ ВХДХФ ЙУРПМШЪПЧБОЩ ХЛБЪБООЩЕ ЪОБЮЕОЙС РП ХНПМЮБОЙА.
нЕИБОЙЪН ЙОДЕЛУЙТПЧБОЙС У РПМХЮЕОЙЕН ОПЧЩИ УУЩМПЛ ЙЪ ТБОЕЕ РТПЙОДЕЛУЙТПЧБООЩИ ДПЛХНЕОФПЧ ("УЕФЕЧПК РБХЛ") ТБВПФБЕФ, ФПМШЛП ЕУМЙ ПРТЕДЕМЕОЩ БФТЙВХФЩ link, Й Ч ЛБЮЕУФЧЕ УУЩМПЛ ЙУРПМШЪХАФУС ЪОБЮЕОЙС ЬФЙИ БФТЙВХФПЧ.
рТЙНЕТ 4-4. рТЙНЕТ ЛПОЖЙЗХТБГЙПООПЗП ЖБКМБ ЙУФПЮОЙЛБ webds
<Webds>
Allow : /(199[0-9]|archive)/
Disallow : /(_index|default)[.]htm[l]?
DefaultAreaOptions : UrlCaseFold FindLinks
DefaultHttpPrefix : http://www.host.ru/
StartUrls : http://www.host.ru/
<IndexedArea>
HttpPrefix http://www.company.ru/path
Options GetHttp:httpOptions
</IndexedArea>
<IndexedArea>
HttpPrefix http://www.company.ru:8080/documents
FilePrefix C:\path\to\www\company\ru\documents
<HttpOptions>
<Authorization>
UserName user
UserPassword password
</Authorization>
</HttpOptions>
</IndexedArea>
<HttpOptions name="httpOptions">
Timeout 50
Delay 0
ProxyUrl http://proxy.company.ru:8080
<Headers>
User-Agent : Yandex.Server/3.x
From : N/A
Accept-Language : ru,*;q=0.1
</Headers>
<Authorization>
UserName user
UserPassword password
</Authorization>
</HttpOptions>
</Webds>
йОДЕЛУБФПТ ОБЮЙОБЕФ УЧПА ТБВПФХ У РПМХЮЕОЙС ОБЮБМШОПЗП УРЙУЛБ URL ДПЛХНЕОФПЧ, РПДМЕЦБЭЙИ ЙОДЕЛУЙТПЧБОЙА. рПЬФПНХ ОЕПВИПДЙНП, ЮФПВЩ УРЙУПЛ ОБЮБМШОЩИ URL ВЩМ МЙВП СЧОП ЪБДБО Ч ЛМАЮЕ StartUrls, МЙВП ЮФПВЩ РТЙУХФУФЧПЧБМБ ИПФС ВЩ ПДОБ ЙЪ УЕЛГЙК IndexedArea ЙМЙ
пДЙО ЙМЙ ОЕУЛПМШЛП URL ДПЛХНЕОФПЧ, У ЛПФПТЩИ ЙОДЕЛУБФПТ ОБЮЙОБЕФ ЙОДЕЛУЙТПЧБОЙЕ. хЛБЪЩЧБФШ ОБЮБМШОЩК РТЕЖЙЛУ http:// ОЕ ПВСЪБФЕМШОП. еУМЙ Ч УЕЛГЙСИ IndexedArea Й ДЙТЕЛФЙЧЕ DefaultAreaOptions ОЕ ХЛБЪБОП РП-ДТХЗПНХ, ВХДЕФ ТЕБМЙЪПЧБОП УМЕДХАЭЕЕ РПЧЕДЕОЙЕ РП ХНПМЮБОЙА. URL ДТХЗЙИ ДПЛХНЕОФПЧ, ЛТПНЕ ХЛБЪБООЩИ, ВХДХФ РПМХЮЕОЩ Ч ТЕЪХМШФБФЕ ТБУРПЪОБЧБОЙС ЗЙРЕТФЕЛУФПЧЩИ УУЩМПЛ Ч ФЕЛУФЕ ХЦЕ РТПЙОДЕЛУЙТПЧБООЩИ ДПЛХНЕОФПЧ. вХДХФ РТПЙОДЕЛУЙТПЧБОЩ ФПМШЛП ДПЛХНЕОФЩ ЙЪ ФЕИ ЦЕ ЧЕВ-ДЙТЕЛФПТЙК, Ч ЛПФПТЩИ МЕЦБФ ХЛБЪБООЩЕ ОБЮБМШОЩЕ URL, Й ДПЛХНЕОФЩ ЙЪ РПДДЙТЕЛФПТЙК ЬФЙИ ДЙТЕЛФПТЙК. уПДЕТЦЙНПЕ ДПЛХНЕОФПЧ ВХДЕФ РПМХЮЕОП РП РТПФПЛПМХ HTTP, ЛПДЙТПЧЛБ ДПЛХНЕОФПЧ ВХДЕФ ТБУРПЪОБОБ БЧФПНБФЙЮЕУЛЙ. рТЙ РЕТЕЙОДЕЛУЙТПЧБОЙЙ ВХДХФ РПЧФПТОП ЙОДЕЛУЙТПЧБФШУС ФПМШЛП ОПЧЩЕ Й ЙЪНЕОЙЧЫЙЕУС ДПЛХНЕОФЩ, Б ОЕДПУФХРОЩЕ (ХДБМЕООЩЕ) ДПЛХНЕОФЩ ВХДХФ ХДБМЕОЩ ЙЪ ЙОДЕЛУБ.
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: ОЕ ЪБДБО
рТЙНЕТ 1:
StartUrls www.host.name/вХДХФ РТПЙОДЕЛУЙТПЧБОЩ ЧУЕ ДПЛХНЕОФЩ УБКФБ http://www.host.name, ОБ ЛПФПТЩЕ НПЦОП РЕТЕКФЙ У ЗМБЧОПК УФТБОЙГЩ РП ЗЙРЕТФЕЛУФПЧЩН УУЩМЛБН ЪБ ПДЙО ЙМЙ ОЕУЛПМШЛП "ЛМЙЛПЧ". дБООБС ЛПОЖЙЗХТБГЙС РПМОПУФША ЬЛЧЙЧБМЕОФОБ УМЕДХАЭЕК (УН. IndexedArea):
<IndexedArea>
HttpPrefix www.host.name/
</IndexedArea>
рТЙНЕТ 2:
StartUrls www.host.name/docs/doc.htmlвХДХФ РТПЙОДЕЛУЙТПЧБОЩ ЧУЕ ДПЛХНЕОФЩ Ч ДЙТЕЛФПТЙЙ http://www.host.name/docs/, ОБ ЛПФПТЩЕ НПЦОП РЕТЕКФЙ У ДПЛХНЕОФБ http://www.host.name/docs/doc.html. дПЛХНЕОФЩ, URL-Щ ЛПФПТЩИ ОБЮЙОБАФУС ОЕ У http://www.host.name/docs/, РТПЙОДЕЛУЙТПЧБОЩ ОЕ ВХДХФ.
рТЙНЕТ 3:
StartUrls http://www.host.name/news/, www.host.name/conference/conf.htmlвХДХФ РТПЙОДЕЛУЙТПЧБОЩ ДПЛХНЕОФЩ, URL-Щ ЛПФПТЩИ ОБЮЙОБАФУС У http://www.host.name/news/ ЙМЙ У http://www.host.name/conference/, Й ОБ ЛПФПТЩЕ НПЦОП РЕТЕКФЙ ЪБ ПДЙО ЙМЙ ОЕУЛПМШЛП "ЛМЙЛПЧ" ИПФС ВЩ У ПДОПК ЙЪ УФТБОЙГ http://www.host.name/news/ ЙМЙ http://www.host.name/conference/conf.html.
ъБДБЕФ ТЕЗХМСТОПЕ ЧЩТБЦЕОЙЕ. чУЕ ДПЛХНЕОФЩ, URL ЛПФПТЩИ УПДЕТЦЙФ РПДУФТПЛХ, ХДПЧМЕФЧПТСАЭХА ЬФПНХ ТЕЗХМСТОПНХ ЧЩТБЦЕОЙА, ВХДХФ ЙУЛМАЮЕОЩ ЙЪ ЙОДЕЛУЙТПЧБОЙС.
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: ОЕ ЪБДБО
рТЙНЕТЩ:
! йУЛМАЮБФШ ЙЪ ЙОДЕЛУЙТПЧБОЙС ЖБКМЩ _index.html,
! _index.htm, default.html Й default.htm
Disallow /(_index|default)[.]htm[l]?
! йУЛМАЮБФШ ЙЪ ЙОДЕЛУЙТПЧБОЙС УЛТЙРФ /lists/showfolder.asp, ЕУМЙ
! РЕТЧЩН Ч УРЙУЛЕ cgi-РБТБНЕФТПЧ ЙДЕФ РБТБНЕФТ У ЙНЕОЕН fid
Disallow /lists/showfolder.asp[?]fid=.*
ъБДБЕФ ТЕЗХМСТОПЕ ЧЩТБЦЕОЙЕ. вХДХФ РТПЙОДЕЛУЙТПЧБОЩ ФПМШЛП ФЕ ДПЛХНЕОФЩ, URL ЛПФПТЩИ УПДЕТЦЙФ РПДУФТПЛХ, ХДПЧМЕФЧПТСАЭХА ЬФПНХ ТЕЗХМСТОПНХ ЧЩТБЦЕОЙА.
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: ОЕ ЪБДБО
рТЙНЕТЩ:
! РТПЙОДЕЛУЙТПЧБФШ ЖБКМЩ ФПМШЛП ЙЪ БТИЙЧПЧ ЪБ 1990-1999 ЗПДЩ Й
! ЙЪ ЛБФБМПЗБ archives
Allow /(199[0-9]|archive)/
! РТПЙОДЕЛУЙТПЧБФШ ЖБКМЩ ФПМШЛП ЙЪ ФЕИ ЛБФБМПЗПЧ, ЙНС
! ЛПФПТЩИ УПУФПЙФ ЙЪ 4-И ГЙЖТ
Allow /([0-9]{4})/
ъБДБЕФ РТЕЖЙЛУ URL РП ХНПМЮБОЙА, ПФОПУЙФЕМШОП ЛПФПТПЗП НПЦЕФ ВЩФШ ЪБДБО БТЗХНЕОФ ДЙТЕЛФЙЧЩ HttpPrefix Ч УЕЛГЙСИ IndexedArea. дБЕФ ЧПЪНПЦОПУФШ ЪБДБЧБФШ ПФОПУЙФЕМШОЩЕ URL Ч УЕЛГЙСИ IndexedArea.
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: http://127.0.0.1/
рТЙНЕТ:
DefaultHttpPrefix myhost.ru
ъБДБЕФ ЪОБЮЕОЙЕ РП ХНПМЮБОЙА, ЛПФПТПЕ ВХДЕФ ЙУРПМШЪПЧБФШУС Ч ДЙТЕЛФЙЧЕ Options Ч УЕЛГЙЙ IndexedArea. ьФП ЦЕ ЪОБЮЕОЙЕ ЪБДБЕФ УРПУПВ ЙОДЕЛУЙТПЧБОЙС РТЙ ЙУРПМШЪПЧБОЙЙ ДЙТЕЛФЙЧЩ StartUrls, ЕУМЙ ПРТЕДЕМСЕНЩЕ ЕА ЧЕВ-ДЙТЕЛФПТЙЙ ОЕ ЧИПДСФ Ч ДЕТЕЧП ДЙТЕЛФПТЙК, ПРТЕДЕМЕООПЕ Ч УЕЛГЙСИ IndexedArea. бТЗХНЕОФЩ ЬФПК ДЙТЕЛФЙЧЩ ПРЙУБОЩ Ч ТБЪДЕМЕ Options
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: use_content_type update
рТЙНЕТ:
DefaultAreaOptions windows-1251
лПОЖЙЗХТБГЙПООЩК ЖБКМ НПЦЕФ ЧЛМАЮБФШ ОЕУЛПМШЛП УЕЛГЙК IndexedArea, ЛБЦДБС ЙЪ ЛПФПТЩИ ЪБДБЕФ ПВМБУФШ ЙОДЕЛУЙТПЧБОЙС. лБЦДБС УЕЛГЙС IndexedArea ДПМЦОБ ЧЛМАЮБФШ ОЕ ВПМЕЕ ПДОПК ДЙТЕЛФЙЧЩ HttpPrefix. дПРПМОЙФЕМШОП УЕЛГЙС IndexedArea НПЦЕФ ЧЛМАЮБФШ ОЕ ВПМЕЕ ПДОПК ДЙТЕЛФЙЧЩ FilePrefix, ОЕ ВПМЕЕ ПДОПК ДЙТЕЛФЙЧЩ Options Й ОЕ ВПМЕЕ ПДОПК РПДУЕЛГЙЙ HttpOptions, ЪБДБАЭЕК HTTP ЪБЗПМПЧЛЙ, РПУЩМБЕНЩЕ web УЕТЧЕТХ Ч РТПГЕУУЕ ЙОДЕЛУЙТПЧБОЙС ЬФПК ПВМБУФЙ.
CЕЛГЙС IndexedArea НПЦЕФ ЙНЕФШ БФТЙВХФ inherited. ъОБЮЕОЙЕ БФТЙВХФБ ТБЧОПЕ no, ПФНЕОСЕФ ОБУМЕДПЧБОЙЕ ЪОБЮЕОЙК ДЙТЕЛФЙЧ Й РПЙУЛПЧЩИ БФТЙВХФПЧ.
рТЙНЕТ:
<IndexedArea> HttpPrefix http://myhost/mysite/theme1/ Options Set group=theme1 </IndexedArea> <IndexedArea> HttpPrefix http://myhost/mysite/theme1/theme2/ Options Set group=theme2 </IndexedArea>
ч РТЙЧЕДЕООПК ЛПОЖЙЗХТБГЙЙ, ЧФПТБС УЕЛГЙС ОБУМЕДХЕФ ЪОБЮЕОЙЕ
theme1РПЙУЛПЧПЗП БФТЙВХФБ
groupПФ РТЕДЩДХЭЕК ПВМБУФЙ ЙОДЕЛУЙТПЧБОЙС.
юФПВЩ ЬФПЗП ОЕ РТПЙУИПДЙМП, ЙУРПМШЪХКФЕ:
<IndexedArea inherited="no"> HttpPrefix http://myhost/mysite/theme1/theme2/ Options Set group=theme2 </IndexedArea>
рТЕЖЙЛУ URL ДПЛХНЕОФПЧ, БВУПМАФОЩК ЙМЙ ПФОПУЙФЕМШОП РХФЙ, ЪБДБООПЗП Ч DefaultHttpPrefix. чУЕ ДПЛХНЕОФЩ, ЙНЕАЭЙЕ ДБООЩК РТЕЖЙЛУ, ЙОДЕЛУЙТХАФУС РП РТБЧЙМБН, ХЛБЪБООЩН Ч Options. еУМЙ ХЛБЪБО ПФОПУЙФЕМШОЩК РХФШ, ЙЪНЕОЕОЙЕ ДЙТЕЛФЙЧЩ DefaultHttpPrefix РТЙ РЕТЕЙОДЕЛУЙТПЧБОЙЙ ОЕ ЧЩЪЩЧБЕФ РЕТЕЙОДЕЛУЙТПЧБОЙС ДБООПК ПВМБУФЙ ЙОДЕЛУЙТПЧБОЙС.
рТЙНЕТ:
<IndexedArea>
HttpPrefix /
</IndexedArea>
мПЛБМШОЩК РХФШ, УППФЧЕФУФЧХАЭЙК ЪОБЮЕОЙА HttpPrefix. дБЕФ ЧПЪНПЦОПУФШ РПМХЮБФШ УПДЕТЦЙНПЕ ДПЛХНЕОФПЧ У РПНПЭША ЮФЕОЙС ЖБКМПЧ. дПМЦЕО ВЩФШ ХЛБЪБО БВУПМАФОЩК РХФШ ЙМЙ РХФШ ПФОПУЙФЕМШОП ТБВПЮЕК ДЙТЕЛФПТЙЙ ЙОДЕЛУБФПТБ. пВСЪБФЕМШОП ОБМЙЮЙЕ ДЙТЕЛФЙЧЩ HttpPrefix, МЙВП DefaultHttpPrefix.
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: ОЕ ЪБДБО
рТЙНЕТ:
<IndexedArea>
HttpPrefix www.myhost.ru/
FilePrefix C:\Inetpub\wwwroot
</IndexedArea>
рБТБНЕФТЩ ЙОДЕЛУЙТПЧБОЙС ДПЛХНЕОФПЧ Ч ДБООПК ПВМБУФЙ ЙОДЕЛУЙТПЧБОЙС. рБТБНЕФТЩ ЙОДЕЛУЙТПЧБОЙС УОБЮБМБ ОБУМЕДХАФУС ПФ ПВМБУФЙ ЙОДЕЛУЙТПЧБОЙС ЧЕТИОЕЗП ХТПЧОС, ЕУМЙ ФБЛБС ЕУФШ, ЙМЙ ПФ ЪОБЮЕОЙС ДЙТЕЛФЙЧЩ DefaultAreaOptions, ЙМЙ ПФ ЪОБЮЕОЙС РП ХНПМЮБОЙА, Б ЪБФЕН ДПРПМОСАФУС РБТБНЕФТБНЙ, ХЛБЪБООЩНЙ Ч ДБООПК ДЙТЕЛФЙЧЕ. бТЗХНЕОФЩ ЬФПК ДЙТЕЛФЙЧЩ ПРЙУБОЩ Ч ТБЪДЕМЕ дЙТЕЛФЙЧБ Options
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: ОЕ ЪБДБО
рТЙНЕТ:
<IndexedArea>
HttpPrefix /
FilePrefix C:\Inetpub\wwwroot
Options windows-1251
</IndexedArea>
ч ЬФПН ТБЪДЕМЕ ПРЙУБОЩ БТЗХНЕОФЩ ДЙТЕЛФЙЧЩ Options, ЛПФПТБС НПЦЕФ ЧУФТЕЮБФШУС Ч УЕЛГЙЙ IndexedArea, Б ФБЛЦЕ ДЙТЕЛФЙЧЩ DefaultAreaOptions ЙЪ ЗМБЧОПК УЕЛГЙЙ ЛПОЖЙЗХТБГЙПООПЗП ЖБКМБ ЙУФПЮОЙЛБ. у РПНПЭША БТЗХНЕОФПЧ ДЙТЕЛФЙЧЩ Options НПЦОП ЪБДБФШ УМЕДХАЭЙЕ РБТБНЕФТЩ ПВМБУФЕК ЙОДЕЛУЙТПЧБОЙС.
уЮЙФБФШ URL ДПЛХНЕОФПЧ ТЕЗЙУФТП-ЪБЧЙУЙНЩНЙ, Ч УППФЧЕФУФЧЙЙ УП УФБОДБТФПН.
рПМХЮБФШ URL ДПЛХНЕОФПЧ ТЕЗЙУФТП-ОЕЪБЧЙУЙНЩНЙ, ОБРТЙНЕТ, РТЙ ЙОДЕЛУЙТПЧБОЙЙ ДПЛХНЕОФПЧ У ЧЕВ-УЕТЧЕТПЧ РПД Windows.
йОДЕЛУЙТПЧБФШ ДПЛХНЕОФЩ Й ТБУРПЪОБЧБФШ ЗЙРЕТФЕЛУФПЧЩЕ УУЩМЛЙ ДМС РПМХЮЕОЙС URL-ПЧ ОПЧЩИ ДПЛХНЕОФПЧ.
йОДЕЛУЙТПЧБФШ ДПЛХНЕОФЩ, ОП ОЕ ТБУРПЪОБЧБФШ ЗЙРЕТФЕЛУФПЧЩЕ УУЩМЛЙ ДМС РПМХЮЕОЙС URL-ПЧ ОПЧЩИ ДПЛХНЕОФПЧ.
оЕ ЙОДЕЛУЙТПЧБФШ ДПЛХНЕОФЩ, ОП РТПУНБФТЙЧБФШ ЙИ Й ТБУРПЪОБЧБФШ ОБИПДСЭЙЕУС Ч ОЙИ ЗЙРЕТФЕЛУФПЧЩЕ УУЩМЛЙ ДМС РПМХЮЕОЙС URL-ПЧ ОПЧЩИ ДПЛХНЕОФПЧ.
хЮЙФЩЧБФШ РТЙ ЙОДЕЛУЙТПЧБОЙЙ УПДЕТЦЙНПЕ НЕФБ ФЕЗБ robots. рПДТПВОЕЕ ПВ ЬФПН ОБРЙУБОП Ч ТБЪДЕМЕ нЕФБ ФЕЗ robots.
йЗОПТЙТПЧБФШ НЕФБ ФЕЗ robots.
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: AllowMetaRobots
РПМХЮБФШ УПДЕТЦЙНПЕ ДПЛХНЕОФПЧ У РПНПЭША HTTP-РТПФПЛПМБ, РПУЩМБС ЪБЗПМПЧЛЙ, УЛПОЖЙЗХТЙТПЧБООЩЕ Ч УЕЛГЙЙ HttpOptions, ЙНЕАЭЕК ЙДЕОФЙЖЙЛБФПТ configid. йДЕОФЙЖЙЛБФПТ configid ПРТЕДЕМСЕФ ЪОБЮЕОЙЕ БФТЙВХФБ name УЕЛГЙЙ HttpOptions Ч ФЕЛХЭЕН ЛПОЖЙЗХТБГЙПООПН ЖБКМЕ. ьФПФ БТЗХНЕОФ ЙУРПМШЪХЕФУС ФПМШЛП Ч УЕЛГЙЙ IndexedArea.
рТЙ РЕТЧПН ЙОДЕЛУЙТПЧБОЙЙ ЧУЕ ДПЛХНЕОФЩ УЮЙФБАФУС ОПЧЩНЙ. тБУУНПФТЙН РПЧФПТОПЕ ЙОДЕЛУЙТПЧБОЙЕ У ЙУРПМШЪПЧБОЙЕН УХЭЕУФЧХАЭЕЗП ЙОДЕЛУБ. йНЕАЭЙЕУС Ч ОЕН ДПЛХНЕОФЩ ВХДЕН ОБЪЩЧБФШ УФБТЩНЙ, ПУФБМШОЩЕ ЙОДЕЛУЙТХЕНЩЕ ДПЛХНЕОФЩ - ОПЧЩНЙ. уФБТЩЕ ДПЛХНЕОФЩ НПЦОП ТБЪДЕМЙФШ ОБ ФТЙ ЗТХРРЩ - ЙЪНЕОЙЧЫЙЕУС, ОЕЙЪНЕОЙЧЫЙЕУС Й ОЕДПУФХРОЩЕ. йЪНЕОЙЧЫЙНУС УЮЙФБЕФУС ДПЛХНЕОФ, ФЕЛХЭЕЕ ЧТЕНС НПДЙЖЙЛБГЙЙ ЛПФПТПЗП ВПМШЫЕ, ЮЕН ЧТЕНС НПДЙЖЙЛБГЙЙ ЧП ЧТЕНС РТЕДЩДХЭЕЗП ЙОДЕЛУЙТПЧБОЙС. оЕДПУФХРОЩНЙ УЮЙФБАФУС ДПЛХНЕОФЩ, ЕУМЙ РПРЩФЛБ РПМХЮЙФШ ЙИ УПДЕТЦЙНПЕ РП URL, ЙЪЧЕУФОПНХ ПФ РТЕДЩДХЭЕЗП ЙОДЕЛУЙТПЧБОЙС, ЪБЛБОЮЙЧБЕФУС ОЕХДБЮЕК. пУФБМШОЩЕ ДПЛХНЕОФЩ УЮЙФБАФУС ОЕЙЪНЕОЙЧЫЙНЙУС. уФБТЩЕ ДПЛХНЕОФЩ НПЦОП ХДБМСФШ ЙЪ ЙОДЕЛУБ, РЕТЕЙОДЕЛУЙТПЧБФШ ЙМЙ ПУФБЧМСФШ Ч ЙОДЕЛУЕ ВЕЪ РЕТЕЙОДЕЛУЙТПЧБОЙС. уМЕДХАЭБС ФБВМЙГБ РТЕДУФБЧМСЕФ ЪОБЮЕОЙС БТЗХНЕОФПЧ, ЪБДБАЭЙЕ ЛБЦДЩК ЙЪ ЬФЙИ ТЕЦЙНПЧ.
| фЙР ДПЛХНЕОФБ | йОДЕЛУЙТПЧБФШ | оЕ ЙОДЕЛУЙТПЧБФШ, ПУФБЧЙФШ | оЕ ЙОДЕЛУЙТПЧБФШ, ХДБМЙФШ |
|---|---|---|---|
| оПЧЩК | indnew | skipnew | |
| йЪНЕОЙЧЫЙКУС | indmod | skipmod | remmod |
| оЕЙЪНЕОЙЧЫЙКУС | indold | skipold | remold |
| оЕДПУФХРОЩК | skipmiss | remmiss |
дМС ХДПВУФЧБ, ОБЙВПМЕЕ ЮБУФП ЧУФТЕЮБАЭЙЕУС ТЕЦЙНЩ ПВОПЧМЕОЙС ЙОДЕЛУБ НПЦОП ЪБДБФШ У РПНПЭША УМЕДХАЭЙИ БТЗХНЕОФПЧ.
хВЙТБФШ ЙЪ ЙОДЕЛУБ ДБООЩЕ П ОЕДПУФХРОЩИ ДПЛХНЕОФБИ Й ЙОДЕЛУЙТПЧБФШ ЪБОПЧП ОПЧЩЕ Й ЙЪНЕОЙЧЫЙЕУС ДПЛХНЕОФЩ, ОЕ ЙОДЕЛУЙТПЧБФШ ОЕЙЪНЕОЙЧЫЙЕУС ДПЛХНЕОФЩ. ьЛЧЙЧБМЕОФЕО ЪБДБОЙА indnew, indmod, skipold, remmiss.
хВЙТБФШ ЙЪ ЙОДЕЛУБ ОЕДПУФХРОЩЕ ДПЛХНЕОФЩ Й ЙОДЕЛУЙТПЧБФШ ЪБОПЧП ЧУЕ УХЭЕУФЧХАЭЙЕ, ОЕЪБЧЙУЙНП ПФ ФПЗП, ЙЪНЕОЙМЙУШ МЙ ПОЙ УП ЧТЕНЕОЙ РТЕДЩДХЭЕЗП ЙОДЕЛУЙТПЧБОЙС. ьЛЧЙЧБМЕОФЕО ЪБДБОЙА indnew, indmod, indold, remmiss.
йОДЕЛУЙТПЧБФШ ДПЛХНЕОФЩ Ч ДБООПК ПВМБУФЙ ЙОДЕЛУЙТПЧБОЙС, ОП ОЕ ХВЙТБФШ ЙЪ ЙОДЕЛУБ ОЕДПУФХРОЩЕ ДПЛХНЕОФЩ. ьФПФ ЖМБЗ РПМЕЪЕО РТЙ ЙОДЕЛУЙТПЧБОЙЙ ЧТЕНЕООП ОЕДПУФХРОЩИ ДПЛХНЕОФПЧ. ьЛЧЙЧБМЕОФЕО ЪБДБОЙА indnew, indmod, skipold, skipmiss.
хВЙТБФШ ЙЪ ЙОДЕЛУБ ХДБМЕООЩЕ ДПЛХНЕОФЩ Й ЙОДЕЛУЙТПЧБФШ ЪБОПЧП ФПМШЛП ОПЧЩЕ ДПЛХНЕОФЩ, РТПЙОДЕЛУЙТПЧБООЩЕ ТБОЕЕ ДПЛХНЕОФЩ ОЕ РЕТЕЙОДЕЛУЙТПЧБФШ, ДБЦЕ ЕУМЙ ЧТЕНС ЙИ ЙЪНЕОЕОЙС ХЧЕМЙЮЙМПУШ. ьЛЧЙЧБМЕОФЕО ЪБДБОЙА indnew, skipmod, skipold, remmiss.
оЕ ЙОДЕЛУЙТПЧБФШ ДПЛХНЕОФЩ ЙЪ ДБООПК ПВМБУФЙ ЙОДЕЛУЙТПЧБОЙС, ХВЙТБФШ ЙЪ ЙОДЕЛУБ ЧУЕ ТБОЕЕ РТПЙОДЕЛУЙТПЧБООЩЕ ДПЛХНЕОФЩ ЙЪ ЬФПК ПВМБУФЙ. ьЛЧЙЧБМЕОФЕО ЪБДБОЙА skipnew, remmod, remold, remmiss.
оЕ ЙОДЕЛУЙТПЧБФШ ДПЛХНЕОФЩ ЙЪ ДБООПК ПВМБУФЙ ЙОДЕЛУЙТПЧБОЙС, ОП УПИТБОЙФШ Ч ЙОДЕЛУЕ ТБОЕЕ РТПЙОДЕЛУЙТПЧБООЩЕ ДПЛХНЕОФЩ ЙЪ ЬФПК ПВМБУФЙ. ьЛЧЙЧБМЕОФЕО ЪБДБОЙА skipnew, skipmod, skipold, skipmiss.
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: Update
рТЙ РПМХЮЕОЙЙ УПДЕТЦЙНПЗП ДПЛХНЕОФПЧ ЮЕТЕЪ HTTP-УПЕДЙОЕОЙЕ НПЦОП ЙУРПМШЪПЧБФШ УМЕДХАЭЙЕ БТЗХНЕОФЩ.
оЕ ХДБМСФШ ЙЪ ЙОДЕЛУБ ДПЛХНЕОФЩ, РТЙОБДМЕЦБЭЙЕ чЕВ-УЕТЧЕТХ, У ЛПФПТЩН ОЕ ХДБМПУШ ХУФБОПЧЙФШ HTTP-УПЕДЙОЕОЙЕ. ьФП ВПМЕЕ УМБВЩК ЧБТЙБОФ noremove, ДЕКУФЧХАЭЙК ФПМШЛП ДМС ОЕДПУФХРОЩИ чЕВ-УЕТЧЕТПЧ.
хДБМСФШ ЙЪ ЙОДЕЛУБ ДПЛХНЕОФЩ, РТЙОБДМЕЦБЭЙЕ чЕВ-УЕТЧЕТХ, У ЛПФПТЩН ОЕ ХДБМПУШ ХУФБОПЧЙФШ HTTP-УПЕДЙОЕОЙЕ.
ч УМХЮБЕ ПВТЩЧБ HTTP-УПЕДЙОЕОЙС У чЕВ-УЕТЧЕТПН РЩФБФШУС ХУФБОПЧЙФШ ЕЗП ДМС ЛБЦДПЗП РПУМЕДХАЭЕЗП ДПЛХНЕОФБ.
ч УМХЮБЕ ПВТЩЧБ HTTP-УПЕДЙОЕОЙС У чЕВ-УЕТЧЕТПН УЮЙФБФШ ЧУЕ ПУФБЧЫЙЕУС ДПЛХНЕОФЩ чЕВ-УЕТЧЕТБ ОЕДПУФХРОЩНЙ.
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: RemoveDisconnected, Reconnect
чУЕЗДБ ТБУРПЪОБЧБФШ ЛПДЙТПЧЛХ УЙНЧПМПЧ БЧФПНБФЙЮЕУЛЙ.
ч УМХЮБЕ ДПЛХНЕОФПЧ, РПМХЮБЕНЩИ РП РТПФПЛПМХ HTTP, УЮЙФБФШ ЛПДЙТПЧЛПК ДПЛХНЕОФБ ЪОБЮЕОЙЕ, ХЛБЪБООПЕ Ч ЪБЗПМПЧЛЕ Content-Type. еУМЙ ЪБЗПМПЧПЛ ПФУХФУФЧХЕФ ЙМЙ Ч ОЕН ОЕ ХЛБЪБОБ ЛПДЙТПЧЛБ, ТБУРПЪОБЧБФШ ЛПДЙТПЧЛХ У РПНПЭША БОБМЙЪБ ФЕЛУФБ ДПЛХНЕОФБ.
| лПДЙТПЧЛБ | пВПЪОБЮЕОЙЕ |
|---|---|
| WinCyrillic | windows-1251, cp1251 |
| MacCyrillic | MacCyrillic, MacRussian |
| DOSCyrillic | IBM855 ЙМЙ cp855 |
| DOSCyrillicRussian | IBM866, cp866 |
| ISOLatinCyrillic | ISO-8859-5, iso-ir-144 |
| WinLatin1 | windows-1252, cp1252 |
| WinLatin2 | windows-1250, cp1250 |
| KOI8R | KOI8-R, csKOI8R |
| ISO8859_2 | iso-2, iso_8859-2 |
| UTF8 | utf8, utf-8 |
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: recognize
тБЪТЕЫЙФШ ТБУРПЪОБЧБОЙЕ ЗТБОЙГ РТЕДМПЦЕОЙК Й БВЪБГЕЧ РП ЪОБЛБН РХОЛФХБГЙЙ - ФПЮЛБН, РТПВЕМБН, РЕТЕЧПДБН УФТПЛ Й Ф.Р.
зТБОЙГБНЙ РТЕДМПЦЕОЙК Й БВЪБГЕЧ УЮЙФБФШ ФПМШЛП ФЕЗЙ, ТБЪВЙЧБАЭЙЕ БВЪБГ Ч СЪЩЛЕ ТБЪНЕФЛЙ ЙМЙ ЪБДБООЩЕ Ч ЛПОЖЙЗХТБГЙЙ РБТУЕТБ. оЙЛБЛЙЕ ЕУФЕУФЧЕООЩЕ ЗТБОЙГЩ (ОБРТЙНЕТ, ФПЮЛБ+РТПВЕМ+вПМШЫБС_ВХЛЧБ ЙМЙ ДЧБ РЕТЕЧПДБ УФТПЛЙ Й БВЪБГОЩК ПФУФХР ЧОХФТЙ ФЕЗБ <pre> Ч HTML) ОЕ ТБЪВЙЧБАФ РТЕДМПЦЕОЙК Й БВЪБГЕЧ. пДОБЛП УМЕДХЕФ ХЮЙФЩЧБФШ, ЮФП НБЛУЙНБМШОБС ДМЙОБ РТЕДМПЦЕОЙС ПЗТБОЙЮЕОБ, РПЬФПНХ УМЙЫЛПН ДМЙООЩЕ РТЕДМПЦЕОЙС ЧУЕ ТБЧОП ВХДХФ ТБЪВЙФЩ ОБ ОЕУЛПМШЛП ЮБУФЕК.
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: AllowPunctBreaks
ЧЛМАЮЙФШ ПВМБУФШ ЙОДЕЛУЙТПЧБОЙС Ч ТБЪДЕМ
ЙУЛМАЮЙФШ ПВМБУФШ ЙОДЕЛУЙТПЧБОЙС ЙЪ ТБЪДЕМБ
хЛБЪБООЩЕ БТЗХНЕОФЩ РПЪЧПМСАФ ЪБДБФШ РПЙУЛПЧЩЕ ДПЛХНЕОФОЩЕ БФТЙВХФЩ ФЙРБ LITERAL, ДПРПМОЙФЕМШОП Л БФТЙВХФБН, ОБЪОБЮБЕНЩН РБТУЕТПН ДПЛХНЕОФОПЗП ЖПТНБФБ ЧП ЧТЕНС ЙОДЕЛУЙТПЧБОЙС ДПЛХНЕОФБ. йУРПМШЪПЧБОЙЕ ДБООЩИ БТЗХНЕОФПЧ РПЪЧПМСЕФ ЧЛМАЮЙФШ ДПЛХНЕОФЩ Ч ПРТЕДЕМЕООЩЕ ФЕНБФЙЮЕУЛЙЕ ТБЪДЕМЩ ОБ ПУОПЧБОЙЙ УФТХЛФХТЩ ЧЕВ-ДЙТЕЛФПТЙК, Ч ЛПФПТЩИ ОБИПДСФУС ДПЛХНЕОФЩ. бМШФЕТОБФЙЧОП, ЧП ЧТЕНС ЙОДЕЛУЙТПЧБОЙС ДПЛХНЕОФЩ НПЗХФ РПМХЮЙФШ РПЙУЛПЧЩЕ ДПЛХНЕОФОЩЕ БФТЙВХФЩ Ч УППФЧЕФУФЧЙЙ У ЙИ УПДЕТЦБОЙЕН. уН. ПВУХЦДЕОЙЕ Ч ТБЪДЕМЕ дПЛХНЕОФЩ, ЪПОЩ Й БФТЙВХФЩ.
уФТПЛБ ЙНС=ЪОБЮЕОЙЕ ОЕ ДПМЦОБ ЧЛМАЮБФШ РТПВЕМЩ. юФПВЩ ХДБМЙФШ ДМС ДБООПК ПВМБУФЙ ЙОДЕЛУЙТПЧБОЙС ЧУЕ ХОБУМЕДПЧБООЩЕ БФТЙВХФЩ, ЙУРПМШЪХКФЕ БФТЙВХФ inherited УЕЛГЙЙ IndexedArea.
рТЙНЕТ:
<IndexedArea inherited="no">
рТЙ ПВТБЭЕОЙЙ Л чЕВ УЕТЧЕТХ ЙОДЕЛУБФПТ РЕТЕДБЕФ ЕНХ HTTP-ЪБРТПУ, ЛПФПТЩК РП ХНПМЮБОЙА ЧЩЗМСДЙФ УМЕДХАЭЙН ПВТБЪПН:
GET _ПФОПУЙФЕМШОЩК_ХТМ_ДПЛХНЕОФБ_ HTTP/1.1 Host: _ЙНС_ИПУФБ_У_ЛПФПТПЗП_ЪБРТБЫЙЧБЕФУС_ДПЛХНЕОФ_ Connection: Keep-Alive From: N/A User-Agent: Yandex.Server/_ОПНЕТ_ЧЕТУЙЙ_Yandex.Server_ Accept: text/html _ЙМЙ_ text/plain Accept-Language: ru; q=1.0, *; q=0.01 If-Modified-Since: _ДБФБ_НПДЙЖЙЛБГЙЙ_РТЙ_РПУМЕДОЕН_ЙОДЕЛУЙТПЧБОЙЙ_рПУМЕДОЙК ЪБЗПМПЧПЛ РПУЩМБЕФУС РТЙ РПЧФПТОПН ЙОДЕЛУЙТПЧБОЙЙ, ЕУМЙ ДПЛХНЕОФ ХЦЕ ВЩМ РТПЙОДЕЛУЙТПЧБО ТБОЕЕ, Б Ч ПРГЙСИ ОБУФТПКЛЙ ЙУФПЮОЙЛБ ХЛБЪБОП "РЕТЕЙОДЕЛУЙТПЧБФШ, ФПМШЛП ЕУМЙ ДПЛХНЕОФ ЙЪНЕОЙМУС".
йОПЗДБ ФТЕВХЕФУС НПДЙЖЙГЙТПЧБФШ РПУЩМБЕНЩЕ РП ХНПМЮБОЙА ЪБЗПМПЧЛЙ, ЙМЙ ДПВБЧЙФШ ОПЧЩЕ ЪБЗПМПЧЛЙ. фБЛ, ОБРТЙНЕТ, ДМС УБКФПЧ, ФТЕВХАЭЙИ БЧФПТЙЪБГЙЙ, HTTP-ЪБРТПУ ДПМЦЕО УПДЕТЦБФШ ДПРПМОЙФЕМШОХА ЙОЖПТНБГЙА П РПМОПНПЮЙСИ РПМШЪПЧБФЕМС. фБЛЦЕ ВЩЧБЕФ ОХЦОП ЙУРПМШЪПЧБФШ РТПЛУЙ-УЕТЧЕТ ЙМЙ ХУФБОПЧЙФШ ЧТЕНС ЪБДЕТЦЛЙ НЕЦДХ ЪБРТПУБНЙ, ЮФПВЩ ОЕ ЪБЗТХЦБФШ ЧЕВ-УЕТЧЕТ.
йНЕЕФУС ЗЙВЛЙК НЕИБОЙЪН ОБУФТПКЛЙ HTTP-ЪБРТПУПЧ. ьФБ ОБУФТПКЛБ НПЦЕФ ВЩФШ ТБЪМЙЮОПК ДМС ТБЪОЩИ ПВМБУФЕК ЙОДЕЛУЙТПЧБОЙС. лБЦДБС ОБУФТПКЛБ ЪБРПНЙОБЕФУС МЙВП Ч УЕЛГЙЙ <HttpOptions> ЛПОЖЙЗХТБГЙПООПЗП ЖБКМБ ЙУФПЮОЙЛБ Й ЙНЕЕФ ЙДЕОФЙЖЙГЙТХАЭЙК БФТЙВХФ name, МЙВП ЪБДБЕФУС ЛБЛ РПДУЕЛГЙС <IndexedArea>. ъОБЮЕОЙЕ БФТЙВХФБ name ХЛБЪЩЧБЕФУС ДМС ЛБЦДПК ПВМБУФЙ ЙОДЕЛУЙТПЧБОЙС Ч ДЙТЕЛФЙЧЕ Options УЕЛГЙК IndexedArea ЛПОЖЙЗХТБГЙПООПЗП ЖБКМБ ЙУФПЮОЙЛБ.
уЕЛГЙС <HttpOptions> УПУФПЙФ ЙЪ ОЕПВСЪБФЕМШОЩИ ДЙТЕЛФЙЧ Timeout, Delay Й ProxyUrl Й ДЧХИ ОЕПВСЪБФЕМШОЩИ УЕЛГЙК Headers Й Authorization.
нБЛУЙНБМШОПЕ ЧТЕНС ПЦЙДБОЙС ПФЧЕФБ Web-УЕТЧЕТБ Ч УЕЛХОДБИ.
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: 150
чТЕНС ЪБДЕТЦЛЙ РЕТЕД ЪБРТПУПН УМЕДХАЭЕЗП ДПЛХНЕОФБ Ч НЙЛТПУЕЛХОДБИ. дЙТЕЛФЙЧБ ОЕПВИПДЙНБ ДМС ХНЕОШЫЕОЙС ОБЗТХЪЛЙ ОБ УЕТЧЕТ, ЧТЕНС ЙОДЕЛУЙТПЧБОЙС РТЙ ЬФПН, ЕУФЕУФЧЕООП, ХЧЕМЙЮЙЧБЕФУС.
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: 0
рПЪЧПМСЕФ ЙУРПМШЪПЧБФШ Ч HTTP-ЪБРТПУЕ ХЛБЪБООЩК РТПЛУЙ-УЕТЧЕТ. дЙТЕЛФЙЧБ ДПМЦОБ ПРТЕДЕМСФШ РПМОЩК URL РТПЛУЙ-УЕТЧЕТБ, ОБЮЙОБАЭЙКУС У http, Й УПДЕТЦБЭЙК ОПНЕТ РПТФБ, ЕУМЙ ПО ПФМЙЮБЕФУС ПФ 80. еУМЙ ХЛБЪБО РТПЛУЙ-УЕТЧЕТ, ЪБРТПУ
GET _ПФОПУЙФЕМШОЩК_ХТМ_ДПЛХНЕОФБ_ HTTP/1.1
Host: _ЙНС_ИПУФБ_У_ЛПФПТПЗП_ЪБРТБЫЙЧБЕФУС_ДПЛХНЕОФ_
ВХДЕФ ЪБНЕОЕО ОБ
GET _БВУПМАФОЩК_ХТМ_ДПЛХНЕОФБ_ HTTP/1.1
Й HTTP-УПЕДЙОЕОЙЕ ВХДЕФ ХУФБОБЧМЙЧБФШУС У РТПЛУЙ-УЕТЧЕТПН, Б ОЕ ИПУФПН, ОБ
ЛПФПТПН ТБУРПМПЦЕО ДПЛХНЕОФ.
рТПЛУЙ-УЕТЧЕТЩ, ФТЕВХАЭЙЕ ПФДЕМШОПК БЧФПТЙЪБГЙЙ УП УФПТПОЩ РПМШЪПЧБФЕМС, ОЕ
РПДДЕТЦЙЧБАФУС Ч ДБООПК ЧЕТУЙЙ.
ъОБЮЕОЙЕ РП ХНПМЮБОЙА: ОЕ ЪБДБО
рПЪЧПМСЕФ ЪБДБЧБФШ МАВЩЕ HTTP-ЪБЗПМПЧЛЙ Ч ЖПТНБФЕ
йНС: ъОБЮЕОЙЕч ЬФПН РТЙНЕТЕ ВХДЕФ ДПВБЧМЕО HTTP-ЪБЗПМПЧПЛ У ЙНЕОЕН йНС Й ЪОБЮЕОЙЕН ъОБЮЕОЙЕ.
рТБЧЙМБ ИПТПЫЕЗП ФПОБ РТЙ ЙОДЕЛУЙТПЧБОЙЙ ОЕЪБЧЙУЙНЩИ ТЕУХТУПЧ ФТЕВХАФ ЪБДБОЙС HTTP-ЪБЗПМПЧЛПЧ User-Agent, ЛПФПТЩК УПДЕТЦЙФ ЙДЕОФЙЖЙГЙТХАЭХА ЙОЖПТНБГЙА П РТПЗТБННЕ-ЛМЙЕОФЕ, РПУМБЧЫЕК ЪБРТПУ, Й From, ЛПФПТЩК ДПМЦЕО УПДЕТЦБФШ email-БДТЕУ БДНЙОЙУФТБФПТБ РТПЗТБННЩ-ЛМЙЕОФБ Ч ЖПТНБФЕ, ПРТЕДЕМЕООПН Ч RFC 822. еУМЙ ЛМАЮЙ User-Agent Й/ЙМЙ From ПФУХФУФЧХАФ, ВХДХФ РПУМБОЩ ЪБЗПМПЧЛЙ РП ХНПМЮБОЙА, ХЛБЪБООЩЕ ЧЩЫЕ.
лТПНЕ ФПЗП, ЧУЕЗДБ ВХДХФ РПУМБОЩ ЪБЗПМПЧЛЙ Connection Й, ЕУМЙ ОЕПВИПДЙНП, If-Modified-Since, РПЬФПНХ ЙИ ОЕ УМЕДХЕФ ХЛБЪЩЧБФШ Ч ДБООПК УЕЛГЙЙ.
оПУЙФ ЧУРПНПЗБФЕМШОЩК ИБТБЛФЕТ Й РПЪЧПМСЕФ ХДПВОЩН УРПУПВПН ДПВБЧМСФШ HTTP-ЪБЗПМПЧПЛ Authorization, ПВЕУРЕЮЙЧБАЭЙК РТПЧЕТЛХ РПМОПНПЮЙК ЛМЙЕОФБ ОБ ДПУФХР Л ДБООЩН РП УИЕНЕ BASIC. ч УЕЛГЙА ЧИПДСФ УМЕДХАЭЙЕ ДЙТЕЛФЙЧЩ:
йНС Й РБТПМШ ЛПДЙТХАФУС РП base64. оБРТЙНЕТ, ЛПНВЙОБГЙС УМЕДХАЭЙИ ЛМАЮЕК Ч УЕЛГЙЙ Authorization
<Authorization>
UserName: yandex
UserPassword: asdf12345
</Authorization>
ЬЛЧЙЧБМЕОФОБ ЪБДБОЙА ДЙТЕЛФЙЧЩ
<Headers>
Authorization: Basic eXNpdGU6YXNkZjEyMzQ1
</Headers>
Ч УЕЛГЙЙ Headers Й РТЙЧЕДЕФ Л ЧЛМАЮЕОЙА УППФЧЕФУФЧХАЭЕЗП HTTP-ЪБЗПМПЧЛБ.рТЙНЕТ 4-5. лПОЖЙЗХТБГЙС HTTP-ЪБРТПУПЧ
оЙЦЕ РТЙЧЕДЕО ПФТЩЧПЛ ЙЪ ЛПОЖЙЗХТБГЙПООПЗП ЖБКМБ ЙУФПЮОЙЛБ, ЪБДБАЭЙК ЛПОЖЙЗХТБГЙА HTTP-ЪБРТПУПЧ РТЙ ЙОДЕЛУЙТПЧБОЙЙ ИПУФБ www.host.ru.
<IndexedArea>
HttpPrefix www.host.ru
Options GetHttp:myhttp
</IndexedArea>
<HttpOptions name="myhttp">
Timeout: 150
Delay: 0
ProxyUrl: http://proxy.host.ru:8080
<Authorization>
UserName: yandex
UserPassword: asdf12345
</Authorization>
<Headers>
User-Agent: Yandex.Server.MyHost/3.0
From: admin@host.ru
Accept-Language: ru, *;q=0.1
MyHeader: TestStroka
</Headers>
</HttpOptions>рТЙНЕТ 4-6. оБУФТПКЛБ ПВМБУФЙ ЙОДЕЛУТПЧБОЙС
<webds>
! йОДЕЛУЙТХЕНЩК ЛБФБМПЗ
<IndexedArea>
HttpPrefix www.company.ru
</IndexedArea>
</webds>
юБУФП ЧУФТЕЮБАФУС УЙФХБГЙЙ, ЛПЗДБ ОЕПВИПДЙНП ЙУЛМАЮЙФШ ЙЪ ЙОДЕЛУЙТПЧБОЙС ОЕ ЧЕУШ ДПЛХНЕОФ ГЕМЙЛПН, Б ФПМШЛП ЕЗП ЮБУФШ. дПВЙФШУС ЬФПЗП НПЦОП, ОЕНОПЗП РПДРТБЧЙЧ HTML-ЛПД УФТБОЙГЩ. чЕУШ ФЕЛУФ, ТБЪНЕЭЕООЩК НЕЦДХ ФЕЗБНЙ <NOINDEX> Й </NOINDEX>, ВХДЕФ ЙУЛМАЮЕО ЙЪ ЙОДЕЛУЙТПЧБОЙС. йУРПМШЪПЧБОЙЕ ЬФЙИ ФЕЗПЧ ОЙЛБЛ ОЕ ПФТБЪЙФУС ОБ ЧОЕЫОЕН ЧЙДЕ Web-УФТБОЙГЩ, Ф.Л. ПОЙ ОЕ СЧМСАФУС УФБОДБТФОЩНЙ ДМС СЪЩЛБ HTML Й ВХДХФ РТПУФП РТПЙЗОПТЙТПЧБОЩ ВТБХЪЕТПН.
рТЙ ЙОДЕЛУЙТПЧБОЙЙ ДПЛХНЕОФПЧ РП РТПФПЛПМХ HTTP сndex.Server 3.8 Free Edition РПДДЕТЦЙЧБЕФ УФБОДБТФ ЙУЛМАЮЕОЙК ДМС ТПВПФПЧ. ч УППФЧЕФУФЧЙЙ У ЬФЙН УФБОДБТФПН, РТБЧЙМБ, ХРТБЧМСАЭЙЕ РПЧЕДЕОЙЕН РПЙУЛПЧПЗП ТПВПФБ, ДПМЦОЩ ТБУРПМБЗБФШУС Ч ЖБКМЕ /robots.txt, МЕЦБЭЕН Ч ЛПТОЕ Web-УЕТЧЕТБ.
дЕФБМШОПЕ ПРЙУБОЙЕ УРЕГЙЖЙЛБГЙЙ ЖБКМБ НПЦОП РТПЮЙФБФШ, ОБРТЙНЕТ, РП БДТЕУХ: http://www.citforum.ru/internet/search/rbtspec.shtml.
ч РТПУФЕКЫЕН ЧЙДЕ (ТБЪТЕЫЕОП ЧУЕ, ЛТПНЕ ДЙТЕЛФПТЙЙ УЛТЙРФПЧ) ЖБКМ robots.txt ЧЩЗМСДЙФ УМЕДХАЭЙН ПВТБЪПН:
User-Agent: * Disallow: /cgi-bin/
еУМЙ ОХЦОП, ЮФПВЩ сndex.Server 3.8 Free Edition РТЙ ЙОДЕЛУЙТПЧБОЙЙ ЧБЫЕЗП УБКФБ ОЕ ХЮЙФЩЧБМ ПВЭЙЕ РТБЧЙМБ ДМС РПЙУЛПЧЩИ ТПВПФПЧ, НПДЙЖЙГЙТХКФЕ robots.txt, ДПВБЧЙЧ УРЕГЙБМШОПЕ РТБЧЙМП ДМС User-Agent, ЪБДБООПЗП РТЙ ЛПОЖЙЗХТЙТПЧБОЙЙ HTTP-ЪБРТПУПЧ. оБРТЙНЕТ, Ч УМЕДХАЭЕН РТЙНЕТЕ ДЙТЕЛФПТЙС УЛТЙРФПЧ ЪБЛТЩЧБЕФУС ПФ ЧУЕИ ТПВПФПЧ, ЛТПНЕ ТПВПФБ MyYandexServer, ЛПФПТПНХ ПФЛТЩФП ЧУЕ
User-Agent: * Disallow: /cgi-bin/ User-Agent: MyYandexServer Disallow:
рТЙ ОБРЙУБОЙЙ robots.txt ПВТБФЙФЕ ЧОЙНБОЙЕ ОБ УМЕДХАЭЙЕ ЮБУФП ЧУФТЕЮБАЭЙЕУС ПЫЙВЛЙ.
уФТПЛБ У РПМЕН User-Agent СЧМСЕФУС ПВСЪБФЕМШОПК Й ДПМЦОБ РТЕДЫЕУФЧПЧБФШ УФТПЛБН У РПМЕН Disallow. фБЛ, РТЙЧЕДЕООЩК ОЙЦЕ ЖБКМ robots.txt ОЕ ЪБРТЕЭБЕФ ОЙЮЕЗП:
Disallow: /cgi-bin Disallow: /forum
рХУФЩЕ УФТПЛЙ Ч ЖБКМЕ robots.txt СЧМСАФУС ЪОБЮЙНЩНЙ, ПОЙ ТБЪДЕМСАФ ЪБРЙУЙ, ПФОПУСЭЙЕУС Л ТБЪОЩН ТПВПФБН. оБРТЙНЕТ, Ч УМЕДХАЭЕН ЖТБЗНЕОФЕ ЖБКМБ robots.txt УФТПЛБ "Disallow: /forum" ЙЗОПТЙТХЕФУС, РПУЛПМШЛХ РЕТЕД ОЕК ОЕФ УФТПЛЙ У РПМЕН User-Agent.
User-Agent: * Disallow: /cgi-bin Disallow: /forum
уФТПЛБ У РПМЕН Disallow НПЦЕФ ЪБРТЕФЙФШ ЙОДЕЛУЙТПЧБОЙЕ ДПЛХНЕОФПЧ ФПМШЛП У ПДОЙН РТЕЖЙЛУПН. дМС ЪБРТЕФБ ОЕУЛПМШЛЙИ РТЕЖЙЛУПЧ ОХЦОП ОБРЙУБФШ ОЕУЛПМШЛП УФТПЛ. оБРТЙНЕТ, ОЙЦЕРТЙЧЕДЕООЩК ЖБКМ ЪБРТЕЭБЕФ ЙОДЕЛУЙТПЧБОЙЕ ДПЛХНЕОФПЧ, ОБЮЙОБАЭЙИУС У "/cgi-bin /forum", ЛПФПТЩИ, УЛПТЕЕ ЧУЕЗП, ОЕ УХЭЕУФЧХЕФ (Б ОЕ ДПЛХНЕОФПЧ У РТЕЖЙЛУБНЙ "/cgi-bin" Й "/forum").
User-Agent: * Disallow: /cgi-bin /forum
ч УФТПЛБИ У РПМЕН Disallow ЪБРЙУЩЧБАФУС ОЕБВУПМАФОЩЕ, Б ПФОПУЙФЕМШОЩЕ РТЕЖЙЛУЩ. фП ЕУФШ ЖБКМ:
User-Agent: * Disalow: www.myhost.ru/cgi-binЪБРТЕЭБЕФ, ОБРТЙНЕТ, ЙОДЕЛУЙТПЧБОЙЕ ДПЛХНЕОФБ http://www.myhost.ru/www.myhost.ru/cgi-bin/counter.cgi, ОП ое ЪБРТЕЭБЕФ ЙОДЕЛУЙТПЧБОЙЕ ДПЛХНЕОФБ http://www.myhost.ru/cgi-bin/counter.cgi
ч УФТПЛБИ У РПМЕН Disallow ХЛБЪЩЧБАФУС ЙНЕООП РТЕЖЙЛУЩ, Б ОЕ ЮФП-ОЙВХДШ ЕЭЕ. фБЛ, ЖБКМ:
User-Agent: * Disallow: *ЪБРТЕЭБЕФ ЙОДЕЛУЙТПЧБОЙЕ ДПЛХНЕОФПЧ, ОБЮЙОБАЭЙИУС У УЙНЧПМБ * (ЛПФПТЩИ Ч РТЙТПДЕ ОЕ УХЭЕУФЧХЕФ), Й УЙМШОП ПФМЙЮБЕФУС ПФ ЖБКМБ:
User-Agent: * Disallow: /ЛПФПТЩК ЪБРТЕЭБЕФ ЙОДЕЛУЙТПЧБОЙЕ ЧУЕЗП УБКФБ.
рТЙ ЙОДЕЛУЙТПЧБОЙЙ html-ДПЛХНЕОФПЧ сndex.Server 3.8 Free Edition ХЮЙФЩЧБЕФ УПДЕТЦЙНПЕ НЕФБ ФЕЗБ robots, ЮФП РПЪЧПМСЕФ ЪБРТЕФЙФШ ТПВПФХ ЙОДЕЛУЙТПЧБФШ ЛБЛХА-ФП УФТБОЙГХ ЙМЙ УМЕДПЧБФШ РП УУЩМЛБН, УПДЕТЦБЭЙНУС ОБ ОЕК.
ъОБЮЕОЙЕ ЬФПЗП ФЕЗБ НПЦЕФ УПУФПСФШ ЙЪ УМЕДХАЭЙИ ДЙТЕЛФЙЧ, ТБЪДЕМЕООЩИ ЪБРСФЩНЙ:
| дЙТЕЛФЙЧБ | оБЪОБЮЕОЙЕ |
|---|---|
| index | УФТБОЙГБ НПЦЕФ ВЩФШ РТПЙОДЕЛУЙТПЧБОБ |
| noindex | УФТБОЙГБ ОЕ ДПМЦОБ ЙОДЕЛУЙТПЧБФШУС |
| follow | УМЕДПЧБФШ РП УУЩМЛБН, УПДЕТЦБЭЙНУС ОБ УФТБОЙГЕ |
| nofollow | ОЕ УМЕДПЧБФШ РП УУЩМЛБН, УПДЕТЦБЭЙНУС ОБ УФТБОЙГЕ |
| all | index,follow (РП ХНПМЮБОЙА) |
| none | noindex,nofollow |
рТЙНЕТ 1. оЕ ЙОДЕЛУЙТПЧБФШ УФТБОЙГХ, ОП УПВТБФШ У ОЕЕ ЧУЕ УУЩМЛЙ ОБ ДТХЗЙЕ УФТБОЙГЩ:
<meta name="robots" content="noindex,follow">
рТЙНЕТ 2. рТПЙОДЕЛУЙТПЧБФШ УФТБОЙГХ, ОП ОЕ УМЕДПЧБФШ РП УУЩМЛБН, ТБУРПМПЦЕООЩН ОБ ОЕК:
<meta name="robots" content="index,nofollow">
рТЙНЕТ 3. оЕ ЙОДЕЛУЙТПЧБФШ УФТБОЙГХ Й ОЕ УМЕДПЧБФШ РП УУЩМЛБН, ТБУРПМПЦЕООЩН ОБ ОЕК:
<meta name="robots" content="noindex,nofollow">
нЕФБ ФЕЗ robots ЙНЕЕФ ВПМЕЕ ЧЩУПЛЙК РТЙПТЙФЕФ, ЮЕН ОБУФТПКЛЙ ЙОДЕЛУБФПТБ ЙМЙ ДЙТЕЛФЙЧЩ ХРТБЧМЕОЙС, ЪБДБООЩЕ Ч ЖБКМЕ robots.txt. ф.Е., ЕУМЙ ОБРТЙНЕТ ДЙТЕЛФЙЧЩ ХРТБЧМЕОЙС Ч ЖБКМЕ robots.txt ТБЪТЕЫБАФ ЙОДЕЛУЙТПЧБФШ ЧУЕ ЖБКМЩ Ч ЛБФБМПЗЕ, ФП ВМПЛЙТХАЭЙК НЕФБ ФЕЗ <meta name="robots" content="noindex,nofollow"> НПЦЕФ ЪБРТЕФЙФШ ЙОДЕЛУЙТПЧБОЙЕ УФТБОЙГЩ, ОБИПДСЭЕКУС Ч ЬФПН ЛБФБМПЗЕ.
чБЦОП: оЕМШЪС ХЛБЪЩЧБФШ РПЧФПТСАЭЙЕУС ЙМЙ ЛПОЖМЙЛФХАЭЙЕ ДЙТЕЛФЙЧЩ, ОБРТЙНЕТ:
<meta name="robots" content="index,noindex,nofollow,follow,follow">
еУМЙ ЧЩ ОЕ ИПФЙФЕ ХЮЙФЩЧБФШ НЕФБ ФЕЗ robots, ЪБДБКФЕ Ч ОБУФТПКЛБИ ДЙТЕЛФЙЧХ Options УП ЪОБЮЕОЙЕН IgnoreMetaRobots.
| рТЕД. | оБЮБМП | уМЕД. |
| йОДЕЛУЙТПЧБОЙЕ ЖБКМПЧЩИ ДЙТЕЛФПТЙК | хТПЧЕОШ ЧЩЫЕ | рБТУЕТЩ (БОБМЙЪБФПТЩ УПДЕТЦЙНПЗП ДПЛХНЕОФБ) |