Viens no rīkiem, kā meklētājprogrammās pārvaldīt vietņu indeksēšanu, ir fails robots.txt. To galvenokārt izmanto, lai neļautu visiem robotiem vai tikai atsevišķiem robotiem lejupielādēt noteiktu lapu grupu saturu. Tas ļauj atbrīvoties no "atkritumiem" meklētājprogrammas rezultātos un dažos gadījumos ievērojami uzlabot resursa rangu. Veiksmīgai lietošanai ir svarīgi, lai robots.txt fails būtu pareizs.
Nepieciešams
teksta redaktors
Instrukcijas
1. solis
Izveidojiet to robotu sarakstu, kuriem tiks noteikti īpaši izslēgšanas noteikumi, vai tiks izmantotas paplašinātā robots.txt standarta direktīvas, kā arī nestandarta un īpašas direktīvas (konkrētas meklētājprogrammas paplašinājumi). Šajā sarakstā ievadiet HTTP pieprasījuma galvenes lauka User-Agent vērtības, kuras atlasītie roboti nosūtīja vietnes serverim. Robotu nosaukumus var atrast arī meklētājprogrammu vietņu atsauces sadaļās.
2. solis
Atlasiet to vietņu resursu vietrāžu URL grupas, kurām ir jāatsaka piekļuve katram no robotiem pirmajā solī sastādītajā sarakstā. Veiciet to pašu darbību visiem citiem robotiem (nenoteikts indeksēšanas robotu kopums). Citiem vārdiem sakot, rezultātam vajadzētu būt vairākiem sarakstiem, kuros ir saites uz vietnes sadaļām, lapu grupām vai multivides satura avotiem, kurus ir aizliegts indeksēt. Katram sarakstam jāatbilst citam robotam. Jābūt arī visu pārējo robotu aizliegto vietrāžu URL sarakstam. Izveidojiet sarakstus, pamatojoties uz vietnes loģiskās struktūras salīdzinājumu ar servera datu fizisko atrašanās vietu, kā arī grupējot lapu URL atbilstoši to funkcionālās īpašības. Piemēram, noraidīšanas sarakstos varat iekļaut visu pakalpojumu katalogu saturu (sagrupētus pēc atrašanās vietas) vai visas lietotāja profila lapas (sagrupētas pēc mērķa).
3. solis
Atlasiet URL parakstus katram no resursiem, kas ietverti otrajā solī sastādītajos sarakstos. Apstrādājot izslēgšanas sarakstus robotiem, izmantojot tikai standarta robots.txt direktīvas un nedefinētus robotus, iezīmējiet maksimālā garuma unikālās URL daļas. Pārējām adrešu kopām varat izveidot veidnes saskaņā ar konkrētu meklētājprogrammu specifikācijām.
4. solis
Izveidojiet robots.txt failu. Pievienojiet tam direktīvu grupas, no kurām katra atbilst aizlieguma noteikumu kopumam konkrētam robotam, kuru saraksts tika sastādīts pirmajā solī. Pēdējam vajadzētu sekot direktīvu grupai par visiem citiem robotiem. Atdaliet kārtulu grupas ar vienu tukšu rindu. Katram noteikumu kopumam jāsākas ar User-agent direktīvu, kas identificē robotu, kam seko direktīva Disallow, kas aizliedz indeksēt URL grupas. Izveidojiet līnijas, kas iegūtas trešajā solī, ar direktīvu Disallow vērtībām. Atdaliet direktīvas un to nozīmi ar kolu. Apsveriet šādu piemēru: User-agent: YandexDisallow: / temp / data / images / User-agent: * Disallow: / temp / data / Šis direktīvu kopums dod norādījumu galvenajam robotam Yandex meklētājprogramma neindeksē vietrādi URL. Kas satur apakšvirsrakstu / temp / data / images /. Tas arī neļauj visiem pārējiem robotiem indeksēt vietrāžus URL, kas satur / temp / data /.
5. solis
Papildiniet robots.txt ar paplašinātām standarta direktīvām vai īpašām meklētājprogrammu direktīvām. Šādu direktīvu piemēri ir: Saimnieks, Vietnes karte, Pieprasījumu līmenis, Apmeklējuma laiks, Pārmeklēšanas aizkave.
