Lielākā daļa pieredzējušo emuāru autoru noteikti zina, kas ir robots.txt un kāpēc jums nepieciešams šis fails. Bet daži autori tūlīt pēc emuāra instalēšanas programmā WordPress steidzas izveidot robots.txt failu.
Robots.txt ir teksta fails, kas tiek augšupielādēts jūsu vietnes saknes direktorijā un satur instrukcijas rāpuļprogrammām. Tās izmantošanas galvenais mērķis ir aizliegt atsevišķu vietņu lapu un sadaļu indeksēšanu. Tomēr, izmantojot robots.txt, varat norādīt arī pareizo domēna spoguli, noteikt ceļu uz vietnes karti un tamlīdzīgi.
Lielākā daļa mūsdienu meklētājprogrammu ir iemācījušās labi orientēties populārajā CMS un parasti nemēģina indeksēt saturu, kas tam nav paredzēts. Piemēram, Google neindeksēs jūsu WordPress emuāra administrēšanas apgabalu, pat ja jūs to nenorādīsit tieši failā robots.txt. Tomēr dažos gadījumos tiešo aizliegumu izmantošana joprojām var būt noderīga. Un mēs galvenokārt runājam par dublēta satura aizliegumu.
Daži tīmekļa pārziņi aiziet tik tālu, ka aizliedz indeksēt kategoriju un tagu lapas, jo viņu saturs daļēji dublē galvenās lapas saturu. Bet lielākā daļa aprobežojas ar trackback un plūsmas lapu aizliegšanu, kas pilnībā dublē rakstu saturu un vispār nav domātas meklētājprogrammām. Šāda piesardzība ne tikai padarīs vietnes rezultātus “tīrākus”, bet arī ietaupīs jūs no iespējamiem meklēšanas filtriem, īpaši pēc jaunā Google Panda algoritma ieviešanas.
Šeit ir ieteiktās robots.txt faila direktīvas (tas darbosies gandrīz jebkurā WordPress emuārā):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-include Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / motīvi Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Lūdzu, ņemiet vērā, ka failā robots.txt administratīvās mapes wp-admin un wp-include ir pilnībā aizvērtas indeksēšanai. Mape wp-content ir slēgta tikai daļēji, jo tajā ir augšupielāžu direktorijs, kurā ir visi jūsu emuāra attēli, kas jāindeksē.
Viss, kas jums jādara, ir nokopēt direktīvas no iepriekš minētā koda (ņemiet vērā, ka katra direktīva ir jāuzraksta uz jaunas rindas), saglabājiet tās teksta failā ar nosaukumu robots.txt un augšupielādējiet savas vietnes saknes direktorijā.
Izmantojot Google Webmaster Tools un Yandex Webmaster saskarnes, jūs vienmēr varat pārbaudīt, vai robots.txt darbojas pareizi.
