Semalt: Kuinka estää Darodar Robots.txt

Robots.txt-tiedosto on tyypillinen tekstitiedosto, joka sisältää ohjeet siitä, kuinka verkkoindeksoijien tai robotien tulisi indeksoida sivusto. Niiden soveltaminen näkyy hakukoneiden robotissa, jotka ovat yleisiä useissa optimoiduissa verkkosivustoissa. Osana robottien poissulkemisprotokollaa (REP), robots.txt-tiedosto muodostaa olennaisen osan verkkosivuston sisällön indeksoinnista ja antaa palvelimelle mahdollisuuden todentaa käyttäjän pyynnöt vastaavasti.

Semalt-asiakasasiakkaiden menestyspäällikkö Julia Vashneva selittää, että linkittäminen on osa hakukoneoptimointia (SEO), johon sisältyy liikenteen hankkiminen nichesi muilta verkkotunnuksilta. Jos haluat seurata linkkejä linkkimehun siirtämiseksi, on välttämätöntä, että lisäät robots.txt-tiedoston verkkosivustosi isännöintitilaan, jotta hän toimisi ohjeena, kuinka palvelin toimii vuorovaikutuksessa sivustosi kanssa. Tästä arkistosta ohjeet ovat läsnä sallimalla tai kieltämättä kuinka tietyt käyttäjän edustajat käyttäytyvät.

Robots.txt-tiedoston perusmuoto

Robots.txt-tiedosto sisältää kaksi välttämätöntä riviä:

User-agent: [user-agent name]

Estä: [URL-merkkijonoa ei tarvitse indeksoida]

Täydellisen robots.txt-tiedoston tulisi sisältää nämä kaksi riviä. Jotkut niistä voivat kuitenkin sisältää useita riviä käyttäjän edustajia ja direktiivejä. Nämä komennot voivat sisältää näkökohtia, kuten salliminen, poistaminen käytöstä tai indeksointiviive. Jokainen käskyjoukko erottaa yleensä rivinvaihdon. Jokainen sallimis- tai estämiskäsky erotetaan tällä rivinvaihdolla, etenkin robots.txt-tiedostossa, jossa on useita rivejä.

esimerkit

Esimerkiksi robots.txt-tiedosto voi sisältää koodeja, kuten:

Käyttäjäagentti: darodar

Estä: / plugin

Estä: / API

Estä: / _kommentit

Tässä tapauksessa tämä on estää robots.txt-tiedosto, joka estää Darodar-verkkoindeksoijia pääsemästä verkkosivustollesi. Yllä olevassa syntaksissa koodi estää verkkosivuston näkökohdat, kuten laajennukset, API: n ja kommenttiosion. Tämän tiedon perusteella on mahdollista saavuttaa lukuisia etuja suorittamalla robotin tekstitiedosto tehokkaasti. Robots.txt-tiedostot pystyvät suorittamaan useita toimintoja. He voivat esimerkiksi olla valmiita:

1. Salli kaiken verkkoindeksoijien sisältö verkkosivustolle. Esimerkiksi;

Käyttäjä agentti: *

Disallow:

Tällöin kaikki verkkosivut, joita pyydetään pääsemään verkkosivustoille, pääsevät käyttäjien kaikkiin sisältöihin.

2. Estä tietty web-sisältö tietystä kansiosta. Esimerkiksi;

Käyttäjäagentti: Googlebot

Estä: / esimerkki-alikansio /

Tämä syntaksi, joka sisältää käyttäjän edustajan nimen Googlebot, kuuluu Googlelle. Se rajoittaa robotin pääsyä mille tahansa verkkosivulle merkkijonossa www.ourexample.com/esimerkki-kansiossa/.

3. Estä tietty indeksointirobotti tietyltä verkkosivulta. Esimerkiksi;

Käyttäjäagentti: Bingbot

Estä: /esimerkki -kansiot / estetty -sivu.html

Käyttäjäagentti Bing bot kuuluu Bing-indeksointirobotteihin. Tämäntyyppinen robots.txt-tiedosto estää Bing-indeksointirobottia pääsemästä tietylle sivulle merkkijonolla www.ourexample.com/esimerkki-kansionhakemisto/estetty.sivu.

Tärkeää tietoa

  • Kaikki käyttäjät eivät käytä robts.txt-tiedostoasi. Jotkut käyttäjät voivat päättää sivuuttaa sen. Suurimpaan osaan tällaisista verkkoindeksoijista kuuluu troijalaisia ja haittaohjelmia.
  • Jotta Robots.txt-tiedosto olisi näkyvissä, sen pitäisi olla saatavilla ylimmän verkkosivuston hakemistossa.
  • Merkit "robots.txt" ovat kirjainkoko. Seurauksena on, että sinun ei tule muuttaa niitä millään tavalla, mukaan lukien joidenkin näkökohtien isot kirjaimet.
  • "/Robots.txt" on julkinen. Kuka tahansa voi löytää nämä tiedot lisäämällä sen minkä tahansa URL-osoitteen sisältöön. Älä indeksoi tärkeitä tietoja tai sivuja, joiden haluat niiden olevan yksityisiä.