Joskus verkkovastaavan on poistettava yksi indeksoiduista sivuista hakukoneesta. Useimmiten tähän toimintoon turvautuu sen jälkeen, kun olet kirjoittanut sivun osoitteen virheellisesti sivustokartan yleiseen luetteloon. Kerran Megafon-yrityksen asiantuntijat havaitsivat tämän virheen (tekstiviestit tulivat kaikkien Yandex-hakukoneen käyttäjien saataville).
Se on välttämätöntä
Henkilökohtainen sivusto
Ohjeet
Vaihe 1
Yksi helpoimmista tavoista poistaa oma verkkosivusi hakukoneiden arkistoista on poistaa se fyysisesti, muuttaa sijaintiosoitetta ja poistaa se väärin (sinun on määritettävä poistetun sivun attribuutti). Tämän sivun muuntamisen jälkeen hakurobotti näkee seuraavan rivin sisällön sijaan: HTTP / 1.1 404 Ei löydy. Älä kuitenkaan unohda, että hakurobotit voivat käydä sivustolla 3 tunnin välein ja ehkä kerran 2-3 päivän välein. Siksi sinun on odotettava jonkin aikaa saadaksesi tuloksen.
Vaihe 2
Seuraava tapa on muokata robots.txt-tiedostoa, joka määrittää indeksoijan polun heti, kun se tulee sivustoosi. Tällä tekstidokumentilla on aina yksi sijainti - sivuston juuret. Ensimmäisessä kappaleessa ilmoitetaan yleensä Yandex-robotin indeksointiparametrit (se eroaa huomattavasti muista robotteista), toisessa kappaleessa kaikkien muiden hakukoneiden osalta.
Vaihe 3
Kappaleen alussa sinun on määritettävä agentin nimi "User-Agent: *" ja piilotettavien sivujen osoitteet - "Disallow: /wp-content/foto/fotojaba.html". Samalla tavalla sinun on määritettävä niiden sivujen tai osioiden osoitteet, jotka haluat sulkea indeksoinnista. Huomaa, että tämä menetelmä ei tuota nopeita tuloksia. Jos sivustosi aktiivisuus on vähäistä ja uutisia ei lähetetä sosiaalisissa verkostoissa, uusien tietojen käsittely voi kestää useita päiviä. Lisäksi sinun on poistettava näiden sivujen versiot hakupalvelun arkistosta.
Vaihe 4
Vaihtoehtoinen tapa asettaa linkit robots.txt-tiedostoon on käyttää samannimistä metarobottitunnistetta. Tämän tagin syntaksi on seuraava: se on sijoitettava pariksi liitettyjen [head] ja [/head] -tagien väliin. Robottien arvo tulisi sijoittaa metanimitunnisteeseen. Esimerkki näyttäisi tältä:
