Indeksointi on prosessi, jolla hakurobotti skannaa tiedostoja, jotka sijaitsevat Internet-resurssilla. Tämä toimenpide suoritetaan siten, että sivusto on käytettävissä hakukoneen eri kyselyjen hakutuloksissa. Suurimpien hakukoneiden joukossa on Yandex, joka suorittaa tämän tarkistuksen omalla tavallaan.
Ohjeet
Vaihe 1
Internet-sivuston indeksointi tapahtuu erityisillä automaattisilla ohjelmilla - hakuroboteilla, jotka seuraavat automaattisesti uusien sivustojen ulkonäköä Internetissä, skannaamalla jatkuvasti Internetissä olevia Internet-sivuja, tiedostoja ja linkkejä niihin jokaisessa resurssissa.
Vaihe 2
Skannaamiseksi robotti menee hakemistoon, jossa resurssi sijaitsee tietyllä palvelimella. Uutta sivustoa valittaessa robotti ohjaa sen saatavuudesta. Esimerkiksi on mielipide, että Yandex skannaa ensin sivustot, jotka on luotu venäjänkielisellä verkkotunnuksella ja venäjäksi - ru, rf, su tai ua, ja siirtyy vasta sitten muille alueille.
Vaihe 3
Robotti navigoi sivustolle ja skannaa sen rakenteen etsimällä ensin tiedostoja, jotka osoittavat jatkohaut. Esimerkiksi sivusto tarkistetaan sivustokartalle.xml tai robots.txt. Näitä tiedostoja voidaan käyttää hakurobotin toiminnan määrittämiseen skannauksen aikana. Sivustokartan (sitemap.xml) avulla robotti saa tarkemman käsityksen resurssin rakenteesta. Verkkovastaava käyttää robots.txt-tiedostoa määrittelemään tiedostot, joita hän ei halua näkyvän hakutuloksissa. Ne voivat olla esimerkiksi henkilökohtaisia tietoja tai muita ei-toivottuja tietoja.
Vaihe 4
Skannattuaan nämä kaksi asiakirjaa ja saanut tarvittavat ohjeet, robotti alkaa jäsentää HTML-koodia ja käsitellä vastaanotettuja tunnisteita. Oletuksena robots.txt-tiedoston puuttuessa hakukone alkaa käsitellä kaikkia palvelimelle tallennettuja asiakirjoja.
Vaihe 5
Napsauttamalla linkkejä asiakirjoissa robotti saa myös tietoja muista sivustoista, jotka ovat jonossa skannaukseen tämän resurssin seurauksena. Sivuston skannatut tiedostot tallennetaan tekstikopiona ja rakenteena Yandex-palvelinkeskusten palvelimille.
Vaihe 6
Uudelleenskannauksen tarve määritetään myös robottien toimesta automaattisesti. Ohjelma vertaa olemassa olevaa skannaustulosta sivuston päivitettyyn versioon, kun se käy läpi indeksoinnin uudelleen. Jos ohjelman vastaanottamat tiedot poikkeavat, sivustokopio päivitetään myös Yandex-palvelimessa.
