Hakukonerobotti on vastuussa verkkosivujen indeksoinnista. Ohjelma lukee tiedot automaattisesti kaikilta sivustoilta ja rekisteröi ne hakukoneelle itselleen ymmärrettävässä muodossa, jotta myöhemmin järjestelmä näyttää käyttäjälle sopivimmat tulokset.
Toiminnot
Kaikki indeksoidut tiedot tallennetaan yhteiseen tietokantaan.
Hakurobotti on ohjelma, joka kulkee automaattisesti Internet-sivujen läpi ja pyytää tarvittavia asiakirjoja ja vastaanottaa indeksoitujen sivustojen rakenteen. Robotti valitsee itsenäisesti skannattavat sivut. Useimmissa tapauksissa tarkistettavat sivustot valitaan satunnaisesti.
Bot-tyypit
Väärin toimiva robotti lisää merkittävästi verkon ja palvelimen kuormitusta, mikä voi aiheuttaa resurssin poissa käytöstä.
Jokaisella hakukoneella on useita roboteiksi kutsuttuja ohjelmia. Jokainen heistä voi suorittaa tietyn toiminnon. Esimerkiksi Yandexissä jotkut robotit ovat vastuussa RSS-uutissyötteiden skannaamisesta, mikä on hyödyllistä blogien indeksoinnissa. On myös ohjelmia, jotka etsivät vain kuvia. Tärkeintä on kuitenkin indeksointirobotti, joka muodostaa kaiken haun perustan. Siellä on myös nopea apurobotti, joka on suunniteltu etsimään päivityksiä uutissyötteistä ja tapahtumista.
Skannausmenettely
Toinen tapa estää sisällön indeksointi on luoda pääsy sivustolle rekisteröintipaneelin kautta.
Kun vierailet sivustolla, ohjelma etsii tiedostojärjestelmästä robots.txt-käskytiedostojen esiintymisen. Jos asiakirja on olemassa, asiakirjaan kirjoitettujen direktiivien lukeminen alkaa. Robots.txt voi kieltää tai päinvastoin sallia tiettyjen sivuston sivujen ja tiedostojen skannauksen.
Skannausprosessi riippuu ohjelman tyypistä. Joskus robotit lukevat vain sivun otsikot ja muutaman kappaleen. Joissakin tapauksissa skannaus tapahtuu koko asiakirjassa HTML-merkinnän mukaan, mikä voi toimia myös keinona määrittää avainlauseet. Jotkut ohjelmat ovat erikoistuneet piilotettuihin tai sisällönkuvauskenttiin.
Lisätään luetteloon
Jokainen verkkovastaava voi estää hakukonetta indeksoimasta sivuja robots.txt- tai META-tagin kautta. Sivuston luoja voi myös lisätä sivuston manuaalisesti indeksointijonoon, mutta sen lisääminen ei tarkoita, että robotti indeksoi välittömästi haluamasi sivun. Sivuston lisäämiseksi jonoon hakukoneet tarjoavat myös erityisiä rajapintoja. Sivuston lisääminen nopeuttaa merkittävästi indeksointiprosessia. Myös nopeaan hakukoneeseen rekisteröitymiseen voidaan käyttää verkkoanalytiikkajärjestelmiä, sivustohakemistoja jne.
