Indexeren is het proces van het scannen van bestanden op een internetbron door een zoekrobot. Deze procedure wordt uitgevoerd zodat de site beschikbaar is in de zoekresultaten voor verschillende zoekopdrachten in de zoekmachine. Een van de grootste zoekmachines van vandaag is Yandex, die deze scan op zijn eigen manier uitvoert.
instructies:
Stap 1
De indexering van de internetsite wordt uitgevoerd door speciale automatische programma's - zoekrobots, die automatisch het uiterlijk van nieuwe sites op het World Wide Web volgen, waarbij voortdurend internetpagina's op internet, bestanden en links ernaar op elke bron worden gescand.
Stap 2
Om te scannen gaat de robot naar de directory waar de bron zich op een bepaalde server bevindt. Bij het kiezen van een nieuwe locatie laat de robot zich leiden door zijn beschikbaarheid. Er is bijvoorbeeld een mening dat Yandex eerst sites scant die zijn gemaakt in een Russisch-taaldomein en in het Russisch - ru, rf, su of ua, en pas daarna naar andere regio's gaat.
Stap 3
De robot navigeert naar de site en scant de structuur, eerst op zoek naar bestanden die duiden op verder zoeken. Een site wordt bijvoorbeeld gescand op Sitemap.xml of robots.txt. Deze bestanden kunnen worden gebruikt om het gedrag van de zoekrobot bij het scannen in te stellen. Met behulp van de sitemap (sitemap.xml) krijgt de robot een nauwkeuriger beeld van de structuur van de bron. De webmaster gebruikt robots.txt om bestanden te definiëren die hij niet in zoekresultaten wil zien. Het kan bijvoorbeeld persoonlijke informatie of andere ongewenste gegevens zijn.
Stap 4
Nadat deze twee documenten zijn gescand en de nodige instructies hebben ontvangen, begint de robot de HTML-code te ontleden en de ontvangen tags te verwerken. Als er geen robots.txt-bestand is, begint de zoekmachine standaard met het verwerken van alle documenten die op de server zijn opgeslagen.
Stap 5
Door op links in documenten te klikken, ontvangt de robot ook informatie over andere sites die in de wachtrij staan om te worden gescand volgens deze bron. De gescande bestanden op de site worden opgeslagen als tekstkopie en structuur op servers in Yandex-datacenters.
Stap 6
Ook de noodzaak van opnieuw scannen wordt automatisch bepaald door robots. Het programma vergelijkt het bestaande scanresultaat met de bijgewerkte versie van de site wanneer het de indexering opnieuw doorloopt. Als de gegevens die door het programma worden ontvangen verschillen, wordt de sitekopie ook bijgewerkt op de Yandex-server.
