SEO Spiders van een zoekmachine hebben wellicht iets weg van de achtpotige beestjes die menig mens de stuipen op het lijf jaagt. Een spider, ook wel crawler genoemd, is een robot die over het internet kruipt en alle webpagina’s in kaart brengt zodat deze als zoekresultaat in zoekmachines vertoond kunnen worden. Zo zorgt een Google spider voor het indexeren van pagina’s voor de Google zoekindex.
Hoe een spider-robot te werk gaat
De robot ontdekt pagina’s door hyperlinks te volgen. Een goede linkstructuur en verwijzingen op andere websites zijn dan ook van belang als je zeker wilt zijn van indexatie. Elke keer als er een nieuwe pagina wordt gevonden, wordt deze in de database opgenomen. Het internet verandert continue. Een spider-robot doorzoekt pagina’s dan ook meerdere malen om de zoekindex zo up-to-date mogelijk te houden.
Wil je zien hoe een robot door jouw website ´spidert´? Er zijn diverse spider tools op internet te vinden waarmee je kunt uitzoeken of al jouw pagina’s vindbaar zijn voor crawlers.
Kun je spiders instructies geven?
Je kunt een SEO spider van Google bepaalde instructies geven. Dit kan bijdragen aan jouw zoekmachine optimalisatie. In sommige gevallen is het namelijk niet nodig om een pagina te laten indexeren. Bijvoorbeeld irrelevante pagina’s zoals een inlogpagina of jouw algemene voorwaarden.
In een robots.txt bestand geef je met codes aan welke pagina’s wel of niet geïndexeerd moeten worden. Ook kun je opdrachten geven aan specifieke zoekmachine robots, zoals de Googlebot. Om te voorkomen dat spiders bepaalde hyperlinks volgen, kun je gebruik maken van een nofollow tag.
Online groei
Get in control,versnel de groei van je business
Klaar voor meer bezoekers en conversies? Of wil je een nieuw project lanceren en benieuwd naar wat wij voor je kunnen doen?