Googlebot

Google mag zich de grootste zoekmachine ter wereld noemen. Wat je ook als zoekopdracht intypt, er komen altijd ontelbare relevante resultaten tevoorschijn. Maar hoe komt Google aan al deze links? De Googlebot (ook wel bekend als spider) is de belangrijkste webcrawler van Google.

Een crawler doorzoekt pagina’s op het internet om deze vervolgens toe te voegen aan de Google index. Dit gebeurt aan de hand van een algoritmisch crawlproces. Wanneer een Google crawler defecte links, nieuwe of gewijzigde pagina’s tegenkomt, wordt dit geregistreerd.

Varianten van de Googlebot

De ‘gewone’ Googlebot doorzoekt pagina’s voor de tekstresultaten in het zoeknetwerk van Google. Echter omvat Google meer dan enkel deze zoekresultaten. Zo wordt voor het zoeken in afbeeldingen de Googlebot image gebruikt en Google Mobile zorgt voor de indexering van mobiele webpagina’s.

Google beheert ook een eigen advertentienetwerk, welke het Display Netwerk wordt genoemd. Om relevante advertenties te kunnen tonen, wordt de Google Adsense ingezet om pagina’s op content te doorzoeken.

Communiceren met crawlers

Je kunt de Googlebot een beetje bijsturen door aanwijzingen te geven. Deze aanwijzingen worden metatags genoemd. De bekendste en meest zichtbare tag is de titel van een pagina die weergeven wordt in de zoekresultaten.

Met de nofollow – metatag kun je links uitsluiten van het crawlproces om een eventuele lagere PageRank te voorkomen. Wanneer je niet wilt dat crawlers bepaalde pagina’s doorzoeken, kun je een robots.txt-bestand aanmaken.

Wil je zien of en waarom er problemen zijn opgetreden tijdens het crawlen? Bekijk dan het tabblad ‘crawlfouten’ in de Google webmaster tools.