Robots.txt

Een pagina terugzien in de zoekindex is niet altijd wat je wilt. Bijvoorbeeld als deze van lage kwaliteit is of duplicate content bevat. Het is mogelijk om de webcrawlers een beetje bij te sturen ten behoeve van jouw zoekmachine optimalisatie.

Een robots.txt is een tekstbestand met instructies aan de crawlers van zoekmachines. In het tekstbestand kun je aangeven welke pagina’s geïndexeerd of gevolgd moeten worden en welke niet. Een zoekmachine leest altijd eerst het robots.txt bestand voordat deze gaat crawlen.

De instructies fungeren als richtlijnen en bieden daarom geen volledige garantie. Een robots.txt is in WordPress gemakkelijk aan te maken wanneer je een SEO plug-in download.

Welke instructies kan ik gebruiken?

Er zijn diverse instructies die je in een robots.txt bestand kwijt kunt. Door een instructie in robots.txt te beginnen met ‘disallow’, geef je aan welke paden niet toegankelijk zijn voor de toegewezen webcrawlers.

Met de user agent kun je specifieke crawlers uitsluiten. Zo kun je aangeven dat jouw pagina’s wel toegankelijk zijn voor de zoekmachine Bing, maar niet voor een Googlebot. Met het asteriks teken (*) richt je je tot alle robots.

Wanneer je veel webpagina’s hebt, kan het invullen van het robots.txt bestand een tijdrovend klusje zijn. Gelukkig kun je met speciale tekens, zogeheten wildcards, tijd besparen.

Zo betekent de combinatie van de tekens / en $ gevolgd door een extensie (.jpg of .gif) met de disallow instructie dat alle bestanden met deze extensie niet geïndexeerd worden.

Robots.txt niet voldoende

Wil je er zeker van zijn dat bepaalde pagina’s niet toegankelijk zijn voor crawlers en geïndexeerd worden, dan is een plaatsing in robots.txt niet voldoende.

De URL kan namelijk nog steeds gevonden worden op andere websites waardoor zoekmachines deze alsnog crawlen en indexeren. Door een pagina de noindex metatag mee te geven, voorkom je dat deze wordt opgenomen in de zoekindex.

Online groei

Get in control,versnel de groei van je business

Klaar voor meer bezoekers en conversies? Of wil je een nieuw project lanceren en benieuwd naar wat wij voor je kunnen doen?