Robots.txt is een tekstbestand op de host van een website waarin aan zoekmachines wordt aangegeven welke pagina’s er wel en niet geïndexeerd mogen worden.
Wanneer je dus bepaalde pagina’s op je website hebt welke je liever niet door Google geïndexeerd wilt laten worden, dan kun je dat in de robots.txt aangeven.
Pagina’s waarvan je bijvoorbeeld niet wilt dat Google indexeert, zijn de bedankt-pagina’s van je website, waar de bezoekers terecht komen nadat ze een (digitaal) product hebben gekocht.
Voorbeeld robots.txt
Hieronder zal ik je een klein voorbeeld geven van hoe een robots.txt er uit ziet.
User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
De ‘disallow’ geeft aan dat de User-agent (de zoekmachines dus), de pagina’s er achter niet moet indexeren.
Je zegt dus simpelweg tegen de zoekmachines dat er bepaalde pagina’s niet geïndexeerd moeten worden.