Kort antwoord: Robots.txt regelt vooral het crawlen: het ophalen van pagina’s en bestanden. Het is geen wachtwoord, geen beveiliging en ook geen betrouwbare manier om een pagina uit Google te houden.
Waar staat robots.txt?
Het bestand staat altijd op een vaste plek achter de domeinnaam:
https://voorbeeld.nl/robots.txtOmdat het bestand openbaar is, kan iedereen het bekijken. Zet er daarom nooit geheime adressen, wachtwoorden of andere gevoelige informatie in.
Hoe ziet de inhoud eruit?
User-agent: *
Disallow: /beheer/
Sitemap: https://voorbeeld.nl/sitemap.xmlUser-agent: * betekent dat de regels voor alle crawlers gelden. Met Disallow vraag je ze een pad niet te bezoeken. De sitemapregel vertelt waar de XML-sitemap staat.
Crawlen is niet hetzelfde als indexeren
Crawlen betekent dat een zoekmachine een URL bezoekt en de inhoud ophaalt. Indexeren betekent dat informatie mogelijk wordt opgeslagen voor zoekresultaten.
Een URL die via robots.txt is geblokkeerd, kan soms toch als kale URL in zoekresultaten verschijnen wanneer andere websites ernaar linken. Wil je een pagina echt niet laten indexeren, dan is meestal een noindex-instructie nodig op een pagina die de crawler wel kan ophalen.
Wat moet je meestal niet blokkeren?
Blokkeer geen CSS, JavaScript of afbeeldingen die nodig zijn om een pagina goed te begrijpen, tenzij daar een duidelijke reden voor is. Zoekmachines willen de pagina ongeveer kunnen zien zoals een bezoeker die ziet.
Een verkeerd geplaatst schuine streepje kan een groot deel van de site blokkeren. Pas het bestand daarom voorzichtig aan en test de belangrijke URL’s.
Wat controleert de Website Health Scan?
De scan kijkt of /robots.txt bereikbaar is. Dat zegt nog niet dat iedere regel inhoudelijk goed staat. Een bereikbaar bestand kan alsnog een fout bevatten of belangrijke pagina’s blokkeren.
Bij twijfel moeten de regels samen met de sitemap, canonicals en indexeringsinstellingen worden beoordeeld.
Veelgestelde vragen over robots.txt
Kan ik geheime pagina’s verbergen met robots.txt?
Nee. Het bestand is openbaar en vormt geen toegangsbeveiliging. Beveilig gevoelige informatie met echte authenticatie.
Zorgt Disallow ervoor dat een pagina nooit in Google komt?
Nee. Het blokkeert vooral crawlen. Een URL kan onder omstandigheden nog zonder inhoud worden vermeld.
Heeft iedere website robots.txt nodig?
Niet altijd, maar een eenvoudig correct bestand maakt crawlerafspraken en de locatie van de sitemap duidelijk.
Samengevat
Robots.txt is een verkeersbord voor crawlers, geen slot op de deur. Gebruik het om crawlen te sturen en controleer zorgvuldig dat belangrijke inhoud bereikbaar blijft.