Kort antwoord: Crawlen betekent bezoeken, indexeren betekent begrijpen en opslaan voor mogelijke zoekresultaten. Een gecrawlde pagina hoeft niet geïndexeerd te worden en een geïndexeerde pagina staat niet automatisch hoog.
Hoe ontdekt een zoekmachine een pagina?
Nieuwe URL’s worden onder andere ontdekt via interne links, links van andere sites en XML-sitemaps. Een duidelijke websitestructuur is daarom belangrijk.
Een pagina die nergens gelinkt staat, wordt een wees- of orphanpagina genoemd en kan lastiger gevonden worden.
Wat gebeurt er tijdens crawlen?
Een crawler vraagt de URL op, volgt redirects en downloadt de pagina. Soms moet de zoekmachine daarna JavaScript uitvoeren om de uiteindelijke inhoud te zien.
Robots.txt kan het ophalen van bepaalde paden beperken. Serverfouten, trage reacties of ontoegankelijke bronnen kunnen crawlen eveneens bemoeilijken.
Wat gebeurt er tijdens indexeren?
De zoekmachine analyseert tekst, afbeeldingen, titels, links, canonicalsignalen en andere informatie. Daarna bepaalt het systeem welke pagina de hoofdversie is en of opname nuttig is.
Dunne, dubbele, geblokkeerde of technisch foutieve inhoud kan buiten de index blijven. Ook goede pagina’s hebben geen garantie op opname.
Wat betekenen noindex en robots.txt?
noindex vraagt zoekmachines een pagina niet in de zoekresultaten op te nemen. Om die instructie te zien moet de crawler de pagina meestal wel kunnen ophalen.
Blokkeer je dezelfde URL in robots.txt, dan kan de crawler de noindex-regel niet lezen. Gebruik beide instellingen dus niet gedachteloos samen.
Wat controleert de Website Health Scan?
De scan kijkt naar bereikbaarheid, robots-instructies, canonicals en enkele andere signalen. Daarmee vindt hij duidelijke blokkades.
Of Google een specifieke pagina werkelijk heeft geïndexeerd, controleer je het betrouwbaarst in Google Search Console.
Veelgestelde vragen over indexeren en crawlen
Is een gecrawlde pagina automatisch geïndexeerd?
Nee. Na het crawlen beoordeelt de zoekmachine de inhoud en signalen voordat opname mogelijk is.
Is een geïndexeerde pagina automatisch vindbaar bovenaan?
Nee. Indexering maakt deelname aan zoekresultaten mogelijk; de positie hangt van relevantie, kwaliteit en veel andere signalen af.
Hoe help ik nieuwe pagina’s ontdekken?
Link er logisch naartoe vanuit bestaande pagina’s, neem de canonieke URL op in de sitemap en zorg dat technische blokkades ontbreken.
Samengevat
Een zoekmachine moet een pagina eerst vinden en ophalen voordat opname mogelijk is. Zorg daarom voor interne links, bereikbare techniek en duidelijke indexeringssignalen.