Wat is crawlen indexeren en rangschikken?

Om voor jou de juiste zoekresultaten weer te geven bij een zoekopdracht gebruikt een zoekmachine 3 stappen.

Wat is Crawlen? De eerste stap (Crawling)

Het lijkt wel een soort spin!

Google spin crawler

Dagelijks worden er duizenden nieuwe pagina`s toegevoegd op het internet, denk bijvoorbeeld maar aan al het nieuws dat te vinden is op een nieuwswebsite zoals Nu.nl. Omdat er zoveel duizenden nieuwe pagina`s dagelijks worden toegevoegd hebben de zoekmachines een systeem in dienst die continu het internet rondzoeken voor nieuwe informatie. Dit proces wordt crawlen genoemd, en de computer die het doet een crawler. De crawler van Google wordt ook wel Googlebot genoemd.

Vergelijk het met een spin die continue aan het rondlopen is door zijn web om t kijken of er nieuw voedsel is ingevlogen.

Jouw website maakt (hopelijk) gebruik van links (hyperlinks) zodat je van de ene pagina naar de andere pagina kan gaan. Of van jouw website naar een andere website d.m.v. uitgaande links/backlinks.
De crawler van een zoekmachine doet precies dat! Hij bekijkt een webpagina eens in de zoveel tijd en volgt alle links die hij kan vinden om te zoeken naar nieuwe, en verwijderde pagina`s. De links volgt de crawler en leert op die manier hoe een website, maar ook de rest van het internet in elkaar steekt!


Zoals je kunt zien begint Google bij het crawlen van de pagina.
Zonder dat Google weet dat jouw webpagina bestaat,
zal deze dus ook nooit getoond worden in de zoekresultaten!


Het is ontzettend belangrijk dat Google "weet" dat een website of pagina bestaat. Je moet dit dus zo optimaal mogelijk instellen zodat Google eenvoudig de pagina kan vinden.

Google kan op verschillende manieren achter het bestaan  van nieuwe websites en pagina`s komen:

  1. Door middel van een Sitemap.xml bestand aan Google of Bing te geven.
    Deze moet wel in de juiste formaat opgeleverd worden in de daarvoor aangewezen plek in Google Search Console en Bing Webmaster Tools. Zie de uitleg van Google over het maken van Sitemaps. Als je met WordPress werkt, kun je bijvoorbeeld de Google Sitemap plugin hiervoor gebruiken of de Yoast SEO plugin.
  2. Door middel van een losse link toe te voegen in Google Search Console.
    (Hier is dus ook een account voor nodig voor het Google Search Console). Dit doe je in de optie URL Inspectie tool.
  3. Ping Googlebot (de Google crawler) door een Ping te sturen: http://google.com/ping?sitemap=https://www.mijwebsite.nl/mijn_sitemap.xml
  4. Door je RSS feed aan Google te linken. Dit doe je hier https://feedburner.google.com/
  5. Door het plaatsen van een link naar de nieuwe website/pagina op een door de zoekmachine bekende pagina.  Zo komt de Crawler vanzelf op de pagina terecht wanneer hij alle links volgt. (Dus je moet dus ergens een link zien te plaatsen). Het nadeel hiervan is dat dit langer duurt, en dat wil je waarschijnlijk niet.

Wat is Indexeren? De tweede stap (Indexing)

Nu gaat Google de inhoud bekijken van de pagina. Dit zijn 2 apart dingen, die niet tegelijk gebeuren, Google rendert de pagina niet gelijk.

De zoekmachine probeert het document oftewel jouw webpagina te begrijpen d.m.v de tekst, en slaat die op in een soort grote inhoudsopgave. Hoe dit werkt is niet eenvoudig uit te leggen in enkele woordenHij gaat een index, of inhoudsopgave van maken, zodat hij die kan raadplegen zodra iemand een zoekwoord invult in de zoekmachine. Wanneer de zoekopdracht overeenkomt met de inhoud van jouw pagina, dan laat de zoekmachine deze pagina weer in de zoekresultaten.


 Het indexeren is dus eigenlijk het maken van een overzicht van alle pagina`s over een bepaald onderwerp, zoals een inhoudsopgave in een boek.


Jouw website moet pagina`s hebben die duidelijk over 1 onderwerp gaan. Als jij een pagina hebt met 101 onderwerpen, dan weet de zoekmachine en een bezoeker niet precies waar dit allemaal over gaat.

Het is dus belangrijk dat jij de JUISTE informatie toont die jij wil tonen. Je moet dit ook doen op een goede en gebruiksvriendelijke manier.

Wat is Rangschikken? De derde stap (Ranking)


Rangschikken van de pagina`s in de zoekresultaten gebeurt on-the-fly, oftewel direct, Live.


Niemand weet precies welke 200+ signalen Google gebruikt om een pagina te ranken. Gelukkig laten ze wel doorschemeren wat belangrijk is, en kunnen we uit correlatie software opmaken wat dit allemaal precies is.

  • Allereerst moet Google begrijpen wat de zoekopdracht betekent. Dit is een stuk lastiger dan je misschien denkt! Hoe korter het zoekwoord, hoe moeilijker het eigenlijk is. Stel je zoekt op "auto", dan weet de zoekmachine TE weinig wat je bedoelt. Auto kopen, auto huren, auto repareren, auto verhuren, auto onderdelen, automatisch etc. Daarom zal een zoeker vaak meerdere zoekwoorden moeten gebruiken om informatie te vinden waar ze naar zoekt.
  • Daarna moet de zoekmachine begrijpen welke pagina`s daar een antwoord op zouden kunnen geven. Jij moet bij het opstellen van een website of pagina altijd bij jezelf bedenken wat jij precies wilt vertellen aan de bezoeker van die pagina. Dus hoe kun jij tot hulp zijn voor een bezoeker die op jouw pagina komt, door antwoord te geven op zijn vraag.
  • En als laatste moet de zoekmachine beslissen welke pagina het meest relevant en belangrijkst is en afhankelijk van de zoekopdracht binnen enkele hondersten van een seconde een lijst met webpagina`s tonen die de zoekmachine denkt dat het best de vraag beantwoord. Hoe meer autoriteit jouw website krijgt in jouw niche/branche hoe meer zoekmachines geneigd zijn jouw website bovenaan in de resultaten te laten zien.

Probeer jouw website zo op te zetten door te denken vanuit de persoon die zoekt.
Wat krijgt een bezoeker op jouw pagina beantwoord?

Scroll naar top