Wat is crawlen indexeren en rangschikken?

Om voor jou de juiste zoekresultaten weer te geven bij een zoekopdracht gebruikt een zoekmachine 3 stappen.

Wat is Crawlen? De eerste stap (Crawling)Google spin crawler

Het lijkt wel een soort spin!

Dagelijks worden er duizenden nieuwe pagina`s toegevoegd op het internet, denk bijvoorbeeld maar aan al het nieuws dat te vinden is op een nieuwswebsite zoals Nu.nl. Omdat er zoveel duizenden nieuwe pagina`s dagelijks worden toegevoegd hebben de zoekmachines een systeem in dienst die continu het internet rondzoeken voor nieuwe informatie. Dit wordt crawlen genoemd.

Vergelijk het met een spin die continue aan het rondlopen is door zijn web om t kijken of er nieuw voedsel is ingevlogen.
Jouw website maakt (hopelijk) gebruik van links (hyperlinks) zodat je van de ene pagina naar de andere pagina kan gaan. Of van jouw website naar een andere website.
De crawler van een zoekmachine doet precies dat! Hij bekijkt een webpagina eens in de zoveel tijd en volgt alle links die hij kan vinden om te zoeken naar nieuwe, en verwijderde pagina`s. De links volgt de crawler en leert op die manier hoe een website, maar ook de rest van het internet in elkaar steekt!


Zoals je kunt zien begint Google bij het crawlen van de pagina.
Zonder dat Google weet dat jouw webpagina bestaat,
zal deze dus ook nooit getoond worden in de zoekresultaten!


Het is ontzettend belangrijk dat Google "weet" dat een website of pagina bestaat. Je moet dit dus zo optimaal mogelijk instellen zodat Google eenvoudig de pagina kan vinden.

Google kan op verschillende manieren achter het bestaan  van nieuwe websites en pagina`s komen:

 

  1. Door middel van een Sitemap.xml bestand aan Google of Bing te geven. (deze moet in de juiste formaat opgeleverd worden in de daarvoor aangewezen plek in Google Search Console en Bing Webmaster Tools.) Als je met WordPress werkt, kun je bijvoorbeeld de Google Sitemap plugin hiervoor gebruiken of de Yoast plugin.
  2. Door middel van een losse link toe te voegen in Google Search Console. (Hier is dus ook een account voor nodig voor het Google Search Console). Dit doe je in de optie Fetch and Render.
  3. Ping Googlebot (de Google crawler) door een Ping te sturen: http://google.com/ping?sitemap=https://www.mijwebsite.nl/mijn_sitemap.xml
  4. Door je RSS feed aan Google te linken. Dit doe je op http://feedburner.google.com/
  5. Door het plaatsen van een link naar de nieuwe website/pagina op een door de zoekmachine bekende pagina.  Zo komt de Crawler vanzelf op de pagina terecht wanneer hij alle links volgt. (Dus je moet dus ergens een link zien te plaatsen). Het nadeel hiervan is dat dit langer duurt, en dat wil je waarschijnlijk niet.

Wat is Indexeren? De tweede stap (Indexing)

Nu gaat Google de inhoud bekijken van de pagina.

Hij gaat een index, of inhoudsopgave van maken, zodat hij die kan raadplegen zodra iemand een zoekwoord invult in de zoekmachine. Wanneer de zoekopdracht overeenkomt met de inhoud van jouw pagina, dan laat de zoekmachine deze pagina weer in de zoekresultaten.


 Het indexeren is dus eigenlijk het maken van een overzicht van alle pagina`s over een bepaald onderwerp, zoals een inhoudsopgave in een boek.


Jouw website moet pagina`s hebben die duidelijk over 1 onderwerp gaan. Als jij een pagina hebt met 101 onderwerpen, dan weet de zoekmachine en een bezoeker niet precies waar dit allemaal over gaat.

Het is dus belangrijk dat jij de JUISTE informatie toont die jij wil tonen. Je moet dit ook doen op een goede en gebruiksvriendelijke manier.

Wat is Rangschikken? De derde stap (Ranking)


Rangschikken van de pagina`s in de zoekresultaten gebeurt on-the-fly, oftewel direct, Live.


Niemand weet precies welke 200+ signalen Google gebruikt om een pagina te ranken. Gelukkig laten ze wel doorschemeren wat belangrijk is.

  • Allereerst moet Google begrijpen wat de zoekopdracht betekent. Dit is een stuk lastiger dan je misschien denkt!
    • Hoe korter het zoekwoord, hoe moeilijker het eigenlijk is. Stel je zoekt op "auto", dan weet de zoekmachine TE weinig wat je bedoelt. Auto kopen, auto huren, auto repareren, auto verhuren, auto onderdelen etc etc. Daarom zal een zoeker vaak meerdere zoekwoorden moeten gebruiken om informatie te vinden waar ze naar zoekt.
  • Daarna moet de zoekmachine begrijpen welke pagina`s daar een antwoord op zouden kunnen geven. Jij moet bij het opstellen van een website of pagina altijd bij jezelf bedenken wat jij precies wilt vertellen aan de bezoeker op die pagina. Dus hoe kun jij tot hulp zijn voor een bezoeker die op jouw pagina komt.
  • En als laatste moet de zoekmachine beslissen welke pagina het meest relevant en belangrijkst is en afhankelijk van de zoekopdracht binnen enkele hondersten van een seconde een lijst met webpagina`s tonen die het denkt dat het best de vraag beantwoord.
    • Hoe meer autoriteit jouw website krijgt in jouw niche/branche hoe meer zoekmachines geneigd zijn jouw website bovenaan in de resultaten te laten zien.

 


Probeer jouw website zo op te zetten door te denken vanuit de bezoeker.
Wat krijgt een bezoeker op die pagina beantwoord.