Indexatie problemen

Steeds vaker hebben websites last van indexatieproblemen, zonder dat de eigenaar hier weet van heeft. En alhoewel dat het vaakst voorkomt bij webwinkels, het gebeurt net zo vaak bij normale websites.

In de afgelopen jaren kwam ik van elke 10 websiteanalyses wel 5-6 websites tegen met het probleem. Dat is dus een dikke 50%. En in de meeste gevallen hadden de eigenaren van de website hier geen weet van. Toch zonde, want dat betekent dat je bezoekers mist.

Alhoewel indexatieproblemen niets nieuws zijn, kom ik steeds vaker klachten tegen via diverse SEO kanalen. Dit komt waarschijnlijk door het rapport in Google Search Console. Vroeger kwam je hier pas achter door een analyse te doen met bijvoorbeeld Screaming Frog of Sitebulb. Maar tegenwoordig kun je veel van de problemen terugvinden in Google Search Console.

En dan heb ik het met name over het dekkingsrapport: Gecrawld – momenteel niet geïndexeerd. Zie hieronder voor een voorbeeld van mijn eigen site.

Onder deze grafiek staan allerlei URLs die wel gevonden zijn door Google, maar niet worden getoond in de zoekmachine.

Begin bij de basis: de techniek

Als je hoger wilt komen in Google moet je eerst een goede basis hebben. En dat betekent een website die zo is opgebouwd dat alle pagina’s gevonden kunnen worden door het volgen van interne links. Maar dat is zeker niet alles… verre daarvan.

Je moet namelijk alleen de pagina’s laten indexeren die NODIG zijn.  Niets meer, niets minder. 

Doe maar even een snelle controle, door het volgende te doen in Google. Vul je eigen domeinnaam in, en typ daarvoor site: Dus zoals hieronder staat: site:mijndomein.nl. En laat Google nu maar even zoeken.

Dan zie je onder de naam van je domein zoiets staan: Ongeveer 175 resultaten. Dit betekent dat Google ongeveer 175 pagina’s heeft geïndexeerd.

Als dat aantal niet overeenkomt met het aantal pagina’s dat jij op je website hebt, zul je waarschijnlijk last hebben van Crawl en Indexatie problemen.

Maar eerst even dit: welke pagina’s horen niet in de normale index? 

Afbeeldingen

Ik verwijs nogmaals even naar een oud Yoast SEO probleem, waar afbeeldingen werden geïndexeerd als zijnde webpagina’s. Dat was een heel groot probleem geworden voor veel websites. Afbeeldingen moeten namelijk niet als pagina’s worden geïndexeerd. Zelfs jaren later plukken sommige websites hier nog steeds de zure vruchten van. 

Geloof je mij niet.

Zoek maar eens op bijvoorbeeld: img_1280 in Google, en klik maar op een paar zoekresultaten. Je ziet dat er alleen een afbeelding te zien is. En daar gaat het dus helemaal fout. Dit is een bekend probleem, en zoiets wil je natuurlijk voorkomen. En daarom is een diepgaande analyse zo hard nodig. Indexatie problemen bestaan!

Filters

Veel webshops gebruiken filters om producten te zoeken. Je kunt bijvoorbeeld filteren op de prijs, grootte of kleur. Sommige website zijn zo ingesteld dat elke optie in een filter een unieke URL krijgt. Stel je voor dat je 4 filters hebt, met elk filter 10 keuzes (denk bijvoorbeeld aan een filter voor Kleur: en dan 10 verschillende kleuren).

Hoeveel opties zijn er als er 4 filters zijn met elk 10 keuzes? 10.000 (10x10x10x10)

En denk je dat Google blij is met 10.000 URL’s waarvan 99.9% precies dezelfde inhoud heeft?

Ik denk het niet.

Hieronder is een voorbeeld van zo een filter probleem. Dit is van een webshop in tuinaccessoires. De URL bevatte de grootte, en het aantal werkdagen dat een tuinhuis geleverd kon worden.

Dit soort indexatie problemen komt echt heel vaak voor in webwinkels. Dus als er problemen zijn met rankings en indexatie, begin hier eens te kijken.

Authors, Tags, Archives

Gebruik jij WordPress?

WordPress maakt automatisch URL’s aan voor alle Tags, Auteurs en Archieven.

Tags, Author pagina’s etc. hebben over het algemeen geen unieke inhoud. Meestal is het een pagina met een overzicht van alle artikelen die bij die category/auteur horen, zonder toegevoegde waarde van de site. Zo een overzicht is misschien prima voor een gebruiker die vaak op de website komt, maar niet echt voor zoekmachines.

Zoekmachines zien dit soort oninteressante pagina’s als low quality, en het vervuilt hun index een beetje. En hoe meer je van dit soort pagina’s laat indexeren, hoe meer kan je hebt dat Google de website een beetje gaat negeren.

Indexatie problemen door Canonical Tags

Canonical tags geven aan welke URL de zoekmachines moeten indexeren. Denk bijvoorbeeld maar aan een Shopify webwinkel die een perfect voorbeeld hiervan is. Alle producten krijgen een unieke, eigen URL. Bijvoorbeeld mijnwebwinkel.nl/product/rode-nike-schoen-met-veters.

Maar afhankelijk vanaf welke categorie je het product gaat bekijken verandert de URL. Bij Shopify wordt het dan vaak: mijnwebwinkel.nl/collections/nike/rode-nike-schoen-met-veters

Dus dan zijn er 2 URLs waarbij het product te vinden is. Daarom wordt er gebruik gemaakt van een Canonical URL, zodat de zoekmachine precies weet welke URL ze moet indexeren en tonen in de zoekresultaten.

Helaas gaat het ook wel eens fout met het gebruik van Canonical tags. Zo kwam ik een grove fout tegen tijdens een SEO analyse voor een autoverkoper. Om een advertentie van een auto op hun eigen website te zetten moesten ze alle gegevens inclusief foto’s uploaden naar een server van de webbouwer. Deze laadde vervolgens de gegevens in op de website van de verkoper.

Dit was speciaal ontwikkelt zodat deze gelijk met Autotrader, Autoscout en dat soort websites gekoppeld kunnen worden.. Super handig.. maar enorm slecht uitgevoerd.

Het probleem was namelijk dat elke advertentie een canonieke URL meekreeg van de hoofdcategorie. Dit was autowinkel/occassions/ waardoor alle auto’s dezelfde canonieke URL kregen waardoor Google niet alle occassions indexeerde, en Bing gewoon geen enkele auto uberhaupt!  

Gelukkig negeerde Google in sommige (niet alle) gevallen de canonieke URL (en dat doet ze op goeder trouw) en indexeerde ze gewoon met de juiste URL, maar Bing vertikte het. Inmiddels zijn we 5 jaar verder, en deze partij heeft nog altijd hetzelfde probleem, waardoor sommige occasions niet getoond worden in Google.

Wat is het resultaat van een indexatie probleem?

Ten eerste staan er onbelangrijke pagina’s in Google die daar helemaal niet horen.

Ten tweede heeft het aantal lage kwaliteit pagina’s invloed op de zoekresultaten van de hele website. Denk maar aan die 10,000 filtermogelijkheden van hierboven. Deze zullen dan genegeerd worden waardoor sommige producten of categorieën niet meer in Google te vinden zijn.

En als een pagina niet in Google staat…. dan zul je daar nooit op gevonden worden.

Zodra je weet welke pagina’s niet in de index horen, kun je ze uitsluiten voor indexatie. Begin met met filters, tags, authors, etc. En bekijk daarna de pagina’s zoals Hello World die standaard met WordPress wordt geleverd. 

Hulp nodig bij het oplossen van jouw indexatie problemen?

Het oplossen van indexatie problemen gaat op verschillende manieren.

• Ten eerste moet je website goed in elkaar steken zodat alle belangrijke pagina’s gevonden kunnen worden door een crawler
• Ten tweede moet je gebruik maken van een Sitemap.xml bestand
• Ten derde kun je een html sitemap maken.
• Ten vierde kun je handmatig de URL aan Google geven die niet geïndexeerd wordt.
• Ten vijfde kun je een backlink maken naar de URL.
• Ten zesde kun je de Google Index API gebruiken

Vragen over indexatie:

• Wat zijn indexatie problemen?

  Google houdt een hele bibliotheek bij van alle websites en pagina’s die er te vinden zijn. Deze index wordt dus gevuld met van alles wat ze tegenkomt. Maar je kunt als website eigenaar aangeven welke pagina’s er wel/niet geïndexeerd mogen worden. Toch gaat het regelmatig mis. Of er worden teveel pagina’s geïndexeerd, of soms lukt indexeren niet.

• Wat zijn de bekendste indexatie problemen met WordPress?

  De bekendste van dit moment is waarschijnlijk: pagina’s worden wel gevonden door Google, maar niet geïndexeerd.
  Het grootste probleem dat ik tegenkom, is toch nog steeds dat er veel te veel onnodige pagina’s worden geïndexeerd.

• Hoe vind je deze problemen?

  Je kunt ze handmatig vinden in Google door een zoekopdracht uit te voeren met Site: Je kunt echter ook problemen vinden in de rapporten binnen Google Search Console. Als laatste kun je ze vinden met bijvoorbeeld Screaming Frog.