Indexatie problemen?

Steeds vaker hebben websites last van indexatieproblemen, zonder dat de eigenaar hiervan weet.

In de afgelopen jaren kwam ik van elke 10 websiteanalyses wel 5-6 websites tegen met dit probleem. Dat is dus 50%. In de meeste gevallen hebben de eigenaren van de website hier geen weet van. Toch zonde, want dat betekent dat je bezoekers mist op je site.

Alhoewel indexatieproblemen niets nieuws zijn, kom ik steeds vaker klachten tegen op social media. Dit komt waarschijnlijk door het rapport in Google Search Console. Vroeger kwam je hier pas achter door een analyse te doen met bijvoorbeeld Screaming Frog of Sitebulb. Maar tegenwoordig laat Google het gewoon in de Search Console zien.

En dan heb ik het met namen over het dekkingsrapport: Gecrawld – momenteel niet geïndexeerd. Zie hieronder voor een voorbeeld van mijn eigen site.

Onder deze grafiek staan allerlei URLs die wel zijn gevonden door Google, maar niet worden getoond in Google.

Maar wat zijn nog meer indexatie problemen?

Begin bij de basis: de techniek

Als je hoger wilt komen in Google moet je eerst een goede basis hebben. En dat betekent een website die zo is opgebouwd dat alle pagina’s gevonden kunnen worden door het volgen van interne links. Maar dat is zeker niet alles… verre daarvan.

Je moet namelijk alleen de pagina’s laten indexeren die NODIG zijn.  

Niets meer, niets minder. 

Doe maar even een snelle controle voor je eigen website, door het volgende te doen in Google. Gebruik hiervoor de :site Google Search operator. Vul je eigen domeinnaam in, en typ daarvoor site: Dus zoals hieronder staat: site:mijndomein.nl. En laat Google nu maar even zoeken.

Dan zie je onder de naam van je domein zoiets staan: Ongeveer 175 resultaten. Dit betekent dat Google ongeveer 175 pagina’s heeft geïndexeerd

Als dat aantal helemaal niet klopt met wat jij op je website hebt staan komt dit waarschijnlijk door crawl en indexatieproblemen.

Maar eerst: welke pagina’s horen niet in de normale index? 

Afbeeldingen

Ik verwijs nogmaals even naar een oud Yoast SEO probleem, waar afbeeldingen werden geïndexeerd als zijnde webpagina’s. Dat was een heel probleem voor veel websites. Afbeeldingen moeten niet als pagina’s worden geïndexeerd. Zelfs jaren later plukken sommige websites hier nog steeds de zure vruchten van. 

Geloof je mij niet.

Zoek maar eens op bijvoorbeeld: img_1820 in Google, en klik maar op een paar zoekresultaten. Je ziet dat er alleen een afbeelding te zien is. En daar gaat het helemaal fout.

Dit is dus een bekend probleem, en dat wil je voorkomen met je eigen website.

Filters

Veel webshops gebruiken filters om producten te zoeken. Je kunt bijvoorbeeld filteren op de prijs, grootte en kleur.
Sommige website zijn zo ingesteld dat elke optie in een filter een unieke URL krijgt. Stel je voor dat je 4 filters hebt, met elk filter 10 keuzes (denk bijvoorbeeld aan een filter voor Kleur: en dan 10 verschillende kleuren).

Hoeveel opties zijn er als er 4 filters zijn met elk 10 keuzes? 10.000 (10x10x10x10)

En denk je dat Google blij is met 10000 URL’s waarvan 99.9% precies dezelfde inhoud heeft? (behalve een paar productnamen).

Ik denk het niet.

Hieronder is een voorbeeld van zo een filter probleem. Dit is van een webshop in tuinaccessoires. De URL bevatte de grootte, en het aantal werkdagen dat een tuinhuis geleverd kon worden.

Dit soort indexatie problemen komt heel vaak voor in webwinkels. Dus als er problemen zijn met rankings en indexatie, begin hier eens te kijken.

Authors, Tags, Archives

Gebruik jij WordPress?

WordPress maakt automatisch URL’s aan voor alle Tags, Auteurs en Archieven.

Tags, Author pagina’s etc. hebben over het algemeen geen unieke inhoud. Meestal is het een pagina met een overzicht van alle artikelen die bij die category/auteur horen, zonder toegevoegde waarde van de site. Zo een overzicht is misschien prima voor een gebruiker die vaak op de website komt, maar niet voor zoekmachines.

Zoekmachines zien dit soort oninteressante pagina’s als low quality, en het vervuilt hun index. En hoe meer je van dit soort pagina’s laat indexeren, hoe vaker Google deze website gaat negeren.

Indexatie problemen door Canonical Tags

Canonical tags geven aan welke URL de zoekmachines moeten indexeren. Denk bijvoorbeeld maar aan een Shopify webwinkel, dat een perfect voorbeeld hiervan is. Alle producten krijgen een unieke, eigen URL. Bijvoorbeeld mijnwebwinkel.nl/product/rode-nike-schoen-met-veters.

Maar afhankelijk vanaf welke categorie jij het product gaat bekijken verandert de URL. Bij Shopify wordt het dan vaak: mijnwebwinkel.nl/collections/nike/rode-nike-schoen-met-veters

Dus dan zijn er 2 URLs waarbij het product te vinden is. Daarom wordt er gebruik gemaakt van een canonical URL, zodat de zoekmachine precies weet welke URL ze moet indexeren en tonen in de zoekresultaten.

Helaas gaat het ook wel eens fout met het gebruik van Canonical tags. Zo kwam ik een grove fout tegen tijdens een SEO analyse voor een autoverkoper. Om een advertentie van een auto op hun eigen website te zetten moesten ze alle gegevens inclusief foto’s uploaden naar een server van de webbouwer. Deze laadde vervolgens de gegevens in op de website van de verkoper.

Dit was speciaal ontwikkelt zodat deze gelijk met Autotrader, Autoscout en dat soort websites gekoppeld kunnen worden.. Super handig.. maar slecht uitgevoerd.

Het probleem was namelijk dat elke advertentie een canonieke URL meekreeg van de hoofdcategorie. Dit was autowinkel/occassions/ waardoor alle auto’s dezelfde canonieke URL kregen. Daardoor indexeerde Google niet alle URL’s en Bing indexeerde zelfs geen enkele auto! 

Gelukkig negeerde Google in sommige (niet alle) gevallen de canonieke URL en indexeerde ze gewoon met de juiste URL, maar Bing vertikte het. Inmiddels zijn we 5 jaar verder, en deze partij heeft nog altijd hetzelfde probleem, waardoor sommige occasions niet getoond worden.

Wat is het resultaat van een indexatie probleem?

Ten eerste staan er onbelangrijke pagina’s in Google die daar helemaal niet horen.

Ten tweede heeft het aantal lage kwaliteit pagina’s invloed op de zoekresultaten van de hele website. Denk maar aan die 10,000 filtermogelijkheden van hierboven. Deze zullen dan genegeerd worden waardoor sommige producten of categorieen niet meer in Google te vinden zijn.

En als een pagina niet in Google staat…. dan zul je daar nooit op gevonden worden.

Zodra je weet welke pagina’s niet in de index horen, kun je ze uitsluiten voor indexatie. Begin met met filters, tags, authors, archives etc. En bekijk daarna de pagina’s zoals Hello World die standaard met WordPress wordt geleverd. 

Hulp nodig bij het oplossen van jouw indexatie problemen?

Het oplossen van indexatie problemen gaat op verschillende manieren.

• Ten eerste moet je website goed in elkaar steken zodat alle belangrijke pagina’s gevonden kunnen worden door een crawler
• Ten tweede moet je gebruik maken van een Sitemap.xml bestand
• Ten derde kun je een html sitemap maken.
• Ten vierde kun je handmatig de URL aan Google geven die niet geïndexeerd wordt.
• Ten vijfde kun je een backlink maken naar de URL.
• Ten zesde kun je de Google Index API gebruiken

Veelgestelde vragen over indexatie

• Wat zijn indexatie problemen?

  Google houdt een hele bibliotheek bij van alle websites en pagina’s die er te vinden zijn. Deze index wordt dus gevuld met van alles wat ze tegenkomt. Maar je kunt als website eigenaar aangeven welke pagina’s er wel/niet geïndexeerd mogen worden. Toch gaat het regelmatig mis. Of er worden teveel pagina’s geïndexeerd, of soms lukt indexeren niet.

• Wat zijn de bekendste indexatie problemen met WordPress?

  De bekendste van dit moment is waarschijnlijk: pagina’s worden wel gevonden door Google, maar niet geïndexeerd.
  Het grootste probleem dat ik tegenkom is toch nog steeds dat er veel te veel onnodige pagina’s worden geïndexeerd.

• Hoe vind je deze problemen?

  Je kunt ze handmatig vinden in Google door een zoekopdracht uit te voeren met Site: Je kunt echter ook problemen vinden in de rapporten binnen Google Search Console. Als laatste kun je ze vinden met bijvoorbeeld Screaming Frog.