Helias Marketing

SEO Masterclass H1 - Crawlen & Indexeren

Crawlen en Indexeren - Starten met SEO

Om organische bezoekers te ontvangen vanuit Google zorg je er allereerst voor dat ´s werelds meest gebruikte zoekmachine bekend is met jouw webpagina´s.

Met organische bezoekers bedoelen we gratis bezoekers op basis van zoekmachine optimalisatie.

Volgens een artikel op moz.com, een expert op het gebied van SEO, vinden meer dan 90% van de online zoekopdrachten plaats via google.

In dit hoofdstuk van onze SEO cursus leren wij jou stap voor stap hoe de zoekmachines hun content verzamelen en hoe jij ervoor kunt zorgen dat jouw webpagina’s vertoond worden in de zoekresultaten van google.

Google Index

Je kunt Google zien als een grote bibliotheek die constant bezig is met het vinden van nieuwe informatie op het internet, en deze informatie vervolgens opslaat.

Zodra Google een zoekopdracht ontvangt van een gebruiker duiken zij de bibliotheek in en tonen de beste resultaten aan de gebruiker als antwoord op de zoekopdracht in de Search Engine Result Page.

Afgekort de SERP’s noemen we de pagina met zoekresultaten die een gebruiker vertoond krijgt na een voltooide zoekopdracht in de zoekmachines.

De pagina’s die als eerste naar voren komen naar een zoekopdracht zijn de door Google aangewezen beste resultaten voor de zoekopdracht die zij in slechts een halve seconde uit hun database hebben verzameld.

Het proces van Google om nieuwe informatie op het internet te vinden en deze vervolgens op te slaan noemen we crawlen en indexeren.

Wat is het crawlen van je website?

Google maakt gebruik van automatische Google bots die websites langslopen in hun constante zoektocht naar nieuwe informatie. Ze beginnen met het ophalen van een aantal webpagina’s van jouw website en vervolgen hun pad via de aanwezige interne links op de webpagina’s.

Deze Google bots worden ook wel ‘Google spiders’ genoemd, omdat ze de verschillende webpagina’s die aan elkaar verbonden zijn door interne links als een spin in een spinnenweb doorlopen.

Een goede en duidelijke link structuur van je website zorgt ervoor dat nieuwe of aangepaste pagina’s sneller door de Google bots worden gevonden en verwerkt in de zoekresultaten.

Het strategisch indelen van de website structuur voor zowel Google als de bezoeker noemen we website architectuur.

Zorg ervoor dat je pagina’s eenvoudig vindbaar zijn voor de zoekmachines door je pagina’s maximaal 2 klikken verwijderd te houden van je Homepage.

Pagina’s die te diep in je website verstopt zitten zullen moeilijker worden gecrawld.

google crawlers

Wat is indexeren in Google?

Indexeren is het registreren en opbergen van je pagina’s door Google in hun enorme database genaamd: Caffeine

Indien een webpagina door Google is geïndexeerd kan de pagina worden vertoond in de zoekresultaten al match voor een relevante zoekopdracht

Je kunt je webpagina’s eenvoudig laten indexeren door gebruik te maken van de gratis tool die Google aanbied: Google Search Console

Daarnaast worden je pagina’s op den duur vanzelf gecrawld en geïndexeerd omdat de Google Bots zelfstandig op zoek gaan naar nieuwe pagina’s op het web.

Je webpagina’s kunnen enkel worden geïndexeerd in Google indien aan de richtlijnen wordt voldaan. Redenen waarom een webpagina’s niet zijn geïndexeerd:

  • Je website is recentelijk gestart
  • Je website is moeilijk te vinden voor de Google bots
  • Je website kent te veel technische fouten
  • Je website is beboet door Google
  • Je webpagina bevat de ‘No-index’ code

Foutmeldingen tijdens het crawlen of indexeren worden in Google Search Console vertoond en Google biedt zelf ook diverse artikelen aan om je te helpen met indexeren.

google indexeren e1618240309867

Robots.txt. bestand

We weten nu dat Google gebruik maakt van hulpjes die dagelijks het web afspeuren op zoek naar nieuwe content. De Google bots navigeren via interne links van de ene pagina op je website naar de andere.

Als er nieuwe informatie is gevonden die aan de richtlijnen van Google voldoet, wordt deze informatie opgeslagen in de bibliotheek van Google en kan de informatie vanaf dat moment als zoekresultaat worden vertoond na een zoekopdracht in Google.

In sommige gevallen is het echter helemaal niet gewenst dat een pagina in de zoekmachine verschijnt. Zo kunnen pagina’s met gevoelige informatie zoals admin pagina’s beter worden afgeschermd.

Daarnaast is het SEO technisch niet handig om pagina’s met duplicate content of thin content te laten indexeren door Google.

Google heeft namelijk een hekel aan deze pagina’s met dubbele content of content met een lage kwaliteit. Iedere pagina moet uniek zijn, en dient waarde toe te voegen aan de gebruiker.

We kunnen onderstaande voorbeelden dan ook beter vermijden in de zoekresultaten:

  • Admin pagina’s
  • Bedankt pagina’s
  • Inlog pagina’s
  • Checkout pagina’s
  • Winkelmand pagina’s

Gelukkig is er een manier om met Google te communiceren en aan te geven dat we pagina’s willen uitsluiten van indexatie, en zelfs uitsluiten om bekeken te worden.

In een Robots.txt. bestand geven we aan Google aan welke pagina’s of welke bestanden niet mogen worden opgevraagd door de crawlers van Google om te bezoeken.

Het is echter geen geschikte methode om de webpagina helemaal uit te sluiten in de zoekresultaten.

We gebruiken het Robots.txt. bestand met name om het gedrag van de crawlers te beïnvloeden. We willen namelijk dat zij zo snel mogelijk de meest relevante bestanden en pagina’s van je website crawlen omdat dit een effect heeft op onze rankings in Google.

Om een pagina uit te sluiten van de zoekresultaten kun je een robots meta tag aanbrengen in de HTML code van je webpagina.

Robots meta tag

Robots meta tags zijn stukjes code die worden toegevoegd aan de broncode van een pagina om crawlers instructies te geven over hoe informatie op een webpagina gecrawld en geïndexeerd dient te worden.

Met de No index-meta tag geven we Google aan dat de desbetreffende pagina niet geïndexeerd dient te worden.

In het hoofdstuk: technische SEO gaan we net als in onze World Class SEO Checklist dieper in op het toepassen van meta tags.

robots.txt
no index wordpress

Robots meta tag aanbrengen met Rankmath

Indien je de SEO-plugin: Rank Math hebt geïmplementeerd op je website kun je simpel een No Index tag aanbrengen door je pagina te bewerken met Elementor  –> klik op het kopje: ‘Advanced’ –> en vervolgens de No Index tag aanvinken.

No Index tag aanbrengen in de HTML Broncode van je pagina

no index html code

Check de privacy settings van je website

Daarnaast is het belangrijk om de privacy setting van je website te checken om het mogelijk te maken voor de zoekmachines om jouw webpagina’s te indexeren en te vertonen in Google.

Navigeer naar je WordPress instellingen –> algemeen –> Privacy –> Public

privacy settings wordpress

Als je bezig bent met zoekmachine optimalisatie is Google Search Console vanzelfsprekend één van je beste vrienden.

Deze gratis SEO-tool biedt ons de mogelijkheid om:

  • Posities tracken in de zoekresultaten
  • Technische fouten detecteren
  • Statistieken van het aantal vertoningen & organische kliks
  • Indienen Sitemap
  • Overzicht met interne en externe links
  • Indexatie aanvragen
  • Site vitaliteit checken
  • Mobiele gebruikservaring checken
  • Structured data checken
  • Webpagina’s uit Google zoeken verwijderen

Navigeer allereerst naar de website van Google Search Console om je website te registreren:

Om de registratie succesvol toe te passen ontvangen we van Google een link tijdens de registratie waarmee we onze website kunnen verifiëren.

Deze site verificatie link voegen we op de website toe als: DNS record.

dns record toevoegen

Verificatie link toevoegen aan WordPress site

  • Navigeer naar je WordPress instellingen
  • Ga naar ‘Domeinen’
  • Klik vervolgens op ‘DNS Records’
  • Voeg de verificatie link toe als ‘TXT’ bestand
  • Klik op: ‘Add new DNS record’

Testen of je webpagina's geïndexeerd zijn

Je kunt in Google search console per pagina testen of ze door google geïndexeerd zijn en dus kunnen worden weergeven in de zoekresultaten.

Open Google Search Console –> URL-inspectie –> voeg je URL toe in de zoekbalk

search console url inspecteren

Vraag een Indexering aan

Het komt natuurlijk regelmatig voor dat jij de pagina’s op je website bijwerkt en wellicht je pagina aanpast om hoger te scoren in Google. Om zo snel mogelijk te profiteren van de wijzigingen aan de pagina kunnen we aan de rechterkant van de URL inspectie tool ook zelfstandig een indexering aanvragen.

indexering aanvragen

Foutmeldingen Indexatie

In Search Console kunnen we onder het kopje: ‘Dekking‘ de foutmeldingen terugvinden die Google ervan hebben weerhouden om onze pagina succesvol te indexeren.

In het dekkingsrapport vind je tevens de oorzaak van het niet succesvol indexeren, en krijg je toegang tot de juiste informatie om dit te verhelpen:

dekkingsrapport Google Search Console

Geindexeerde pagina´s in google zoeken

Om je webpagina in de zoekresultaten te kunnen laten verschijnen moeten deze pagina’s dus eerst gecrawld en geïndexeerd zijn.

Om te kijken welke pagina´s van onze website door google geïndexeerd zijn kunnen we in google zoeken de zoekopdracht: site:’domeinnaam’ invoeren.

google pagerank

Indienen van een sitemap

Een sitemap is een verzameling van webpagina’s die je kwalitatief genoeg vind om in de zoekresultaten te laten vertonen. Je kunt je sitemap indienen in google Search Console zodat Google tijdens het crawling proces voorkeur geeft aan deze desbetreffende webpagina’s.

Of google deze pagina´s ook daadwerkelijk indexeert is nog maar de vraag.

Zorg dat de pagina´s in je sitemap van hoge kwaliteit zijn en dat er geen pagina´s inzitten die je hebt uitgesloten voor de zoekresultaten.

Met het aanleveren van een sitemap geef je google een handig overzicht van je pagina´s wat het crawl proces kan versnellen. 

In WordPress kun je eenvoudig een sitemap aanmaken door een SEO plugin zoals Yoast SEO of Rank Math te installeren.

rank math seo plugin

Navigeer naar Rank Math Sitemap Settings –> Kopieer de Sitemap URL

rank math seo

Open Search Console –> Sitemaps –> Een nieuwe sitemap toevoegen

sitemap indienen

Samenvatting crawlen en indexeren

Google is als ‘s werelds grootste zoekmachine altijd op zoek naar nieuwe content op het world wide web, en maakt hiervoor gebruik van Google bots ook wel Google spiders genoemd. Deze programma’s speuren het internet af en doorlopen websites via interne links. 

Wanneer er nieuwe content of een nieuwe website wordt gedetecteerd die niet geblokkeerd is door de website eigenaar, zullen de Google bots de nieuwe informatie voordragen aan Google.

Indien deze nieuwe webpagina’s of nieuwe content aan de richtlijnen van Google voldoen, worden ze opgeslagen in de grote bibliotheek van Google.

Vanaf het moment dat een webpagina is geïndexeerd door Google kan de webpagina worden vertoond als organisch zoekresultaat indien er een relevante zoekopdracht voorkomt in Google.

Om te voorkomen dat een pagina met lage kwaliteit of met dubbele content wordt geïndexeerd omdat deze pagina’s onze SEO schaden, kunnen we een No index-meta tag implementeren.