Een sitemap is een bestand met een overzicht van de toegankelijke URL’s van een website. Er zijn twee hoofdvormen: de XML-sitemap, bedoeld voor zoekmachines, en de HTML-sitemap, ontworpen voor bezoekers. Inzicht in de structuur van dit bestand helpt je binnen enkele seconden specifieke informatie te vinden, maar ook te ontdekken wat ontbreekt of niet meer werkt op een website.
XML-sitemap en HTML-sitemap: twee bestanden met verschillende functies
De XML-sitemap is een technisch bestand dat leesbaar is voor crawlers van Google of Bing. Het bevat een lijst met URL’s en metadata, zoals de datum waarop een pagina voor het laatst is gewijzigd. Dit bestand is niet rechtstreeks bedoeld voor bezoekers: als je het onbewerkt bekijkt, zie je regels code.
De HTML-sitemap is daarentegen een gewone webpagina. Deze toont de rubrieken en subrubrieken van een website als aanklikbare links, ingedeeld per thema. Voor gebruikers die specifieke informatie zoeken, biedt de HTML-sitemap snelle toegang tot de verschillende onderdelen, zonder dat ze de interne zoekfunctie hoeven te gebruiken.
Wanneer een sportwebsite honderden pagina’s bevat (productpagina’s, gidsen, categorieën), biedt de volledige sitemap een overzicht van de hele sitestructuur en directe toegang tot de gewenste rubriek.
Ontbrekende of verouderde pagina’s opsporen met de sitemap
De meeste artikelen over sitemaps beperken zich tot uitleg over hoe je ze kunt vinden of bij zoekmachines kunt indienen. Voor websitebeheerders is de meest concrete toepassing de inhoud van de sitemap vergelijken met de pagina’s die daadwerkelijk toegankelijk zijn.
Een URL in de sitemap die een 404-fout oplevert, wijst op een verwijderde of verplaatste pagina waarvoor geen redirect is ingesteld. Een pagina die niet in de sitemap staat, wordt mogelijk nooit door zoekmachinecrawlers ontdekt.
Controleren of de sitemap overeenkomt met de daadwerkelijke website
Als je het XML-sitemapbestand opent (meestal bereikbaar via /sitemap.xml), krijg je een volledige lijst van de opgegeven URL’s. Door deze lijst te vergelijken met de resultaten van een crawler, kun je drie probleemgevallen opsporen:
- URL’s die wel in de sitemap staan, maar niet toegankelijk zijn (pagina’s met een foutmelding, defecte redirects, inhoud die is verwijderd zonder het bestand bij te werken)
- Pagina’s die op de website zijn gepubliceerd, maar niet in de sitemap staan en daardoor mogelijk onzichtbaar zijn voor zoekmachines
- URL’s met een verouderde lastmod-tag, waarvan de wijzigingsdatum niet overeenkomt met een daadwerkelijke verandering in de inhoud
Dit laatste punt verdient aandacht. Google kan de waarde van lastmod gebruiken om het crawlen van recent gewijzigde pagina’s voorrang te geven. Als je deze datum wijzigt zonder dat de inhoud daadwerkelijk is veranderd, wordt het signaal uiteindelijk minder betrouwbaar voor de zoekmachine.
Metadata in een XML-sitemap die je kunt negeren
De tags priority en changefreq komen nog steeds in veel sitemapbestanden voor. Google houdt er geen rekening mee. Ze hebben geen invloed op de crawlfrequentie of de positie van pagina’s. Voor de verwerking van het bestand tellen alleen de URL’s en daadwerkelijke wijzigingsdatums.
Een sitemap van een website vinden
Voordat je een sitemap kunt gebruiken, moet je deze eerst vinden. De locatie verschilt per CMS en configuratie van de website.
- Het bestand robots.txt (bereikbaar via /robots.txt) bevat vaak een regel met “Sitemap:” die de exacte URL van het XML-bestand vermeldt
- Veelgebruikte CMS’en (WordPress, Shopify, Wix) genereren automatisch een sitemap op een standaardlocatie, zoals /sitemap_index.xml of /sitemap.xml
- Google Search Console toont de sitemaps die door de website-eigenaar zijn ingediend, met het aantal gevonden URL’s en hun indexeringsstatus
- Als laatste redmiddel kun je in Google zoeken met de operator site:domein.com filetype:xml om het bestand te vinden
Beperkingen van de sitemap: wat het bestand niet garandeert
Een sitemap indienen bij Google garandeert niet dat de URL’s erin worden gecrawld of geïndexeerd. Een succesvolle verwerking van de inzending betekent dat het bestand is gelezen, niet dat de crawler elke pagina zal bezoeken.
Een syntactisch geldig bestand kan pagina’s bevatten die door robots.txt worden geblokkeerd, URL’s die worden doorgestuurd of dubbele pagina’s met een canonical-tag die naar een andere URL verwijst. Een technische validatie van de sitemap vervangt geen controle per pagina van de daadwerkelijke status van de URL’s.
Voor grote websites hanteert Google een limiet van 50.000 URL’s of 50 MB ongecomprimeerd per sitemapbestand. Daarboven moet het bestand worden opgesplitst in meerdere sitemaps, die samen onder een sitemapindex vallen. Een te groot of verkeerd opgesplitst bestand kan gedeeltelijk worden genegeerd.
Een sitemap, in XML- of HTML-vorm, blijft een hulpmiddel voor navigatie en diagnose. Als momentopname van de sitestructuur laat deze niet alleen zien welke pagina’s bestaan, maar ook welke er zouden moeten zijn. Als je de volgende keer een pagina niet kunt vinden op een website, kan het controleren van de sitemap voordat je gaat zoeken vaak tijd besparen of bevestigen dat de inhoud gewoon is verdwenen.
