Logfile-analyse
Ook wel log file analysis
Wat is een logfile-analyse?
Logfile-analyse (ook wel serverlog-analyse) is het uitlezen van je serverlogbestanden, het automatische register van elk bezoek aan je website. Zo zie je welke pagina's Googlebot en andere bots echt bezoeken, hoe vaak en met welke foutmeldingen.
Veelgestelde vragen over logfile-analyse
Hoe download ik de serverlogs van mijn WordPress-website?
Je logbestanden staan niet in WordPress zelf. Ze staan op de server van je hostingpartij. Zo kom je eraan:
- Log in op het controlepaneel van je hosting, zoals cPanel, DirectAdmin of Plesk.
- Zoek naar een onderdeel als Raw Access Logs, Logs of Statistieken.
- Download de access logs. Dat zijn vaak ingepakte .gz-bestanden.
- Vind je niets? Vraag je hoster dan om toegang of een export.
De plugin Wordfence toont via Live Traffic welke bots je site bezoeken. Dat is handig voor een snelle blik, maar het vervangt de echte serverlogs niet.
Welke tool gebruik ik om logbestanden te analyseren?
Een veelgebruikte keuze is de Screaming Frog Log File Analyser. Je sleept je logbestanden erin en ziet direct welke URL's bots bezoeken, hoe vaak en met welke statuscode. Er is een gratis versie met beperkingen en een betaalde licentie voor grotere bestanden.
Andere opties zijn de Log File Analyzer in Semrush of, voor een kleine site, gewoon een spreadsheet. Kies op basis van de grootte van je logbestanden en hoe vaak je wilt analyseren. Combineer de resultaten bij voorkeur met een crawl van je eigen site, zodat je ziet welke pagina's bots overslaan.
Is het rapport Crawlstatistieken in Search Console niet genoeg?
Voor veel kleine websites geeft Crawlstatistieken in Google Search Console al een goed beeld. Je ziet hoeveel verzoeken Googlebot doet, welke statuscodes hij krijgt en hoe snel je server reageert.
Toch is het geen volledige vervanging. Het rapport toont alleen Google, geeft voorbeelden in plaats van alle verzoeken en kijkt een beperkte periode terug. In je logbestanden zie je elk verzoek van elke bot, ook van Bing en AI-crawlers. Heb je een grote site of webshop met veel filterpagina's, dan geven logfiles je veel meer detail.
Hoe weet ik of een bezoek echt van Googlebot komt?
Kijk niet alleen naar de user agent, de naam waarmee een bot zich voorstelt. Die kan iedereen nadoen, en nep-Googlebots komen vaak voor. Controleer het zo:
- Doe een reverse DNS-lookup op het IP-adres uit je log.
- De hostnaam moet eindigen op googlebot.com of google.com.
- Doe daarna een gewone DNS-lookup op die hostnaam. Die moet weer hetzelfde IP-adres geven.
Google publiceert ook een lijst met IP-adressen van zijn crawlers. Tools als de Screaming Frog Log File Analyser kunnen bots automatisch voor je controleren.
Waarom zie ik bepaalde bezoeken niet terug in mijn logbestanden?
Meestal komt dat door een van deze oorzaken:
- CDN of caching: gebruik je bijvoorbeeld Cloudflare, dan worden veel verzoeken afgehandeld voordat ze je server bereiken. Die staan dan in de logs van je CDN, niet op je server.
- Logrotatie: veel hosters bewaren logs maar een korte tijd en overschrijven oude bestanden.
- Meerdere servers: bij sommige hostingpakketten zijn de logs verdeeld.
- Logging staat uit of is beperkt in je hostingpakket.
Download je logs daarom regelmatig en vraag je hoster hoe lang ze bewaard worden en waar je CDN-logs vindt.
