Maak het SEO robots makkelijk
Voor het indexeren van je website maken zoekmachines gebruik van robots. Deze robots bezoeken (crawlen) met enige regelmaat de pagina’s van je website en nemen deze vervolgens op in hun indexlijsten. Het is dus belangrijk dat je het een SEO robot zo makkelijk mogelijk maakt om je website te indexeren. Dit zijn de punten waar je op moet letten voor een “crawl-vriendelijke” website.
Crawlstatistieken van de SEO robot
In Google Search Console kun je zien hoe vaak de robot van Google je webite crawlt en of hij daarbij problemen ondervindt. Log hiervoor in op Search Console en ga in het linker menu naar “crawlen”. Hier vind je onder andere de crawlstatistieken van de SEO robot, die laten zien hoeveel pagina’s de robot gemiddeld doorzoekt. Ook zie je of er crawlfouten zijn en welke pagina’s dat betreft. Deze informatie geeft je de mogelijkheid het crawlen voor de robot te verbeteren, waardoor je website beter geïndexeerd wordt.
Robot.txt file
Het is vooral van belang dat robot’s zoveel als mogelijk de belangrijke pagina’s van je website indexeren. Zijn er pagina’s op je site die niet van belang zijn, bijvoorbeeld omdat ze duplicate content bevatten, geef dan via een robot.txt file aan welke pagina’s niet door een robot geïndexeerd hoeven te worden. In Search Console kun je dit aangeven en instellen.
Meerdere (dynamische) URL’s voor dezelfde pagina
Sommige website applicaties genereren meerdere dynamische URL’s die uiteindelijk naar dezelfde content leiden. Dit is bijvoorbeeld nogal eens het geval bij webshops. Hier schuilt niet alleen een potentieel risico van duplicate content, maar robots moeten ook meer crawlen wat hetzelfde resultaat oplevert. Als jouw website applicatie parameters toevoegt aan URL’s die niets toevoegen aan de inhoud van de pagina, dan kun je Google hierop wijzen in Search Console bij URL-parameters.
Voorkom aaneengeschakelde redirects
Soms is het nodig een redirect aan te leggen als een pagina verdwijnt en een nieuwe pagina wordt gemaakt. Op zich is een goed ingestelde redirect prima, maar voorkom wel dat er een aaneenschakeling van redirects ontstaat. Hierdoor kan de robot afhaken en de uiteindelijke pagina nooit bereiken, waardoor deze niet geïndexeerd wordt.
Gebroken links
Een andere dooddoener zijn gebroken links op je website. Deze kun je vinden met Website Auditor van SEO PowerSuite of in Search Console onder crawlfouten. Herstel deze gebroken links zo snel als mogelijk, zodat een robot de link weer kan vinden.
Zorg voor een up-to-date sitemap
Net zoals de index van een boek, helpt het ook als je website een index oftewel sitemap heeft. Een sitemap vertelt een robot welke pagina’s er op je site staan, maar geavanceerdere sitemaps geven ook aan of en wanneer een pagina is toegevoegd of gewijzigd. Zorg dat je sitemap zich regelmatig automatisch update of doe dit handmatig. Zo blijven zoekmachines ook up-to-date.
Heb je een blog of nieuws, gebruik een RSS
Nieuws is voor zoekmachines als Google van grote waarde. Robots bezoeken blogs en nieuwspagina’s dan ook graag en vaak. Heeft je website een blog of nieuwspagina, stel dan een RSS feed in en breng Google hiervan op de hoogte via Google’s Feed Burner.
Website structuur en interne linkbuilding
Als laatste draagt ook een duidelijke en logische website structuur en goede interne linkbuilding bij aan goede indexatie. Hoe logischer de (menu-)structuur van je website, hoe makkelijker robots je website kunnen crawlen en indexeren. Zijn er pagina’s die niet direct via het menu te vinden zijn, maar wel belangrijk voor indexatie, leg dan op relevante plaatsen interne links naar deze pagina’s aan. Zorg daarbij voor een goede anchor text en alt tag van de link.
Kunnen SEO robots jouw website goed crawlen? Check het bijvoorbeeld in Google Search Console. Kom je er niet uit, laat het ons dan weten.
Guus Weitzel
