Crawlen

Wat is crawlen?

Crawlen is het doorzoeken van website door bots. Dit is zoekmachinesoftware die een website verkent om de inhoud te kunnen indexeren.

Hoe werkt crawlen?

Het complete crawlproces gaat van start met een lijst van webadressen, eerdere crawls en sitemaps. De zoekmachinebots gebruiken de links om andere pagina’s te ontdekken. Ze kijken specifiek naar nieuwe websites, wijzigingen in bestaande websites en links die niet langer werken.

Wat is een crawlbudget?

De zoekmachinebots hebben maar een beperkte capaciteit om websites te crawlen en nadien ook te indexeren en te ranken. Zorg ervoor dat je website SEO-gewijs goed in elkaar zit zodat de bots zich efficiënt een weg kunnen banen doorheen je website.

Als een zoekmachinebot meer relevante en kwalitatieve pagina’s zal vinden, zal hij meer ‘budget’ vrij maken om nog meer pagina’s van je website te crawlen en te indexeren. Via de robots.txt kan je aangeven welke pagina’s belangrijk om te crawlen zijn en welke de bot achterwege mag laten.

 

Hallo,

hoe kunnen we je helpen?

 

Een nieuw project, nice!

Muriel helpt je met plezier verder, bel je haar even op?

 

Je zoekt informatie.

Er is al heel wat info waarin je kan zoeken. Niets gevonden? Bel even naar Tom of Leen.