Robots.txt

Wat is een robots.txt bestand?

Een robots.txt bestand is een bestandje dat aangeeft aan zoekmachinebots welke pagina’s al dan niet gecrawlt en dus geïndexeerd mogen worden.

Je kan een robots.txt bestand inzetten om specifieke webbots te blokkeren, zoals de Chinese zoekmachine Baidu.

 

Hallo,

hoe kunnen we je helpen?

 

Een nieuw project, nice!

Muriel helpt je met plezier verder, bel je haar even op?

 

Je zoekt informatie.

Er is al heel wat info waarin je kan zoeken. Niets gevonden? Bel even naar Tom of Leen.