Crawlen en indexeren
Ik bekijk welke pagina's zoekmachines kunnen ophalen en welke in de zoekresultaten horen. Robots.txt stuurt het ophalen; het voorkomt indexatie niet betrouwbaar. Voor uitsluiting controleer ik bijvoorbeeld een noindex-instelling die Google kan lezen.
- Robots.txt en robots-instellingen, zoals noindex
- Voorkeurs-URL's (canonicals) en dubbele inhoud
- Indexatiestatus en XML-sitemap