llms.txt, robots.txt en structured data voor AI-vindbaarheid

Los de lagen in deze volgorde op. Als een firewall de crawler weigert, maakt extra schema geen verschil. Als de pagina bereikbaar maar nergens intern gelinkt is, blijft ontdekking onzeker. En als de content niets unieks of controleerbaars zegt, garandeert perfecte techniek nog steeds geen selectie.

OpenAI beschrijft OAI-SearchBot als de crawler voor zoekfuncties die websites in ChatGPT Search kunnen tonen en linken. GPTBot wordt apart gebruikt in verband met mogelijke training van generatieve modellen. Deze scheiding maakt een gerichte keuze mogelijk.

Een organisatie kan bijvoorbeeld OAI-SearchBot toestaan voor zoekzichtbaarheid en GPTBot blokkeren als zij geen crawling voor modeltraining wil. Controleer daarbij ook CDN-, WAF- en serverregels: een toegestane user-agent in robots.txt helpt niet als het IP-verkeer elders wordt geweigerd.

Voor opnamekans in ChatGPT Search mag een relevante openbare pagina niet voor OAI-SearchBot zijn uitgesloten. Een gerichte configuratie kan OAI-SearchBot toestaan en GPTBot apart blokkeren. Gebruik voor beide een eigen user-agentblok en controleer na publicatie de werkelijk geserveerde robots.txt.

Blokkeer nooit per ongeluk CSS, scripts of afbeeldingsbestanden die nodig zijn om de pagina te begrijpen. Houd privé-, account- en beheeromgevingen buiten bereik met echte toegangsbeveiliging; robots.txt is een crawlinstructie en geen beveiligingslaag.

Perplexity publiceert eigen documentatie voor PerplexityBot en aanvullende fetchers. Gebruik altijd de actuele officiële documentatie voor user-agentnamen en gepubliceerde IP-informatie; namen en infrastructuur kunnen veranderen.

Maak per crawler een bewuste keuze op basis van het doel. Een brede regel als 'blokkeer alle AI-bots' kan zoekzichtbaarheid raken, terwijl een algemene toestemming ook crawlers omvat die je niet afzonderlijk hebt beoordeeld.

llms.txt is een voorgesteld tekstbestand waarmee een site geselecteerde informatie of documentatielinks voor taalmodellen kan presenteren. Het voorstel kan praktisch zijn voor sommige ontwikkelaarsscenario's, maar is geen algemeen geaccepteerde rankingstandaard.

Google zegt in zijn AI-optimalisatiegids dat llms.txt niet nodig is en voor Google neutraal wordt behandeld. Publiceer het dus alleen wanneer je een concreet eigen gebruiksdoel hebt en het bestand kunt onderhouden. Verwacht geen Google-voordeel en gebruik het nooit als vervanging voor interne links, sitemap of toegankelijke HTML.

Structured data maakt relaties en eigenschappen machineleesbaar, mits de markup overeenkomt met wat bezoekers op de pagina zien. Gebruik het meest specifieke passende type en valideer zowel syntaxis als inhoud. Google vereist geen speciaal schema voor zijn generatieve AI-functies.

Schema kan begrip en bestaande zoekweergaven ondersteunen, maar creëert geen expertise en dwingt geen citaat af. Onzichtbare, overdreven of tegenstrijdige markup kan juist kwaliteitsproblemen veroorzaken.

Test de productieversie, niet alleen een lokaal bestand. Open robots.txt en sitemap rechtstreeks, controleer de responseheaders, valideer structured data en bekijk serverlogs wanneer die beschikbaar zijn. Houd een wijzigingsdatum bij voor crawlerregels.

Herhaal de controle na een CMS-, CDN- of beveiligingswijziging. Een nieuwe botregel heeft weinig waarde wanneer een standaard firewallprofiel de crawler vervolgens alsnog tegenhoudt.

Bij Googles AI Overviews en AI Mode controleer je ook of je website niet is uitgesloten via de deelname-instelling in Search Console. Opname is standaard ingeschakeld; een aparte aanmelding is niet vereist. Dit geeft geen garantie dat een pagina wordt getoond.

Robots.txt stuurt crawlertoegang op padniveau. Een meta-robotsregel zoals `noindex` wordt pas gezien wanneer een crawler de pagina kan ophalen en gaat over opname in een index. Een canonical wijst de voorkeursversie aan bij sterk gelijkende URL's, maar is geen opdracht om een andere URL nooit te crawlen.

Combineer de middelen niet tegenstrijdig. Als een duplicaat in robots.txt is geblokkeerd, kan een crawler de canonical op die pagina mogelijk niet lezen. Als een openbare gids per ongeluk `noindex` bevat, lossen sitemap en schema dat niet op. Controleer daarom de uiteindelijke HTML en headers van de productie-URL.

Gebruik echte HTTP-authenticatie voor staging, klantportalen en privébestanden. Een `Disallow`-regel maakt een URL niet geheim en voorkomt niet dat het adres elders wordt genoemd.

Een robotsbestand kan perfect lijken terwijl de crawler een 403, challengepagina of lege client-side shell ontvangt. Controleer daarom statuscode, gerenderde kerninhoud en response voor de productieomgeving. De belangrijkste dienstuitleg moet bij voorkeur zonder gebruikersinteractie in de HTML beschikbaar zijn.

Botmanagement op een CDN kan bekende user agents blokkeren of juist vervalste bots doorlaten. Baseer allowlisting alleen op de actuele officiële verificatiemethode en IP-informatie van het platform. Een user-agentstring alleen bewijst geen identiteit.

Bekijk serverlogs wanneer beschikbaar, maar trek ook daar geen te grote conclusie uit. Eén crawl bewijst bereikbaarheid op dat moment; het bewijst geen opname, indexering of toekomstige bronselectie.

Begin bij het hoofdobject van de pagina. Een kennisbankartikel gebruikt Article met auteur en datums; een organisatiepagina beschrijft de organisatie; een zichtbare dienst kan Service gebruiken. Voeg Person alleen toe met eigenschappen die publiek en relevant zijn en laat Organization-gegevens sitebreed consistent terugkomen.

FAQPage-markup hoort uitsluitend bij de vragen en antwoorden die een bezoeker op dezelfde pagina kan lezen. Markeer geen reviews die van derden zijn gekopieerd alsof je ze zelf beheert en verzin geen ratingaggregaat om een zoekweergave te krijgen.

Een optioneel llms.txt-bestand kan voor een eigen documentatie- of agentworkflow een compacte ingang bieden. Leg dan intern vast welk systeem het gebruikt, welke URLs bewust zijn geselecteerd en wie het bestand bijwerkt. Zonder ondersteunde afnemer is het vooral extra infrastructuur.

Zet geen geheime instructies, privé-URLs of afwijkende claims in het bestand. Het is publiek toegankelijk en mag de zichtbare website niet tegenspreken. Laat links naar canonieke, actuele bronnen wijzen en voorkom dat verwijderde documentatie eindeloos blijft rondzingen.

Meet het bedoelde effect binnen het systeem waarvoor je het hebt gemaakt. Een succesvolle interne agenttest is geen bewijs van betere Google- of ChatGPT-zichtbaarheid. Verwijder het bestand wanneer niemand het gebruikt of onderhoudt; technische eenvoud is ook een kwaliteitskeuze.