Få utkast

llms.txt, robots.txt og AI-crawlere: slik styrer du tilgangen

Oppdatert 9 min lesetid

Kort svar. robots.txt styrer hvilke roboter som får hente sider, sitemap.xml lister sidene du vil ha indeksert, og llms.txt er et forslag om en oversikt for språkmodeller. Søkecrawlere, brukerforespørsler og treningscrawlere har ulike roller, og du kan velge dem enkeltvis. Sjekk alltid leverandørenes gjeldende dokumentasjon.

Hva er robots.txt, sitemap.xml og llms.txt?

Tre filer i rotmappen på nettstedet ditt forteller roboter hvordan de bør oppføre seg. De løser ulike oppgaver, og de er verken like viktige eller like utbredt.

De tre filene sammenlignet
FilHva den gjørStatus
robots.txtForteller crawlere hvilke deler av nettstedet de kan eller ikke kan henteEtablert standard som søkemotorene følger
sitemap.xmlLister adressene du ønsker indeksert, med valgfri oppdateringsdatoEtablert og støttet av store søkemotorer
llms.txtEn lesbar oversikt over viktige sider, skrevet i Markdown, for språkmodellerForslag under utvikling, uten garantert effekt

robots.txt fungerer som en anmodning og er ingen teknisk sperre. Seriøse crawlere følger reglene, men filen hindrer ingen i å hente siden hvis en bot velger å ignorere den. Det er hovedgrunnen til at sensitive sider alltid bør ligge bak innlogging.

Les gjerne Googles introduksjon til robots.txt for grunnregler, og llmstxt.org for forslaget om llms.txt.

Hva er forskjellen på søke-, bruker- og treningscrawlere?

AI-selskaper bruker ofte flere navngitte roboter, med ulike formål. Det gjør at du kan si ja til én og nei til en annen. Skillet mellom tre typer hjelper deg å tenke riktig.

Tre typer AI-roboter
TypeFormålHva det betyr for deg
SøkecrawlerBygger en søkeindeks som svar og lenker hentes fraSlipper du den inn, kan siden dukke opp som kilde i AI-søk
BrukercrawlerHenter en side når en bruker ber om det i en samtaleUtløses av en enkeltbruker som lenker til eller ber om siden din
TreningscrawlerSamler innhold som kan brukes til å lære opp modellerÅ blokkere den påvirker som regel ikke om du vises i søk, men sjekk dokumentasjonen

Mange bedrifter vil bli funnet i AI-søk, men ønsker ikke at innholdet skal brukes til å trene modeller. Da kan de tillate søkecrawlere og stenge treningscrawlere. Valget er ditt, og det kan endres senere.

Hvilke AI-crawlere bør du kjenne til?

Listen under bygger på hva leverandørene har publisert om egne roboter da guiden ble skrevet. Navn og formål kan ha endret seg, så bruk den som et utgangspunkt og verifiser mot kildene.

  • OAI-SearchBot (OpenAI). Beskrives av OpenAI som roboten for søkefunksjonen i ChatGPT. Dokumentasjon: platform.openai.com/docs/bots.
  • ChatGPT-User (OpenAI). Brukes når en bruker ber ChatGPT om å hente en side. OpenAI beskriver at robots.txt-regler kan gjelde annerledes for handlinger startet av brukere, så les dokumentasjonen.
  • GPTBot (OpenAI). Beskrives som crawleren for innhold som kan brukes til modelltrening.
  • PerplexityBot. Perplexitys robot for å bygge søkeindeksen sin. Selskapet har også omtalt en egen bruker-robot, så sjekk deres dokumentasjon.
  • ClaudeBot (Anthropic). Beskrives som robot for innhenting av innhold til trening.
  • Claude-SearchBot (Anthropic). Beskrives som robot som kan forbedre søkeresultater i Claude. Anthropic har også en bruker-robot, så les gjeldende oversikt.
  • Googlebot. Googles ordinære crawler for søk. Googles AI-oversikter bygger på vanlig Google-søk, og Google har sagt at ingen spesiell markup eller fil er påkrevd.
  • Google-Extended. En robots.txt-kode som styrer om Google kan bruke innholdet til visse generative AI-formål. Google beskriver at den ikke påvirker om siden inkluderes i vanlig søk.

Googles egen veiledning finner du i AI-optimaliseringsguiden. Den understreker at vanlig SEO-grunnmur gjelder også for AI-funksjonene i Google. Se også hva AEO og GEO er for helheten.

Cloudflare, brannmurer og JavaScript kan stenge AI ute

Selv med en riktig robots.txt kan AI-crawlere bli stoppet andre steder. Mange nettsteder ligger bak en CDN eller brannmur som Cloudflare, og slike tjenester kan blokkere kjente AI-crawlere som standard eller etter innstillinger du ikke har sett. Sjekk innstillingene for bot-håndtering og AI-crawlere, og test at de crawlerne du vil slippe inn faktisk får svar 200 på forsiden.

Det andre problemet er JavaScript. Mange crawlere kjører ikke JavaScript, og innhold som først dukker opp etter at skript er kjørt, kan være usynlig for dem. Sørg for at overskrifter, tjenestebeskrivelser, priser og spørsmål med svar står i HTML-kilden. Test ved å vise sidekilden eller hente siden med curl, og se om teksten er der.

Hvordan ser en robots.txt ut som slipper inn AI-søk?

Eksemplet under slipper inn vanlige søkemotorer og søkerelaterte AI-roboter, og stenger treningsrobotene. Det er et eksempel du kan tilpasse. Bytt ut adressen og mappene med dine egne.

# Tillat vanlige søkemotorer og AI-søk
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

# Valg om opplæring av modeller (juster etter eget ønske)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Alle andre
User-agent: *
Disallow: /admin/
Disallow: /handlekurv/

Sitemap: https://www.eksempel.no/sitemap.xml

Noen punkter å legge merke til. Hver User-agent-blokk gjelder bare den roboten. Hvis du ikke nevner en robot, følger den normalt regelen under User-agent: *. Disallow: / stenger hele nettstedet for den roboten, mens Allow: / åpner for alt.

Vil du i stedet åpne for treningsrobotene, fjerner du blokkene for GPTBot, ClaudeBot og Google-Extended eller bytter Disallow til Allow. Valget gjelder hvordan innholdet ditt kan brukes til opplæring, og er skilt fra synligheten i vanlig søk.

Hvordan ser en llms.txt ut?

En llms.txt er en Markdown-fil på /llms.txt. Forslaget beskriver en tittel, en kort sammendragslinje og lister over lenker med korte beskrivelser. Målet er å gi språkmodeller en ryddig inngang til de viktigste sidene.

# Eksempel Rørleggerservice AS

> Rørlegger i Oslo og Akershus. Vi hjelper privatkunder og borettslag med lekkasjer, bad, varmtvannsbereder og vedlikehold. Fast pris på mindre jobber.

## Tjenester
- [Lekkasje og akuttjobb](https://www.eksempel.no/tjenester/lekkasje/): hva vi gjør, hva det typisk innebærer og hvordan du bestiller
- [Baderomsrenovering](https://www.eksempel.no/tjenester/bad/): prosess, tidsbruk og hva som styrer prisen
- [Varmtvannsbereder](https://www.eksempel.no/tjenester/bereder/): bytte, service og levetid

## Guider
- [Hva koster en rørlegger?](https://www.eksempel.no/guide/hva-koster-rorlegger/): prisforklaring med eksempler
- [Slik oppdager du skjult vannlekkasje](https://www.eksempel.no/guide/skjult-lekkasje/): tegn og første steg

## Om oss
- [Om firmaet](https://www.eksempel.no/om-oss/): organisasjonsnummer, sertifiseringer og kontaktinformasjon
- [Kontakt](https://www.eksempel.no/kontakt/): telefon, e-post og tjenesteområde

Hold filen kort og oppdatert. Ta med sider som svarer på det kundene spør om, ikke alle sider på nettstedet. Husk at filen ikke erstatter gode sider med tydelige svar og strukturert data. Se guide til strukturert data og JSON-LD for det.

Kan brannmur eller CDN blokkere AI-crawlere selv om robots.txt tillater dem?

Ja, og det er en av de vanligste årsakene til at en AI-motor ikke ser siden din. robots.txt er bare én del av bildet. Brannmur (WAF), CDN og sikkerhetstillegg kan blokkere roboter på nettverksnivå, før de rekker å lese filen.

Tjenester med bot-beskyttelse kan klassifisere AI-roboter som trusler, eller kreve en utfordring som roboter ikke kan løse. Noen tilbyr egne innstillinger for AI-crawlere som kan være slått på som standard. Dette varierer mellom leverandører og endrer seg over tid.

  1. Finn ut hvilke tjenester som står foran nettstedet: hosting, CDN, WAF og sikkerhetsplugin.
  2. Se i innstillingene etter bot-regler, AI-crawler-regler og hastighetsbegrensning.
  3. Sammenlign med robots.txt, slik at begge sier det samme.
  4. Sjekk loggene hvis de er tilgjengelige, og se om navngitte AI-roboter får 200-svar eller 403.
  5. Dokumenter hva du har valgt, så ikke neste oppdatering tilbakestiller det.

Be en tekniker eller hostingleverandøren om hjelp hvis du ikke finner innstillingene. Dette er en av punktene vi kontrollerer i AI-synlighet og AEO.

Hva kan du ikke love med robots.txt og llms.txt?

Det er fristende å tro at riktige filer gir plass i AI-svar. Slik fungerer det ikke. Filene styrer tilgang og gir en tydelig inngang, og det er alt.

  • At siden din blir sitert eller anbefalt i ChatGPT, Gemini, Perplexity eller andre svar.
  • At en AI-motor følger llms.txt. Det er et forslag, og effekten er ikke dokumentert for alle motorer.
  • At en blokkert treningsrobot gjør at innholdet aldri blir brukt andre steder. Kopier og tredjepartskilder kan fortsatt finnes.
  • At en robot som ikke følger reglene, holdes ute. robots.txt er en forespørsel.
  • At en bestemt rekkefølge eller plassering i svarene oppnås.

Det du kan gjøre, er å fjerne hindringer, publisere tydelig og nyttig innhold, og sørge for at tekniske grunnlag er i orden. AI-motorer velger ofte kilder som er tydelige, oppdaterte og lette å trekke ut svar fra. Det øker sjansen, men gir ingen garanti. Se bli funnet i ChatGPT og AI-søk for en bredere gjennomgang.

Hvordan tester du at oppsettet fungerer?

Test før og etter hver endring. Små feil i robots.txt kan stenge hele nettstedet, og de merkes ofte ikke før trafikken faller.

  1. Åpne /robots.txt i nettleseren. Sjekk at filen finnes, at den leses som ren tekst, og at den ikke har skrivefeil.
  2. Les gjennom hver User-agent-blokk og kontroller at du ikke har stengt noe du vil ha åpent, særlig Disallow: / under User-agent: *.
  3. Åpne /sitemap.xml og /llms.txt og bekreft at de laster og lister riktige sider.
  4. Bruk Search Console til å se hvordan Google leser robots.txt og sitemap, og bruk URL-inspeksjon på noen nøkkelsider.
  5. Test med en kommandolinje-forespørsel som setter en robots user-agent og se at du får 200 og ikke 403. Gjør det mot navngitte roboter du har sluppet inn.
  6. Gå gjennom CDN- og WAF-innstillingene og kontroller at bot-regler ikke motsier robots.txt.
  7. Legg inn en påminnelse om å sjekke leverandørenes dokumentasjon to ganger i året.

Se sjekkliste for SEO og AEO før lansering for hele rekkefølgen, og la en erfaren person se over oppsettet hvis noe er uklart.

Ofte stilte spørsmål

Må jeg ha llms.txt?

Nei. llms.txt er et forslag, og det finnes ingen garanti for at AI-motorer bruker den. Google har sagt at ingen spesiell markup eller fil er påkrevd for AI-oversikter. Filen er lett å lage og kan være en nyttig inngang, men prioriter først gode sider og åpen tilgang.

Skal jeg blokkere GPTBot?

Valget er helt ditt. GPTBot beskrives av OpenAI som en crawler for innhold som kan brukes til modelltrening. Vil du ikke bidra til trening, kan du blokkere den. Vil du være synlig i ChatGPT-søk, handler det om OAI-SearchBot, som er en egen robot.

Påvirker Google-Extended om jeg vises i Google?

Ifølge Googles dokumentasjon påvirker Google-Extended ikke om siden inkluderes i vanlig Google-søk, og den brukes ikke som rangeringssignal. Den styrer bruken til visse generative AI-formål. Sjekk gjeldende dokumentasjon, siden Google kan endre dette.

Hva er forskjellen på robots.txt og noindex?

robots.txt styrer om en robot får hente en side. Noindex er en instruksjon i selve siden om at den ikke skal vises i søkeresultater. Blokkerer du en side i robots.txt, kan roboten ikke lese noindex-instruksjonen. Bruk riktig verktøy for riktig formål.

Kan en brannmur blokkere AI-crawlere selv om robots.txt tillater dem?

Ja. Brannmur, CDN og sikkerhetstillegg kan stoppe roboter før de leser robots.txt. Sjekk bot-innstillingene og loggene dine, og la en tekniker verifisere at navngitte roboter får svar. Det er en vanlig årsak til at en side ikke blir hentet.

Hvor ofte bør jeg oppdatere robots.txt og llms.txt?

Gå gjennom filene når du legger til eller fjerner viktige sider, bytter plattform eller endrer hosting, og ellers et par ganger i året. AI-selskaper endrer navn og regler over tid, så kontroller leverandørenes siste dokumentasjon.

Kilder og videre lesing