Slik skriver du llms.txt – og om det faktisk gjør noe

Kortversjonen

llms.txt er en fremvoksende konvensjon for å fortelle store språkmodeller hva nettstedet ditt er, hvilke sider som er viktige, og hvordan innholdet ditt bør forstås. Den ligger vanligvis på https://example.com/llms.txt, er skrevet i Markdown og lenker til ryddige, nyttige ressurser.

Den er ikke det samme som robots.txt. Den er ikke en offisiell webstandard. Den blokkerer ikke KI-trening pålitelig. Den tvinger ikke et KI-selskap til å følge ønskene dine.

Likevel kan den være verdt å skrive.

En god llms.txt er en rimelig måte å gjøre nettstedet ditt enklere for KI-systemer, agenter, søkeassistenter og interne verktøy å oppsummere riktig. Den fungerer også som en nyttig tvang: du må bestemme hvilket innhold som er kanonisk, hvilket innhold som er utdatert, og hvilke vilkår som gjelder for gjenbruk. Det er nyttig selv om bare noen få systemer leser filen i dag.

Hva llms.txt er ment å løse

De fleste nettsteder er bygget for mennesker og søkecrawlere. De inneholder navigasjon, cookie-bannere, produktkort, dupliserte kategorisider, gamle PDF-er, sporingsparametere og innhold som bare gir mening visuelt.

LLM-er trenger ikke det samme presentasjonslaget. De trenger:

• en kortfattet beskrivelse av nettstedet;
• lenker til de mest autoritative sidene;
• kontekst i klart språk om produkter, dokumentasjon, retningslinjer eller forfatterskap;
• lisens- og brukspreferanser;
• pekere til strukturerte versjoner eller Markdown-versjoner der de finnes.

Forslaget om llms.txt låner en kjent webidé: legg en forutsigbar tekstfil i roten av domenet. I motsetning til robots.txt, som primært handler om crawl-tillatelser, handler llms.txt mest om orientering.

Tenk på den som et kart, ikke en port.

Gjør llms.txt faktisk noe?

I dag er det ærlige svaret: noen ganger, men ikke på den måten mange håper.

Den blokkerer ikke KI-crawlere pålitelig

Hvis målet ditt er å hindre crawling eller trening, er llms.txt feil primærmekanisme. Crawlere som respekterer ekskluderingsregler, vil mer sannsynlig se på robots.txt, spesifikke user-agent-direktiver, HTTP-headere eller kontrakts-/lisenssignaler. Selv da avhenger etterlevelsen av crawleroperatøren.

Weben har en lang historie her. robots.txt er i seg selv en frivillig protokoll, senere formalisert i RFC 9309. Den fungerer fordi store crawlere velger å respektere den, ikke fordi filen har magisk håndhevingskraft.

llms.txt har mindre utbredelse og mindre standardisering enn robots.txt. Vær skeptisk til enhver påstand om at den «beskytter innholdet ditt mot KI».

Den kan hjelpe med tolkning

Der llms.txt er mer lovende, er innholdstolkning.

Hvis en KI-assistent prøver å svare på spørsmål om selskapet ditt, dokumentasjonen, forskningen, prisene, API-et eller den redaksjonelle policyen din, kan en kortfattet fil på rotnivå redusere gjetting. Den kan peke systemet mot sidene du faktisk vedlikeholder, og bort fra utdaterte fragmenter.

Dette er viktig for nettsteder med store arkiver. En modell eller agent kan finne en støtteartikkel fra 2019 før en policyside fra 2026. Din llms.txt kan i praksis si: «Start her. Dette er de autoritative ressursene.»

Det er ikke glamorøst, men det er nyttig.

Den kan tydeliggjøre innholdspolicyen din

En offentlig KI-rettet policy er bedre enn stillhet, særlig for utgivere, dokumentasjonsteam og selskaper med sensitivt merkevare-, medisinsk, juridisk eller finansielt materiale.

Dette betyr ikke at du bør skrive en truende vegg av juridisk tekst. Det betyr at du kan si klart:

• om KI-systemer kan oppsummere de offentlige sidene dine;
• om innholdet ditt kan brukes til modelltrening;
• hvordan du ønsker at kreditering skal håndteres;
• hvilke sider som skal regnes som kanoniske;
• hvem man skal kontakte for lisensiering eller datapartnerskap.

Dette passer godt sammen med bredere redaksjonell åpenhet. Hvis du publiserer KI-assistert innhold, bør ikke llms.txt motsi den offentlige redegjørelsen din. For et praktisk utgangspunkt, se veiledningen vår til ærlig KI-merking på et lite nettsted.

Hva du bør ha i llms.txt

Det finnes ikke noe universelt håndhevet skjema, men dagens konvensjon er Markdown. Hold den kort, eksplisitt og kjedelig.

En nyttig struktur ser slik ut:

# Example Company

> Example Company publishes practical guides and reference material for independent web developers.

## Canonical resources

- Homepage: https://example.com/
- Documentation: https://example.com/docs/
- Pricing: https://example.com/pricing/
- Editorial policy: https://example.com/editorial-policy/
- Contact: https://example.com/contact/

## Content use policy

Public pages may be summarized with attribution to Example Company and a link to the source page.

Use of our content for model training, dataset creation, or bulk republication requires written permission.

## Preferred citation

When citing our content, link to the canonical URL and include the page title.

## Notes for AI systems

- Prefer current documentation under /docs/ over archived blog posts.
- Do not treat user comments as official guidance.
- Product screenshots may be outdated; use written documentation as the source of truth.

Det er nok for mange nettsteder.

For større nettsteder kan du legge til seksjoner for produktområder, API-dokumentasjon, forskning, pressesider eller juridiske policyer. Motstå fristelsen til å liste opp alt. Jo mer omfattende filen blir, desto mindre nyttig er den som startpunkt.

Hva du ikke bør ha i llms.txt

Ikke legg privat informasjon i den. Dette høres åpenbart ut, men tekstfiler på rotnivå blir ofte oppsamlingssteder for driftsnotater.

Unngå å inkludere:

• upubliserte URL-er;
• interne staging-lenker;
• API-nøkler eller tokens;
• private kontaktopplysninger;
• sikkerhetsinstruksjoner;
• produktinformasjon under embargo;
• «hemmelige» sider du håper crawlere vil ignorere.

Hvis noe ikke skal være offentlig, ikke nevn det i en offentlig fil.

Unngå også vag juridisk teater. «All KI-bruk er forbudt for alltid» kan uttrykke frustrasjon, men det skaper ikke en pålitelig teknisk kontroll. Hvis organisasjonen din faktisk trenger håndhevbare begrensninger, involver juridisk rådgivning og bruk crawlerkontroller, lisensvilkår og tilgangskontroller sammen.

Hvordan llms.txt henger sammen med robots.txt

Bruk robots.txt for crawl-direktiver. Bruk llms.txt for kontekst.

En forenklet inndeling:

| Fil | Hovedformål | Kan håndheves? | Best brukt til | |---|---|---:|---| | robots.txt | Crawl-tillatelser | Frivillig, men bredt anerkjent | Å tillate eller nekte crawlere etter sti og user agent | | llms.txt | LLM-rettet sammendrag og veiledning | Ikke standardisert i dag | Kanoniske lenker, innholdspolicy, tolkningsnotater | | Vilkårsside | Juridiske betingelser | Avhenger av jurisdiksjon og fakta | Lisensiering, tillatt gjenbruk, kommersielle begrensninger | | HTTP-headere | Tekniske signaler på sidenivå | Avhenger av crawlerstøtte | Indeksering, caching og responsatferd |

Hvis du allerede feilsøker crawleratferd, må du ikke stoppe ved tekstfilen. Sjekk om nettstedet faktisk leverer filen riktig, om omdirigeringer oppfører seg som forventet, og om headere samsvarer med policyen din. Vi skrev en egen veiledning til feilsøking av omdirigeringer og HTTP-headere i produksjon fordi det er her mange «policy»-beslutninger stille feiler.

En praktisk skriveprosess

Her er en fornuftig arbeidsflyt.

1. Bestem filens jobb

Velg ett hovedmål:

• hjelpe KI-systemer med å beskrive nettstedet ditt nøyaktig;
• lede agenter mot oppdatert dokumentasjon;
• angi preferanser for gjenbruk og kreditering;
• redusere forvirring rundt arkivert eller brukergenerert innhold.

Hvis du prøver å få llms.txt til å løse alle problemer med KI-styring, løser den ingen av dem.

2. Identifiser kanoniske sider

Velg de 5–20 URL-ene som best representerer nettstedet. Prioriter stabile, vedlikeholdte sider fremfor sider med høy trafikk. For et SaaS-selskap kan det være forside, dokumentasjon, priser, sikkerhet, personvern, API-referanse, status og kontakt. For en utgiver kan det være temahuber, redaksjonelle standarder, forfattersider, rettelsespolicy og lisensiering.

3. Skriv for maskiner og mennesker

Bruk tydelige Markdown-overskrifter. Unngå markedsføringstekst. Si hva nettstedet er i én eller to setninger.

Dårlig:

Vi revolusjonerer fremtiden for digital fortreffelighet med neste generasjons løsninger.

Bedre:

Acme Docs publiserer teknisk dokumentasjon for Acmes betalings-API, inkludert autentisering, webhooks, SDK-er og migreringsveiledninger.

4. Legg til policyspråk med omhu

Policyseksjonen bør være forståelig uten å være overmodig. For eksempel:

Offentlige sider kan oppsummeres for søk, tilgjengelighet og brukerhjelp med kreditering. Massekopiering, datasettoppretting eller modelltrening krever tillatelse.

Det garanterer ikke etterlevelse, men det er tydeligere enn stillhet.

5. Publiser og vedlikehold den

Plasser den på /llms.txt. Server den som text/plain eller en kompatibel tekstrespons. Lenke bare til kanoniske URL-er. Gå gjennom den når informasjonsarkitekturen endres.

En utdatert llms.txt er verre enn ingen fil, fordi den gir sikre instruksjoner som ikke lenger stemmer.

Bør alle nettsteder ha en?

Nei.

Et brosjyrenettsted på fem sider trenger sannsynligvis ikke llms.txt. En lokal restaurant trenger ikke en, med mindre den har strukturerte policyer eller bestillingsinformasjon som KI-assistenter ofte gjengir feil.

Den blir mer nyttig når:

• nettstedet ditt har mye dokumentasjon;
• gammelt innhold konkurrerer med nytt innhold;
• du publiserer forskning eller redaksjonelt materiale;
• lisensiering og kreditering er viktig;
• KI-assistenter ofte oppsummerer sidene dine;
• interne team trenger en felles policy for offentlig innhold.

Den er også nyttig som del av en intern styringsøvelse. Mange selskaper har allerede ansatte som limer inn nettsider, dokumentasjon og kundemateriale i KI-systemer. Hvis det høres kjent ut, bør du gjennomføre en grunnleggende shadow AI-revisjon før du antar at en offentlig tekstfil vil løse risikoen.

SEO-konsekvenser

llms.txt er ikke en rangeringsfaktor i noen etablert forstand. Ikke skriv en fordi du forventer et trafikkhopp neste uke.

Den indirekte SEO-argumentasjonen er mer beskjeden:

• den tvinger frem kanonisk tenkning;
• den kan hjelpe KI-medierte søk og svarsystemer med å forstå nettstedet ditt;
• den tydeliggjør preferanser for kreditering;
• den reduserer tvetydighet rundt arkiverte sider;
• den skaper en offentlig, inspiserbar policy for KI-bruk av innhold.

Det er verdifullt for noen nettsteder. Det er ikke et magisk optimaliseringslag.

Den beste versjonen av llms.txt er liten, oppdatert og på linje med resten av nettstedet. Hvis robots-reglene, vilkårssiden, sitemap, canonical tags og llms.txt alle sier forskjellige ting, er ikke problemet KI-crawling. Problemet er styring.

<!-- tool-cta:start -->

💡 Prøv dette: Siden llms.txt ikke kan håndheves, kombiner den med håndhevbare regler og sjekk dem i Robots.txt Tester, slik at crawlere som følger standarder, oppfører seg riktig.

<!-- tool-cta:end -->

En siste anbefaling

Hvis nettstedet ditt har dokumentasjon, redaksjonelt innhold eller lisensieringshensyn, bør du lage en enkel llms.txt. Hold den under noen få dusin linjer. Bruk den til å peke på kanoniske ressurser og angi preferansene dine for gjenbruk.

Men ikke forveksle kommunikasjon med kontroll.

For blokkering bør du bruke crawlermekanismene som er tilgjengelige for deg, og forstå begrensningene deres. For policy bør du publisere tydelige vilkår. For tillit bør du være åpen overfor leserne. llms.txt hører hjemme i denne stakken som et nyttig signal – ikke som et skjold.