Cara menulis llms.txt—dan sama ada ia benar-benar melakukan apa-apa

Versi ringkas

llms.txt ialah konvensyen yang sedang muncul untuk memberitahu model bahasa besar tentang laman anda, halaman mana yang penting, dan bagaimana kandungan anda patut difahami. Ia biasanya berada di https://example.com/llms.txt, ditulis dalam Markdown, dan memaut kepada sumber yang bersih serta berguna.

Ia tidak sama dengan robots.txt. Ia bukan standard web rasmi. Ia tidak menyekat latihan AI dengan andal. Ia tidak memaksa syarikat AI untuk mengikut kehendak anda.

Namun, ia masih berbaloi untuk ditulis.

llms.txt yang baik ialah cara berkos rendah untuk memudahkan sistem AI, ejen, pembantu carian, dan alat dalaman meringkaskan laman anda dengan betul. Ia juga menjadi mekanisme yang memaksa anda membuat keputusan: kandungan mana yang kanonik, kandungan mana yang sudah lapuk, dan terma apa yang terpakai untuk penggunaan semula. Itu berguna walaupun pada masa ini hanya beberapa sistem membaca fail tersebut.

Masalah yang cuba diselesaikan oleh llms.txt

Kebanyakan laman web dibina untuk manusia dan perangkak carian. Ia mengandungi navigasi, sepanduk kuki, kad produk, halaman kategori pendua, PDF lama, parameter penjejakan, dan kandungan yang hanya masuk akal secara visual.

LLM tidak memerlukan lapisan persembahan yang sama. Ia memerlukan:

• penerangan ringkas tentang laman;
• pautan kepada halaman yang paling berautoriti;
• konteks bahasa mudah tentang produk, dokumentasi, dasar, atau kepengarangan;
• keutamaan pelesenan dan penggunaan;
• penunjuk kepada versi berstruktur atau Markdown jika tersedia.

Cadangan llms.txt meminjam idea web yang sudah biasa: letakkan fail teks yang boleh dijangka di akar domain. Tidak seperti robots.txt, yang terutama berkaitan dengan kebenaran merangkak, llms.txt lebih kepada orientasi.

Anggap ia sebagai peta, bukan pintu pagar.

Adakah llms.txt benar-benar melakukan apa-apa?

Hari ini, jawapan yang jujur ialah: kadang-kadang, tetapi bukan dengan cara yang diharapkan ramai orang.

Ia tidak menyekat perangkak AI dengan andal

Jika matlamat anda ialah mencegah perangkakan atau latihan, llms.txt ialah mekanisme utama yang salah. Perangkak yang menghormati peraturan pengecualian lebih berkemungkinan melihat robots.txt, arahan user-agent tertentu, pengepala HTTP, atau isyarat kontrak/pelesenan. Walaupun begitu, pematuhan bergantung pada pengendali perangkak.

Web mempunyai sejarah panjang dalam hal ini. robots.txt sendiri ialah protokol sukarela, yang kemudian diformalkan dalam RFC 9309. Ia berfungsi kerana perangkak utama memilih untuk menghormatinya, bukan kerana fail itu mempunyai kuasa penguatkuasaan ajaib.

llms.txt mempunyai penerimaan dan penyeragaman yang lebih rendah berbanding robots.txt. Layan sebarang dakwaan bahawa ia “melindungi kandungan anda daripada AI” dengan rasa curiga.

Ia boleh membantu dengan pentafsiran

Tempat llms.txt lebih menjanjikan ialah pentafsiran kandungan.

Jika pembantu AI cuba menjawab soalan tentang syarikat, dokumentasi, penyelidikan, harga, API, atau dasar editorial anda, fail ringkas pada aras akar boleh mengurangkan tekaan. Ia boleh mengarahkan sistem kepada halaman yang benar-benar anda selenggara dan menjauhkannya daripada cebisan yang sudah lapuk.

Ini penting untuk laman yang mempunyai arkib besar. Model atau ejen mungkin menemui artikel sokongan 2019 sebelum halaman dasar 2026. llms.txt anda boleh menyatakan, pada dasarnya: “Mulakan di sini. Ini ialah sumber yang berautoriti.”

Itu mungkin tidak menarik perhatian, tetapi ia berguna.

Ia boleh menjelaskan dasar kandungan anda

Dasar awam yang ditujukan kepada AI lebih baik daripada berdiam diri, terutamanya untuk penerbit, pasukan dokumentasi, dan syarikat yang mempunyai bahan jenama atau perubatan/perundangan/kewangan yang sensitif.

Ini tidak bermaksud anda perlu menulis tembok teks undang-undang yang mengancam. Ini bermaksud anda boleh menyatakan dengan jelas:

• sama ada sistem AI boleh meringkaskan halaman awam anda;
• sama ada kandungan anda boleh digunakan untuk latihan model;
• bagaimana anda mahu atribusi dikendalikan;
• halaman mana yang harus dianggap kanonik;
• siapa yang perlu dihubungi untuk pelesenan atau perkongsian data.

Ini berpasangan dengan baik dengan ketelusan editorial yang lebih luas. Jika anda menerbitkan kandungan berbantu AI, llms.txt anda tidak sepatutnya bercanggah dengan pendedahan awam anda. Untuk asas praktikal, lihat panduan kami tentang pendedahan AI yang jujur pada laman web kecil.

Apa yang perlu dimasukkan dalam llms.txt

Tiada skema yang dikuatkuasakan secara universal, tetapi konvensyen semasa ialah Markdown. Pastikan ia pendek, jelas, dan membosankan.

Struktur yang berguna kelihatan seperti ini:

# Example Company

> Example Company publishes practical guides and reference material for independent web developers.

## Canonical resources

- Homepage: https://example.com/
- Documentation: https://example.com/docs/
- Pricing: https://example.com/pricing/
- Editorial policy: https://example.com/editorial-policy/
- Contact: https://example.com/contact/

## Content use policy

Public pages may be summarized with attribution to Example Company and a link to the source page.

Use of our content for model training, dataset creation, or bulk republication requires written permission.

## Preferred citation

When citing our content, link to the canonical URL and include the page title.

## Notes for AI systems

- Prefer current documentation under /docs/ over archived blog posts.
- Do not treat user comments as official guidance.
- Product screenshots may be outdated; use written documentation as the source of truth.

Itu sudah memadai untuk banyak laman.

Untuk laman yang lebih besar, tambah bahagian untuk kawasan produk, dokumentasi API, penyelidikan, halaman media, atau dasar undang-undang. Tahan keinginan untuk menyenaraikan segala-galanya. Semakin menyeluruh fail itu, semakin kurang berguna ia sebagai titik permulaan.

Apa yang tidak patut dimasukkan dalam llms.txt

Jangan masukkan maklumat peribadi di dalamnya. Ini kedengaran jelas, tetapi fail teks aras akar sering menjadi tempat lambakan nota operasi.

Elakkan memasukkan:

• URL yang belum diterbitkan;
• pautan staging dalaman;
• kunci atau token API;
• butiran hubungan peribadi;
• arahan keselamatan;
• maklumat produk yang masih diembargo;
• halaman “rahsia” yang anda harap akan diabaikan oleh perangkak.

Jika sesuatu tidak sepatutnya menjadi awam, jangan sebutkannya dalam fail awam.

Elakkan juga teater undang-undang yang kabur. “Semua penggunaan AI dilarang selama-lamanya” mungkin meluahkan kekecewaan, tetapi ia tidak mewujudkan kawalan teknikal yang andal. Jika organisasi anda benar-benar memerlukan sekatan yang boleh dikuatkuasakan, libatkan penasihat undang-undang dan gunakan kawalan perangkak, terma pelesenan, serta kawalan akses bersama-sama.

Bagaimana llms.txt berkaitan dengan robots.txt

Gunakan robots.txt untuk arahan perangkakan. Gunakan llms.txt untuk konteks.

Pecahan ringkas:

| Fail | Tujuan utama | Boleh dikuatkuasakan? | Paling sesuai digunakan untuk | |---|---|---:|---| | robots.txt | Kebenaran merangkak | Sukarela tetapi diiktiraf secara meluas | Membenarkan atau melarang perangkak mengikut laluan dan user agent | | llms.txt | Ringkasan dan panduan yang ditujukan kepada LLM | Belum diseragamkan pada masa ini | Pautan kanonik, dasar kandungan, nota pentafsiran | | Halaman terma | Syarat undang-undang | Bergantung pada bidang kuasa dan fakta | Pelesenan, penggunaan semula yang dibenarkan, sekatan komersial | | Pengepala HTTP | Isyarat teknikal aras halaman | Bergantung pada sokongan perangkak | Pengindeksan, caching, dan tingkah laku respons |

Jika anda sudah menyahpepijat tingkah laku perangkak, jangan berhenti pada fail teks. Semak sama ada laman anda benar-benar menyajikan fail tersebut dengan betul, sama ada pengalihan berfungsi seperti yang dijangka, dan sama ada pengepala sepadan dengan dasar anda. Kami menulis panduan berasingan untuk menyahpepijat pengalihan dan pengepala HTTP dalam produksi kerana di sinilah banyak keputusan “dasar” gagal secara senyap.

Proses penulisan yang praktikal

Berikut ialah aliran kerja yang munasabah.

1. Tentukan tugas fail tersebut

Pilih satu matlamat utama:

• membantu sistem AI menerangkan laman anda dengan tepat;
• membimbing ejen ke arah dokumentasi semasa;
• menyatakan keutamaan penggunaan semula dan atribusi;
• mengurangkan kekeliruan sekitar kandungan arkib atau kandungan yang dijana pengguna.

Jika anda cuba menjadikan llms.txt penyelesai semua masalah tadbir urus AI, ia tidak akan menyelesaikan satu pun.

2. Kenal pasti halaman kanonik

Pilih 5–20 URL yang paling baik mewakili laman tersebut. Utamakan halaman yang stabil dan diselenggara berbanding halaman yang tinggi trafik. Untuk syarikat SaaS, itu mungkin laman utama, dokumentasi, harga, keselamatan, privasi, rujukan API, status, dan hubungan. Untuk penerbit, itu mungkin hab topik, standard editorial, halaman pengarang, dasar pembetulan, dan pelesenan.

3. Tulis untuk mesin dan manusia

Gunakan tajuk Markdown yang jelas. Elakkan salinan pemasaran. Nyatakan apakah laman itu dalam satu atau dua ayat.

Tidak baik:

Kami sedang merevolusikan masa depan kecemerlangan digital dengan penyelesaian generasi seterusnya.

Lebih baik:

Acme Docs menerbitkan dokumentasi teknikal untuk API pembayaran Acme, termasuk pengesahan, webhooks, SDK, dan panduan migrasi.

4. Tambah bahasa dasar dengan berhati-hati

Bahagian dasar anda harus mudah difahami tanpa terlalu yakin. Contohnya:

Halaman awam boleh diringkaskan untuk carian, kebolehcapaian, dan bantuan pengguna dengan atribusi. Penyalinan pukal, penciptaan set data, atau latihan model memerlukan kebenaran.

Itu tidak menjamin pematuhan, tetapi ia lebih jelas daripada berdiam diri.

5. Terbitkan dan selenggara

Letakkannya di /llms.txt. Sajikannya sebagai text/plain atau respons teks yang serasi. Pautkan hanya kepada URL kanonik. Semak semula apabila seni bina maklumat anda berubah.

llms.txt yang lapuk lebih buruk daripada tiada fail, kerana ia memberikan arahan yang yakin tetapi tidak lagi benar.

Patutkah setiap laman memilikinya?

Tidak.

Laman brosur lima halaman mungkin tidak memerlukan llms.txt. Restoran tempatan tidak memerlukannya melainkan ia mempunyai dasar berstruktur atau maklumat tempahan yang sering disalahnyatakan oleh pembantu AI.

Ia menjadi lebih berguna apabila:

• laman anda mempunyai banyak dokumentasi;
• kandungan lama bersaing dengan kandungan baharu;
• anda menerbitkan bahan penyelidikan atau editorial;
• pelesenan dan atribusi penting;
• pembantu AI sering meringkaskan halaman anda;
• pasukan dalaman memerlukan dasar bersama untuk kandungan awam.

Ia juga berguna sebagai sebahagian daripada latihan tadbir urus dalaman. Banyak syarikat sudah mempunyai pekerja yang menampal halaman web, dokumentasi, dan bahan pelanggan ke dalam sistem AI. Jika itu kedengaran biasa, jalankan audit shadow AI asas sebelum menganggap fail teks awam akan menyelesaikan risiko tersebut.

Implikasi SEO

llms.txt bukan faktor kedudukan dalam apa-apa pengertian yang mantap. Jangan menulisnya kerana anda menjangkakan lonjakan trafik minggu depan.

Kes SEO tidak langsung adalah lebih sederhana:

• ia memaksa pemikiran kanonik;
• ia mungkin membantu sistem carian dan jawapan yang dimediasi AI memahami laman anda;
• ia menjelaskan keutamaan atribusi;
• ia mengurangkan kekaburan sekitar halaman arkib;
• ia mewujudkan dasar penggunaan kandungan AI yang awam dan boleh diperiksa.

Itu bernilai untuk sesetengah laman. Ia bukan lapisan pengoptimuman ajaib.

Versi terbaik llms.txt ialah kecil, terkini, dan selaras dengan keseluruhan laman anda. Jika peraturan robots, halaman terma, sitemap, tag kanonik, dan llms.txt anda semuanya mengatakan perkara yang berbeza, masalahnya bukan perangkakan AI. Masalahnya ialah tadbir urus.

<!-- tool-cta:start -->

💡 Cuba ini: Memandangkan llms.txt tidak boleh dikuatkuasakan, padankannya dengan peraturan yang boleh dikuatkuasakan dan semak peraturan tersebut dalam Robots.txt Tester supaya perangkak yang mematuhi piawaian berkelakuan dengan betul.

<!-- tool-cta:end -->

Cadangan akhir

Jika laman anda mempunyai dokumentasi, kandungan editorial, atau kebimbangan pelesenan, cipta llms.txt yang ringkas. Kekalkannya di bawah beberapa puluh baris. Gunakannya untuk menunjuk kepada sumber kanonik dan menyatakan keutamaan penggunaan semula anda.

Tetapi jangan kelirukan komunikasi dengan kawalan.

Untuk menyekat, gunakan mekanisme perangkak yang tersedia kepada anda dan fahami hadnya. Untuk dasar, terbitkan terma yang jelas. Untuk kepercayaan, bersikap telus dengan pembaca. llms.txt berada dalam susunan itu sebagai isyarat yang membantu—bukan sebagai perisai.