定義
llms.txtは、2024年にAnswer.AIの共同創設者Jeremy Howardが提案したオープンな規約です。ウェブサイト所有者が大規模言語モデル(LLM)の検索クローラーに対して、サイトの主要コンテンツへの構造化されたガイドを提供するためのプレーンテキストファイルです。robots.txtが検索エンジンクローラーへの命令ファイルであるのと同様、llms.txtはAI言語モデル向けのコンテンツマップとして機能します。
ファイルはウェブサイトのルートパス(https://example.com/llms.txt)に配置され、Markdown構文に類似したシンプルな構造を採用します。
ファイル構造
典型的なllms.txtファイルは次の構造を持ちます。
# サイトタイトル
> サイトの簡潔な概要(1〜2文)
## 主要セクション
- [ページタイトル](https://example.com/page1.md): 簡潔な説明
- [ページタイトル](https://example.com/page2.md): 簡潔な説明
## ドキュメント
- [APIリファレンス](https://example.com/api.md): API使用方法
ファイルはLLMコンテキストウィンドウに最適化されており、コンパクトかつ情報密度が高い表現を採用します。各リンクされたページは典型的に.md拡張子のMarkdown版を提供し、AIクローラーがHTMLパースなしで直接コンテンツを取得できるようにします。
採用と現状
llms.txt規約は2024〜2025年に急速に採用が広がりました。Anthropic、Cloudflare、Stripe、Vercel、Hugging Face、Mintlifyなどのテック企業が早期採用者です。Google、Bing、OpenAI、Anthropic、Perplexityなどの主要AIシステムは、llms.txtの公式サポートをまだ正式発表していませんが、独立したクローラー実装や開発者ツールが規約を実装しています。
関連概念
Schema.org構造化データはHTML埋め込みの機械可読メタデータを提供し、llms.txtを補完します。E-E-A-Tシグナルとllms.txtの両方がAI Overviewsの引用源選定に影響します。Helpful Content Update分類器も類似の品質評価を行います。
制限・注意事項
llms.txtは現時点でデファクトスタンダードであり、IETFやW3Cの正式標準ではありません。実装と解釈はクローラーごとに異なる可能性があります。robots.txtと同様、規約遵守は自発的であり、強制力はありません。