Tanım
llms.txt, büyük dil modeli (LLM) tarayıcılarına ve AI destekli keşif sistemlerine yönelik yapılandırılmış, hem insan hem de makine tarafından okunabilir bir içerik haritası sağlamak üzere tasarlanmış, bir web sitesinin kökünde /llms.txt yolunda barındırılan düz metin dosyası için resmi olmayan bir açık standarttır. Kural, 2024’te fast.ai’nin ortak kurucusu ve uygulamalı derin öğrenme alanında önde gelen bir figür olan Jeremy Howard tarafından robots.txt’in (tarayıcı erişim izinlerini yönetir) ve XML site haritalarının (arama motoru indekslemesi için sayfa URL’lerini sıralar) bir analoğu olarak önerilmiştir.
Temel önerme, alma artırılmış üretim (RAG) veya doğrudan alım için web içeriğini işleyen LLM’lerin geleneksel web tarayıcılarından farklı bir bilgi ihtiyacıyla karşılaştığıdır: bir sitede neyin bulunduğuna dair kısa, yapılandırılmış açıklamalardan yararlanırlar.
Nasıl Çalışır
llms.txt dosyası XML veya JSON yerine Markdown tabanlı bir format kullanır. Tipik bir dosya, bir H1 başlığında sitenin kısa bir üst düzey açıklamasını içerir, ardından bir blok alıntı özet paragrafı ve sitenin en önemli sayfalarına işaret eden Markdown bağlantılarının düzenlenmiş bölümleri içerir.
Dosyaya yalnızca bağlantılar yerine temel sayfaların tam metin içeriğini içeren /llms-full.txt’de genişletilmiş bir varyant da eşlik edebilir.
robots.txt’in aksine, tarayıcılara erişim izinleri konusunda talimat veren (neyi getirebilecekleri veya getiremeyecekleri), llms.txt tamamen bildirim niteliğinde ve bilgilendiricidir: erişimi vermez veya kısıtlamaz, ancak site sahibinin AI sistemlerinin anlaması için en önemli olarak gördüğü içeriğin sinyalini verir.
Karşılaştığınız Yerler
llms.txt kuralı en yaygın olarak SEO, AEO (Answer Engine Optimisation) ve teknik web yayıncılığı topluluklarının kesişiminde tartışılır. Jeremy Howard’ın 2024 sonundaki ilk teklif gönderisinin geliştiriciler, web yayıncıları ve AI araştırmacıları arasında geniş çapta paylaşılmasının ardından önemli ilgi gördü.
AI destekli yanıt yüzeylerinde görünürlüğü hedefleyen içerik açısından zengin web siteleri için — Google AI Overviews, Perplexity AI, ChatGPT’nin web tarama modu, Microsoft Copilot’un alıntılanmış yanıtları ve benzer özellikler dahil — llms.txt içerik niyetinin düşük maliyetli bir sinyalini temsil eder.
Pratik Örnekler
Geniş bir sözlüğe sahip bir yarışma oylama platformu, https://buyvotescontest.com/llms.txt adresinde bir llms.txt dosyası oluşturur. Dosya, sitenin temel sözlük girişlerini — SPF Record, DKIM, DMARC, Email Confirmation Vote, AI Overviews — kısa açıklamalar ve doğrudan URL’lerle listeler.
Bir pazarlama ajansı için dahili bilgi asistanı oluşturan bir geliştirici, RAG hattında llms.txt ayrıştırması uygular ve aynı alandan birden fazla sayfa belirli bir sorgu için alındığında llms.txt dosyalarında listelenen sayfalara öncelik verir.
İlgili Kavramlar
llms.txt, AI tarayıcı iletişimi katmanında çalışır ve Schema.org tarafından sağlanan yapılandırılmış semantik sözcük dağarcığını tamamlar. Maksimum AI keşfedilebilirliği için yayıncılara üçünü de sürdürmeleri tavsiye edilir: geçerli bir llms.txt içerik haritası, kapsamlı Schema.org yapılandırılmış verisi ve E-E-A-T ile Helpful Content Update standartlarını karşılayan içerik.
