شرح llms.txt: ماذا يفعل، ومن يقرؤه، وهل تحتاجون إليه

ما هو ملف llms.txt؟

هو مقترح لملف Markdown نصي بسيط يوضع في جذر موقع الويب، ويقدّم للنماذج اللغوية ملخصًا قصيرًا للموقع وروابط إلى أكثر صفحاته فائدة. نشر Jeremy Howard من Answer.AI الفكرة في 3 سبتمبر 2024، والمقترح موثّق على llmstxt.org.

كان المنطق وراءه معقولًا: صفحات الويب مليئة بعناصر التنقل والنصوص البرمجية والتنسيق التي تجعل قراءتها داخل نافذة سياق محدودة أمرًا شاقًا على النموذج، لذا قد يساعد ملخص نظيف ومنتقى النموذج على العثور على المادة الصحيحة بسرعة. واستهدف المقترح الوثائق التقنية على وجه الخصوص، حيث يريد المطوّر أو مساعد البرمجة صفحات المرجع لا الموقع التسويقي.

ما لم يفعله المقترح هو إلزام أي جهة بقراءة الملف. فهو اقتراح نشره صاحبه، لا معيار اعتمدته محركات البحث، وهذا الفرق هو جوهر النقاش.

هل تستخدم Google أو أي محرك بحث بالذكاء الاصطناعي هذا الملف؟

ليس بحسب ما أكده أي طرف حتى الآن. فكما نقل موقع Search Engine Land، قال Gary Illyes من Google إن Google لا تدعمه، وقال John Mueller «لم تصرّح أي من خدمات الذكاء الاصطناعي بأنها تستخدم LLMs.txt»، مشبّهًا إياه بوسم meta keywords القديم الذي تعلّمت محركات البحث تجاهله.

لم نعثر على أي تصريح علني من OpenAI أو Perplexity أو Microsoft أو Anthropic أو Google يفيد بأن محركات الإجابة لديها تقرأ الملف عند تحديد ما تستشهد به. قد يتغيّر ذلك، وإن وثّق محرك كبير دعمه فسنحدّث هذه الصفحة. وحتى ذلك الحين، فإن أي وكالة تقدّم الملف على أنه أداة لكسب الاستشهادات تبيع أملًا لا آلية موثّقة.

ومن المفيد مقارنة ذلك بما توثّقه المحركات فعلًا. تنشر OpenAI كيف يلتزم OAI-SearchBot بملف robots.txt. وتوثّق Perplexity برنامج PerplexityBot. وتوثّق Anthropic برنامج Claude-SearchBot. وتوثّق Google أن AI Overviews وAI Mode يعتمدان على Googlebot وفهرسها المعتاد. تلك هي عناصر التحكم ذات الأثر المعلن.

ماذا تقول Google إنكم تحتاجون إليه للبحث بالذكاء الاصطناعي بدلًا من ذلك؟

تحسين محركات البحث (SEO) العادي. يقول دليل Google لتحسين الذكاء الاصطناعي، المحدّث في يوليو 2026، إن التحسين للبحث بالذكاء الاصطناعي التوليدي «ما زال SEO»، وإنه لا حاجة إلى أي ملفات أو ترميز أو Markdown خاص.

وتضيف وثائق Google الخاصة بميزات الذكاء الاصطناعي أن الصفحة لا تحتاج إلا إلى أن تكون مفهرسة ومؤهلة لعرض مقتطف كي تظهر في AI Overviews أو AI Mode، دون متطلبات إضافية أو تحسينات خاصة. وتقول Google أيضًا إنه لا يوجد ترميز schema.org خاص بالبحث بالذكاء الاصطناعي التوليدي. وبجمع ذلك كله يتضح موقف Google: ملخص Markdown منتقى لموقعكم ليس شيئًا تحتاج إليه ميزات الذكاء الاصطناعي لديها.

بماذا يختلف عن robots.txt وخريطة الموقع؟

ملف robots.txt وخرائط الموقع ملفات راسخة توثّقها برامج الزحف وتتصرف بناءً عليها، أما الملف الأحدث فمقترح لا قارئ مؤكدًا له بين محركات الإجابة. يوضّح الجدول أدناه الفروق العملية.

أين يكون الملف مفيدًا فعلًا؟

في وثائق المطورين أساسًا. تنشر عدة شركات ذكاء اصطناعي الملف لوثائق المطورين الخاصة بها، حيث يمنح وكلاء البرمجة ومساعدي الذكاء الاصطناعي لدى المطورين فهرسًا نظيفًا لصفحات المرجع. فوثائق التجارة التي تقدّمها OpenAI للتجار، على سبيل المثال، منشورة على شكل ملف llms-full.txt.

إن كانت شركتكم تقدّم API أو SDK أو وثائق تقنية، فنشر الملف مجاملة معقولة للمطورين الذين يلصقون وثائقكم في أداة ذكاء اصطناعي أو يستخدمون وكيلًا يبحث عن الملف. أما لموقع تسويقي عادي أو شركة خدمات أو متجر، فالفائدة صغيرة وغير مثبتة. لا يضرّ، ويكلّف القليل، وهذا أصدق تلخيص ممكن.

هل تنشرون الملف على أي حال؟

إن كان يستغرق ساعة ولديكم وثائق أو تسلسل صفحات واضح، فتفضّلوا، لكن احسبوه ضمن الإجراءات التنظيمية لا الاستراتيجية. لا تدفعوا اشتراكًا شهريًا مقابله، ولا تتوقعوا أن يغيّر ما يقوله ChatGPT أو Google AI Overviews عنكم. وإن قدّمه لكم أحد على أنه سبب غيابكم عن إجابات الذكاء الاصطناعي، فاطلبوا منه أن يعرض وثائق المحرك المعني؛ فحتى الآن لا توجد أي منها.

وإن نشرتموه، فأبقوه دقيقًا ومحدّثًا. فملخص قديم يسرد منتجات متوقفة أو أسعارًا قديمة أسوأ من عدم وجوده، لأنه يضيف مكانًا آخر قد تنحرف فيه حقائقكم. اربطوا فقط بالصفحات التي تريدون قراءتها، وتأكدوا من أن تلك الصفحات نفسها HTML قابل للزحف، وأضيفوه إلى قائمة الملفات التي تراجعونها كلما تغيّرت بنية الموقع.

ما ملفات وإعدادات الذكاء الاصطناعي التي تلتزم بها المحركات فعلًا؟

رموز robots.txt، وعلى Cloudflare ملف robots.txt المُدار وإشارات المحتوى. هذه هي المواضع التي تقررون فيها ما يجوز لبرامج زحف الذكاء الاصطناعي فعله، ويوثّق الموردون كيف يستجيبون لها.

المفتاح هو الفصل بين البحث والتدريب. فبرامج OAI-SearchBot وPerplexityBot وClaude-SearchBot تجلب الصفحات لتتمكن تلك المنتجات من عرضها والاستشهاد بها؛ أما GPTBot وClaudeBot وCCBot فتجمع بيانات التدريب. وGoogle-Extended ليس برنامج زحف أصلًا بل رمز تحكم في robots.txt: تقول Google إنه يحكم تدريب Gemini وتأسيس إجابات تطبيقات Gemini ولا يؤثر في الإدراج في بحث Google، بينما يستخدم AI Overviews وAI Mode برنامج Googlebot. ويعمل Applebot-Extended بالطريقة نفسها لتدريب نماذج Apple الأساسية ولا يزحف.

يمكن لملف robots.txt المُدار في Cloudflare أن يضيف سطرًا مثل Content-signal: search=yes, ai-train=no ويمنع برامج زحف التدريب الرئيسية نيابةً عنكم. وهذا يتيح للشركة الانسحاب من التدريب مع البقاء ظاهرة في البحث بالذكاء الاصطناعي، وهو القرار الذي تحتاج معظم الشركات فعلًا إلى اتخاذه. إنه خيار أبعد أثرًا بكثير من مسألة نشر ملخص Markdown.

ما الذي ينبغي إصلاحه قبل التفكير فيه؟

أصلحوا البنود التي وثّقتها المحركات، بهذا الترتيب تقريبًا. فلكل منها أثر معلن أو ملحوظ في قدرة محركات الإجابة على الوصول إليكم والاستشهاد بكم.

• ملف robots.txt: اسمحوا لـ Googlebot وBingbot وOAI-SearchBot وPerplexityBot وClaude-SearchBot وApplebot؛ وقرروا على حدة بشأن رموز التدريب مثل GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot.
• Cloudflare: منذ 1 يوليو 2025 يحظر إعدادها الافتراضي برامج زحف الذكاء الاصطناعي ما لم تدفع، فراجعوا إعدادات برامج زحف الذكاء الاصطناعي وملف robots.txt المُدار بدلًا من افتراض الوصول.
• سجلات الخادم: تأكدوا من أن برامج زحف البحث تتلقى استجابات HTTP 200، لا تحديات أو أخطاء.
• العرض: قدّموا المحتوى الأساسي على شكل HTML مُنشأ على الخادم، لا عبر JavaScript في المتصفح فقط.
• المحتوى: عناوين على شكل أسئلة تليها إجابة مباشرة، وأقسام أسئلة شائعة، وتواريخ آخر تحديث ظاهرة.
• الكيانات: حقائق متسقة عن الشركة في ترميز Organization وروابط sameAs وWikidata ومواقع المراجعات أو الأدلة التي يستخدمها مشتروكم.

كيف تعرفون إن بدأت المحركات في استخدامه؟

راقبوا الوثائق الرسمية وسجلات خادمكم. فإن أضافت OpenAI أو Google أو Perplexity أو Microsoft أو Anthropic الملف إلى وثائق برامج الزحف أو مشرفي المواقع لديها، فتلك هي الإشارة لأخذه على محمل الجد.

وفي الأثناء، ستُظهر سجلات الوصول لديكم أي وكلاء المستخدم يطلبون /llms.txt وكم مرة. والطلبات القادمة من برنامج زحف بحث معروف تستحق التسجيل، وإن كان الجلب وحده لا يثبت أن المحتوى يؤثر في الإجابات. أما الاختبار الحقيقي فهو نفسه الذي نستخدمه لكل تغيير في تحسين محركات الإجابة (AEO): مجموعة أسئلة ثابتة تُشغَّل قبل التغيير وبعده، وتُقارن شهرًا بشهر.