AEO التقني الذي يتيح لمحركات الإجابة الوصول إلى موقعكم وقراءته والاقتباس منه

ما الذي يغطيه AEO التقني ولا يغطيه العمل على المحتوى؟

يغطي كل ما يقع بين زاحف محرك الإجابة وكلماتكم: الأذونات، والتسليم، والترميز، والاكتشاف. فإعادة هيكلة المحتوى تحدد ما تقوله الصفحة، أما هذه الطبقة فتحدد إن كانت الآلة ستتسلمها أصلًا.

نتعامل معه بوصفه مسار عمل مستقلًا لأن الأعطال فيه صامتة. فقد يتصدر موقع ترتيب البحث التقليدي بينما يُبقي سطر disallow واحد، أو قاعدة لمكافحة الروبوتات في CDN، أو قالب عرض مسبق فارغ، محركًا أو أكثر من محركات الإجابة خارجه. ويرصد تدقيق AEO لدينا هذه المشكلات، وتصلحها هذه الخدمة وتحافظ على إصلاحها بعد كل إعادة تصميم أو ترحيل أو تغيير أمني.

• قواعد robots.txt لكل رمز من رموز البحث والجلب بطلب المستخدم والتدريب.
• قواعد CDN وجدار حماية تطبيقات الويب التي تسبق robots.txt.
• HTML يُعرض من الخادم للإجابة الرئيسية في كل صفحة مهمة.
• ترميز Organization وProduct وArticle وFAQ يطابق ما يراه الزوار.
• خرائط موقع XML، وتواريخ آخر تحديث، وإشعارات IndexNow للمحتوى الجديد.

من يحتاج إلى AEO التقني، وكيف يختلف عن خدماتنا الأخرى؟

AEO التقني موجّه إلى أي موقع لا يُعرف على وجه اليقين مدى وصول محركات الإجابة إليه: المواقع خلف Cloudflare أو جدار ناري آخر، والمواقع المبنية على أطر JavaScript، والمواقع التي رُحّلت مؤخرًا، والمواقع التي أضاف فريق الأمن فيها قواعد للروبوتات دون إبلاغ التسويق. إذا لم تستطيعوا تحديد زواحف الذكاء الاصطناعي التي جلبت صفحة الأسعار لديكم الأسبوع الماضي، فأنتم مرشحون لهذه الخدمة.

وتواجه بعض القطاعات هذه المشكلات أكثر من غيرها. فعلامات التجارة الإلكترونية تدير كتالوجات كبيرة بعناوين URL متعددة الأوجه وموجزات منتجات، حيث يُخفي هدر الزحف والبيانات القديمة الصفحاتِ المهمة، ويضيف التسوق في ChatGPT مسار موجز منفصلًا للشركاء المعتمدين. وكثيرًا ما تحمّل مواقع العقارات قوائمها عبر السكربتات، وكثيرًا ما توجّه علامات الفنادق والسفر صفحاتها عبر محركات حجز لا تتعامل معها الزواحف جيدًا.

تنفّذ هذه الخدمة الإصلاحات، ولا تشخّص حضوركم الكامل في الذكاء الاصطناعي ولا تكتب المحتوى. فتدقيق AEO يسجّل ما تقوله المحركات ويكتشف المشكلات عبر كل الطبقات، وكتابة محتوى AEO تنتج الصفحات، وتتبّع الظهور في الذكاء الاصطناعي يرصد الاستشهادات بمرور الوقت. وAEO التقني هو الطبقة التي تضمن ألا تضيع جهود الثلاثة الأخرى.

ما زواحف الذكاء الاصطناعي التي ينبغي السماح بها في robots.txt؟

اسمحوا للزواحف التي تُدخل الصفحات في الإجابات، ثم اتخذوا قرارًا تجاريًا منفصلًا بشأن زواحف التدريب. والخلط بين الاثنين هو أكثر خطأ نراه في وصول زواحف الذكاء الاصطناعي.

تقول وثائق زواحف OpenAI إن OAI-SearchBot يُظهر المواقع في بحث ChatGPT، ويلتزم بملف robots.txt، ويلتقط التغييرات خلال نحو 24 ساعة، بينما لا تظهر المواقع التي تنسحب في إجابات البحث. أما GPTBot فيجمع بيانات التدريب، وحجبه يُخرجكم من التدريب فقط. ويصف دليل الروبوتات لدى Perplexity الزاحف PerplexityBot بأنه زاحف بحث لا يُستخدم للتدريب. ويفصل مركز المساعدة لدى Anthropic بين Claude-SearchBot المستخدم لجودة البحث وClaudeBot المستخدم للتدريب. وتوضح وثائق زواحف Google أن AI Overviews وAI Mode تستخدمان Googlebot، وأن Google-Extended رمز تحكم لا زاحف، يغطي تدريب Gemini وتأسيس إجابات Gemini Apps دون أن يؤثر في بحث Google. ويزحف Bingbot لصالح Copilot، ولا يوجد زاحف منفصل لـ Copilot.

هل تحجب Cloudflare زواحف الذكاء الاصطناعي عن موقعكم؟

ربما، حتى لو بدا ملف robots.txt لديكم مفتوحًا. فقد غيّرت Cloudflare إعدادها الافتراضي في 1 يوليو 2025 لحجب زواحف الذكاء الاصطناعي ما لم تدفع، ويقول تقريرها عن الروبوتات الصادر في يونيو 2026 إن زواحف تدريب الذكاء الاصطناعي محجوبة افتراضيًا على جميع النطاقات الجديدة، مشيرًا إلى أن التدريب يمثّل 52% من طلبات الزواحف.

يمكن لملف robots.txt المُدار من Cloudflare أن يضيف سطر إشارة محتوى مثل search=yes, ai-train=no وأن يمنع GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot. وهذا إعداد معقول لكثير من العلامات التجارية، لكننا نتحقق من أن زواحف البحث تبقى مسموحًا لها في قواعد Cloudflare أيضًا. ويمكن لخاصية الدفع مقابل الزحف (Pay per crawl) أن تردّ على الزاحف بالرمز HTTP 402 Payment Required، وهو أمر يجدر معرفته إذا أظهرت سجلاتكم استجابات 402 لروبوتات أردتم الترحيب بها. ونلاحظ أيضًا أن Cloudflare أفادت في أغسطس 2025 بأن Perplexity تستخدم زواحف غير معلنة وأزالتها من قائمة الروبوتات الموثقة، لذا تحتاج القواعد التي لا تسمح إلا بالروبوتات الموثقة إلى قرار مدروس بشأن PerplexityBot.

هل يساعدكم ترميز schema للذكاء الاصطناعي في الحصول على الاستشهادات؟

ليس مباشرة، ولن نبيعه لكم على أنه أداة لكسب الاستشهادات. يقول دليل Google لتحسين الذكاء الاصطناعي إن البيانات المنظمة ليست شرطًا للبحث بالذكاء الاصطناعي التوليدي ولا يوجد ترميز schema.org خاص يجب إضافته، مع التوصية بالاستمرار في استخدامها لـ SEO عمومًا.

ومع ذلك نطبّق schema بعناية لأنه يذكر حقائق كيانكم في مكان واحد متسق. فترميز Organization مع روابط sameAs إلى صفحاتكم على LinkedIn وWikidata وG2 أو Google Business Profile يساعد على إبقاء اسمكم وفئتكم ومواقعكم متسقة أينما ظهرتم. وتضيف إرشادات Google حول النجاح في البحث بالذكاء الاصطناعي أن البيانات المنظمة يجب أن تطابق المحتوى الظاهر، لذا نزيل ترميز FAQ أو المراجعات الذي يصف نصًا لا يراه الزائر.

كيف ينبغي بناء الصفحات حتى تتمكن محركات الإجابة من قراءتها؟

ضعوا الإجابة في HTML الذي يرسله الخادم، قرب أعلى الصفحة، تحت عنوان يطابق السؤال. ونحن لا نفترض أن كل زاحف ينفّذ JavaScript، لذا نختبر كل قالب رئيسي مع إيقاف السكربتات ونصلح كل ما يختفي.

وإلى جانب العرض، نفحص وسوم canonical ورموز الحالة وسلاسل إعادة التوجيه والمسارات المكررة، لأن الزاحف الذي يهدر عمليات الجلب على المعاملات أو صفحات soft 404 قد لا يصل أبدًا إلى الصفحة التي تريدون الاقتباس منها. ووسوم canonical أهم مما تبدو: فقد وجدت دراسة Gradial عن قطاع السفر في يوليو 2026 علامة تجارية لم يُستشهد بها قط بسبب عدم تطابق في عنوان URL الأساسي (canonical). وتحصل كل صفحة مهمة على تاريخ آخر تحديث ظاهر، وتسلسل عناوين واضح، وجداول بترميز جداول حقيقي لا صور. وتقول Google إنه لا حاجة إلى ملفات أو ترميز أو نسخ Markdown خاصة، ولا تشترط تقسيم المحتوى إلى أجزاء صغيرة، لذا نُبقي الصفحات كاملة وسهلة القراءة.

ما الأخطاء التقنية التي تُبقي المواقع خارج إجابات الذكاء الاصطناعي؟

أشد الأخطاء ضررًا هو الحجب الواسع الذي يطال زواحف البحث. فقاعدة disallow شاملة موجهة ضد أدوات الكشط، أو وضع مكافحة الروبوتات في CDN، أو صفحة تحدٍّ في الجدار الناري، قد تُقصي OAI-SearchBot أو PerplexityBot بينما يواصل Googlebot المرور، فيبدو الترتيب التقليدي سليمًا ولا يلاحظ أحد.

تليها ثغرات العرض: تفاصيل المنتجات أو الأسعار أو إجابات الأسئلة الشائعة التي تُحقن عبر JavaScript بعد التحميل، فيرى الجلب الذي لا يملك محرك متصفح قالبًا فارغًا. ثم الترميز الذي يناقض الصفحة، مثل FAQ schema لأسئلة لا يستطيع أي زائر قراءتها، أو Organization schema يذكر عنوانًا قديمًا. وأخيرًا ثغرات الاكتشاف: خرائط موقع بلا تواريخ lastmod، وصفحات جديدة لم تُرسل قط، وBing Webmaster Tools لم يُتحقق منه أبدًا، وهذا مهم لأن Bingbot هو الزاحف الذي يقف خلف Copilot.

وتضيف المواقع الدولية أنماط أعطال خاصة بها. فموقع يخدم الإمارات والهند من نطاق واحد قد يعيد توجيه الزواحف جغرافيًا إلى النسخة الخطأ، أو يضع على صفحاته وسوم hreflang تشير إلى عمليات إعادة توجيه. ونختبر عناوين URL لكل سوق كما يراها الزاحف، حتى تكون كل نسخة قابلة للوصول على عنوانها الخاص.

كيف تتأكدون من أن الإصلاحات نجحت فعلًا؟

نقرأ سجلات الخادم. فتغيير robots.txt يثبت النية، أما استجابة 200 لـ OAI-SearchBot أو PerplexityBot أو Claude-SearchBot على عناوين URL الصحيحة فتثبت الوصول.

نطابق وكلاء المستخدم (user agents) مع نطاقات IP المنشورة حين يوفرها المورّدون، كما تفعل Perplexity، حتى لا تشوّه الروبوتات المنتحلة الصورة. ثم نرسل خرائط الموقع المحدثة، ونُشعر IndexNow لصالح Bing، ونراقب تقرير أداء الذكاء الاصطناعي التوليدي في Search Console وتقرير AI Performance في Bing Webmaster Tools لرصد الصفحات المستشهد بها. أما تقارير الاستشهادات المستمرة فتتولاها خدمة تتبّع الظهور في الذكاء الاصطناعي لدينا.

وتُظهر السجلات أيضًا حجم الزحف مقارنة بالقيمة العائدة. فأرقام Cloudflare في يوليو 2025 تضع نسبة الزحف إلى الإحالة لدى OpenAI عند نحو 750 إلى 1، ولهذا نفصل بين الروبوتات التي ترسل زوارًا والروبوتات التي تكتفي بجمع البيانات، ونرفع تقريرًا عن الاثنين إلى فريقكم بدل التعامل مع كل زيارات الذكاء الاصطناعي على أنها متماثلة.

كيف تبدو أول 90 يومًا من AEO التقني؟

في الأسبوعين الأول والثاني نرسم خريطة وصول الزواحف وننفذ الإصلاحات العاجلة في robots.txt وCDN. ومن الأسبوع الثالث إلى الثامن نعالج العرض وschema والاكتشاف. ومن الأسبوع التاسع إلى الثاني عشر نتحقق من كل شيء في السجلات ونعدّ عمليات إعادة فحص بعد الإصدارات المستقبلية.

تأتي معظم القيمة المبكرة من إصلاحات الوصول، إذ تقول OpenAI إن OAI-SearchBot يلتقط تغييرات robots.txt خلال نحو 24 ساعة. أما العمل على العرض فيستغرق وقتًا أطول لأنه يعتمد على دورة إصداراتكم وعدد القوالب التي تشغّلونها. وبحلول اليوم 90 تكون لديكم خريطة لوصول الزواحف، وأدلة من السجلات قبل التغيير وبعده، وschema سليم على القوالب الرئيسية، ودليل تشغيل قصير يتبعه مطوروكم بعد كل إصدار.

وإذا كنتم تستعدون لإطلاق منتج، نجدول الفحوص قبل الإعلان حتى تكون الصفحات الجديدة قابلة للزحف ومدرجة في خرائط الموقع ومرسلة عبر IndexNow منذ اليوم الأول. ويمكن بعد ذلك أن تُبنى المتابعة الخاصة بكل محرك، مثل تحسين الظهور في Perplexity أو العمل على Google AI Overviews، على وصول تعرفون أنه يعمل.

هل تحتاجون إلى ملف llms.txt؟

يمكنكم إضافة واحد بتكلفة زهيدة، لكن لا تتوقعوا أن يغيّر الاستشهادات. فقد اقترح Jeremy Howard من Answer.AI ملف llms.txt في سبتمبر 2024، وقال John Mueller من Google إن أيًّا من خدمات الذكاء الاصطناعي لم تقل إنها تستخدمه، وشبّهه بوسم meta keywords.

وهو مفيد فعلًا لوثائق المطورين التي تقرؤها وكلاء البرمجة، ولهذا تنشر شركات الذكاء الاصطناعي ملفًا منه لوثائقها الخاصة. أما لموقع تسويقي، فنتعامل معه على أنه ترتيب اختياري بعد إنجاز العمل الحقيقي على الوصول.