بحث من وصول

هل تغلق مواقع الشركات الباب أمام زواحف الذكاء الاصطناعي؟ فحص 578 موقعًا

فريق وصولنُشر في آخر تحديث الإصدار 1.0

الخلاصة

فحصنا يوم 28 سبتمبر 2026 مواقع 578 شركة ظهرت في بحثنا السابق عن أسئلة الشركات بالعربية. يمنع 6 منها فقط، أي 1.0%، زاحف بحث (Crawler) للذكاء الاصطناعي في robots.txt. وما رفض طلباتنا لم يكن robots.txt، بل الخادم أو طبقة الحماية أمامه: رُفض في 83 موقعًا طلبنا الآلي وإن قدّم نفسه متصفحًا. ووجدنا ملف llms.txt حقيقيًا في 167 موقعًا.

  • 6 فقط من 578 موقع شركة تمنع في robots.txt زاحف بحث للذكاء الاصطناعي، أي 1.0%.
  • 451 موقعًا (78.0%) لها ملف robots.txt حقيقي لا يمنع أيًّا من 11 زاحفًا فحصناها.
  • رفض 83 موقعًا من 578 طلبنا الآلي الذي قدّم نفسه متصفحًا، و49 منها خلف شبكة توزيع محتوى لشركة استضافة شائعة.
  • من 488 موقعًا نجح فيها طلبنا باسم المتصفح، رفض 10 فقط طلبنا باسم OAI-SearchBot، مع أن robots.txt فيها يسمح به.
  • في 167 موقعًا من 578 ملف llms.txt حقيقي، ونحو ثلثها يحمل توقيع إضافة في WordPress.

اطلب الفحص نفسه على موقع شركتك

في هذا البحث

ما السؤال الذي يجيب عنه هذا البحث؟

يسمع صاحب الشركة نصيحتين متعاكستين عن الذكاء الاصطناعي: «امنع زواحفه عن موقعك»، و«اسمح لها في ملف robots.txt لتظهر في إجابات ChatGPT». والزاحف (Crawler) برنامج آلي يزور صفحات المواقع ويقرؤها. أما robots.txt فملف نصي صغير في جذر الموقع، يكتب فيه صاحبه أي الزواحف يدخل وأيها يُمنع، بقواعد يحددها معيار RFC 93092.

فيقلق صاحب الشركة: هل يمنع موقعه هذه الزواحف دون أن يدري؟ أردنا أن نعرف ماذا تفعل مواقع الشركات فعلًا. فطلبنا من كل موقع ملف robots.txt، وطلبنا صفحته الرئيسية مرتين: مرة باسم متصفح، ومرة باسم زاحف البحث في ChatGPT. ثم طلبنا منه ملف llms.txt، وهو ملف أحدث يكتب فيه صاحب الموقع ملخصًا لموقعه موجّهًا لنماذج الذكاء الاصطناعي.

والجواب المختصر: قليل جدًا من هذه المواقع يمنع زواحف الذكاء الاصطناعي في robots.txt. وحين رُفضت طلباتنا، رفضها الخادم أو طبقة الحماية أمامه، مثل جدار الحماية (Firewall)، لا robots.txt. فملف robots.txt طلب مكتوب يقرؤه الزاحف الملتزم ويتبعه، أما طبقة الحماية فترفض الطلب نفسه قبل أن يصل إلى الصفحة.

أي المواقع فحصنا؟

بدأنا من بحثنا السابق عن أسئلة الشركات بالعربية في Google. طرحنا فيه 60 سؤالًا عربيًا للشركات على Google وBrave بإعداد سعودي. ومنه جمعنا كل موقع شركة ظهر في النتائج: في الصفحة الأولى لـGoogle، أو بين مصادر «النبذة باستخدام الذكاء الاصطناعي» (AI Overview)، أو في أول 10 نتائج على Brave.

واستبعدنا 10 مواقع لشركات عالمية متعددة الجنسيات بقاعدة كتبناها قبل الفحص، فبقي 596 موقعًا. ردّ منها 578 موقعًا على طلب robots.txt أو طلب الصفحة الرئيسية، وعليها تُبنى أغلب النسب في هذه الصفحة، ونذكر مع كل نسبة عددها وأساسها.

وهذه المواقع هي ما ظهر في تلك النتائج، لا عيّنة عشوائية من الشركات السعودية. فمن المواقع الـ578، تنتهي نطاقات 82 موقعًا فقط باللاحقة السعودية sa، وظهر 307 مواقع في نتائج Brave وحدها دون Google. ومن المواقع الـ578 أيضًا 11 منصة عالمية معروفة. لذلك تصف الأرقام هذه المواقع وحدها.

والاسم الذي حمله طلبا الصفحة الرئيسية هو هوية الطلب (User-Agent)، أي السطر الذي يعرّف به الطلب نفسه للخادم: مرة اسم متصفح Chrome، ومرة OAI-SearchBot، وهو زاحف البحث في ChatGPT1.

وجرى الفحص كله في جولة واحدة استغرقت نحو 13 دقيقة، يوم 28 سبتمبر 2026، والتوقيت بالدقيقة في جدول «كيف أجرينا البحث» أسفل الصفحة.

النتيجة الأولى: robots.txt نادرًا ما يمنع زواحف الذكاء الاصطناعي

قرأنا كل ملف robots.txt بقواعد المعيار2، وسألناه عن 11 زاحفًا: زواحف OpenAI وPerplexity وAnthropic، وGoogle-Extended وCCBot، ومعها Googlebot وBingbot للمقارنة. والقائمة كاملة تحت الرسم. والنتيجة الأوضح: 451 موقعًا من 578، أي 78.0%، لها ملف robots.txt حقيقي لا يمنع أيًّا من الزواحف الأحد عشر.

ولا يدخل في هذا العدد 34 موقعًا، أي 5.9%، لم نجد فيها ملفًا حقيقيًا: 21 ردّت بأن الملف غير موجود (404)، و13 ردّت بصفحة ويب عادية (HTML) أو بتعليقات بلا قواعد. وحين لا توجد قواعد، يحق للزاحف أن يدخل كل صفحات الموقع2. فإن حسبناها مع المواقع الـ451، صار عدد المواقع التي لا تمنع أيًّا من الزواحف 485 موقعًا، أي 83.9%.

ماذا وجدنا حين طلبنا robots.txt من 578 موقعًا؟

ماذا وجدنا حين طلبنا robots.txt من 578 موقعًا؟ملف حقيقي لا يمنع أيًّا من الزواحف الأحد عشر: 78%؛ تعذّرت قراءة الملف (رفض أو خطأ): 13.1%؛ لا ملف robots.txt حقيقي: 5.9%؛ ملف يمنع زاحفًا واحدًا أو أكثر من الأحد عشر: 2.9% ملف حقيقي لا يمنع أيًّا من الزواحفالأحد عشر 451 من 578 موقعًا 78% تعذّرت قراءة الملف (رفض أو خطأ) 76 من 578 موقعًا، 70 منها برمز 403 13.1% لا ملف robots.txt حقيقي 34 من 578 موقعًا: 21 برمز 404، و13 بصفحةHTML أو تعليقات فقط 5.9% ملف يمنع زاحفًا واحدًا أو أكثر منالأحد عشر 17 من 578 موقعًا، منها 6 تمنع زاحف بحثللذكاء الاصطناعي 2.9%
الزواحف الأحد عشر: OAI-SearchBot وChatGPT-User وGPTBot وPerplexityBot وPerplexity-User وClaudeBot وClaude-SearchBot وGoogle-Extended وGooglebot وBingbot وCCBot. قرأنا الملفات بقواعد RFC 9309 على مسار الصفحة الرئيسية فقط.المصدر: أبحاث وصول، 578 موقعًا ردّ على الفحص، 28 سبتمبر 2026 بتوقيت UTC

وفي المقابل، يمنع 17 موقعًا فقط، أي 2.9%، زاحفًا واحدًا على الأقل من الأحد عشر. وأكثرها يمنع زواحف التدريب وحدها: 10 مواقع تمنع زواحف جمع البيانات لتدريب النماذج، مثل GPTBot وCCBot، وتترك زواحف البحث مفتوحة.

أما زواحف البحث في الذكاء الاصطناعي، وهي التي تجلب الصفحات التي قد يستشهد بها المساعد في إجابته، فيمنع واحدًا منها على الأقل 6 مواقع من 578، أي 1.0%. و3 من هذه المواقع الستة تمنع الزواحف الأحد عشر كلها، ومنها Googlebot وBingbot، فهو منع عام يشمل محركات البحث العادية، لا قرار خاص بالذكاء الاصطناعي. ولم نجد بين المواقع الـ82 المنتهية بـsa موقعًا يمنع زاحف بحث للذكاء الاصطناعي.

فإن كان في مواقع الشركات ما يمنع زواحف الذكاء الاصطناعي، فهو في الغالب ليس robots.txt. لكن في الرسم شريطًا لم نشرحه بعد: 76 موقعًا، أي 13.1%، لم نستطع قراءة robots.txt فيها أصلًا.

النتيجة الثانية: ما رفض طلباتنا كان طبقة الحماية، لا robots.txt

في 70 من هذه المواقع الـ76 ردّ الخادم على طلب robots.txt برمز 403، ومعناه «ممنوع» (Forbidden)، وردّت البقية برموز أخرى أو لم تردّ. و71 منها ردّت على طلب الصفحة الرئيسية أيضًا برمز 403 أو 429، ومعناه «طلبات كثيرة» (Too Many Requests). فهذا الرفض لا علاقة له بما كُتب في robots.txt، لأن الملف نفسه لم يصل إلينا.

ولم يقتصر الرفض على هذه المواقع. فطلب الصفحة الرئيسية الذي قدّم نفسه متصفحًا لقي رمز 403 أو 429 في 83 موقعًا من 578، أي 14.4%. وطلبنا لم يأتِ من متصفح حقيقي، بل من برنامج آلي (Script) يحمل اسم متصفح Chrome. فالرقم يقيس ما لقيه طلبنا الآلي، ولا يخبرنا بما يلقاه زاحف آخر، ولا بما يراه شخص يفتح الموقع من متصفحه.

ونسمّي ما يرفض الطلب هنا «طبقة الحماية»: جدار الحماية، أو شبكة توزيع المحتوى (CDN)، وهي خوادم تقف بين الزائر والموقع فتنقل صفحاته وتصدّ الطلبات المشبوهة، أو إعدادات الخادم نفسه. وتدل ترويسات الرد (Headers) على الشبكة التي مرّ بها الرد، لا على من قرر الرفض. ففي 49 من المواقع الـ83 مرّ الرد عبر شبكة توزيع محتوى تابعة لشركة استضافة شائعة، وفي 22 عبر Cloudflare، والبقية عبر شبكات أخرى أو بلا علامة واضحة.

ومن كل المواقع التي مرّ ردّها عبر شبكة شركة الاستضافة تلك، وعددها 64، رفض 49 موقعًا طلبنا، أي 76.6%. وحين ترفض أغلب المواقع خلف الشبكة نفسها الطلب نفسه، فالأرجح أن الرافض حماية افتراضية تضعها شركة الاستضافة، لا قرار اتخذه صاحب كل موقع. وهذا استنتاج منا، لم نتحقق منه مع أصحاب المواقع ولا مع الشركة.

ولشبكات الحماية أيضًا إعدادات خاصة بزواحف الذكاء الاصطناعي، قد لا تظهر في robots.txt. فـCloudflare مثلًا تحجب تلقائيًا زواحف التدريب ووكلاء الذكاء الاصطناعي (AI Agents) عن الصفحات التي تعرض إعلانات، في كل نطاق جديد ينضم إليها، وتُبقي زواحف البحث مسموحة34. فهل ترفض طبقة الحماية زاحف البحث في ChatGPT تحديدًا؟

النتيجة الثالثة: قلّما يُرفض زاحف ChatGPT لاسمه وحده

لنعرف ذلك، طلبنا الصفحة الرئيسية مرة ثانية باسم OAI-SearchBot، بالنص الذي تنشره OpenAI لهوية زاحفها1. وللمقارنة: 4 مواقع فقط من 578 تمنع OAI-SearchBot في robots.txt، أما طلبنا الذي حمل اسمه فرُفض في 84 موقعًا.

لكن الرقم الثاني يضلّل إن قُرئ وحده. ففي 74 من هذه المواقع الـ84 لم ينجح أيضًا طلبنا الذي قدّم نفسه متصفحًا، فالرفض فيها لا يتعلق باسم زاحف الذكاء الاصطناعي. أما الرفض الخاص باسم الزاحف، أي أن ينجح طلبنا باسم المتصفح ويُرفض طلبنا باسم OAI-SearchBot، فوجدناه في 10 مواقع من 488 نجح فيها طلبنا باسم المتصفح، أي 2.0%. والمواقع العشرة كلها تسمح بـOAI-SearchBot في ملف robots.txt، فالذي رفضه فيها ليس الملف، بل إعداد في الخادم أو في طبقة الحماية لا نعرفه.

طلبنا الصفحة الرئيسية باسم متصفح وباسم OAI-SearchBot: ماذا حدث في 578 موقعًا؟

طلبنا الصفحة الرئيسية باسم متصفح وباسم OAI-SearchBot: ماذا حدث في 578 موقعًا؟نجح طلبنا باسم المتصفح، ولم يُرفض طلب OAI-SearchBot: 478؛ رُفض طلب OAI-SearchBot، ولم ينجح طلبنا باسم المتصفح أيضًا: 74؛ لم ينجح طلبنا باسم المتصفح، ولم يُرفض طلب OAI-SearchBot: 16؛ نجح طلبنا باسم المتصفح، ورُفض طلب OAI-SearchBot وحده: 10 نجح طلبنا باسم المتصفح، ولم يُرفض طلبOAI-SearchBot 478 من 578 موقعًا 478 رُفض طلب OAI-SearchBot، ولم ينجح طلبناباسم المتصفح أيضًا 74 من 578 موقعًا: رفض لا يتعلق باسم الزاحف 74 لم ينجح طلبنا باسم المتصفح، ولم يُرفضطلب OAI-SearchBot 16 من 578 موقعًا: نجح طلب OAI-SearchBot في11، وخطأ خادم في 5 16 نجح طلبنا باسم المتصفح، ورُفض طلبOAI-SearchBot وحده 10 من 488 موقعًا نجح فيها طلبنا باسم المتصفح(2.0%) 10
طلب واحد لكل اسم، من عنواننا نحن لا من عناوين OpenAI، فالرفض تنبيه لا دليل على ما يلقاه الزاحف الحقيقي. «المتصفح» برنامج آلي يحمل اسم متصفح Chrome. «رُفض» تعني رد 403 أو 429 أو صفحة تحدٍّ (Challenge) تطلب من الزائر إثبات أنه إنسان.المصدر: أبحاث وصول، 578 موقعًا ردّ على الفحص، 28 سبتمبر 2026 بتوقيت UTC

وفي 478 موقعًا مرّ الطلبان دون رفض. وفي 16 موقعًا لم ينجح طلبنا باسم المتصفح ولم يُرفض طلب OAI-SearchBot، بل نجح الثاني برمز 200 في 11 منها. وطلبنا خرج من عنواننا نحن لا من عناوين OpenAI، فقد يلقى الزاحف الحقيقي في هذه المواقع وغيرها معاملة أخرى.

النتيجة الرابعة: llms.txt في 167 موقعًا، ونحو ثلثه يحمل توقيع إضافة WordPress

هذا عمّا قد يمنع الزاحف. أما ما يضعه صاحب الموقع ليقرأه الزاحف، فأحدثه ملف llms.txt. وجدنا ملفًا حقيقيًا منه في 167 موقعًا من 578، أي 28.9%. ونعني بالحقيقي ملفًا نصيًا، لا صفحة HTML ولا نسخة من robots.txt.

ويبدو أن كثيرًا من هذه الملفات لم يُكتب باليد. ففي 58 ملفًا من 167، أي 34.7%، توقيع أداة توليد، و56 منها، أي نحو ثلث الملفات الحقيقية، تحمل توقيع إضافة (Plugin) في WordPress. وأكثرها إضافات لتحسين الظهور في محركات البحث (SEO)، مثل Rank Math وYoast. وهذا حد أدنى، فالملف المولَّد الذي لا يحمل توقيعًا لا يدخل في العدد.

وفي 51 موقعًا، أي 8.8%، ردّ الخادم على طلب /llms.txt برمز 200، ومعناه أن الطلب نجح، لكنه أرسل صفحة HTML عادية بدل الملف. ومن يعدّ كل رد 200 غير فارغ ملفًا سيجد 220 موقعًا بدل 167. أما بقية المواقع فلم نجد فيها ملفًا نقرؤه: ردّ 271 موقعًا (46.9%) بأنه غير موجود، وتعذّر جلبه من 86 (14.9%) لرفض أو خطأ، وكان في 3 (0.5%) نسخة من robots.txt أو ملفًا فارغًا.

ماذا وجدنا حين طلبنا /llms.txt من 578 موقعًا؟

ماذا وجدنا حين طلبنا /llms.txt من 578 موقعًا؟لا ملف (404 أو 410): 46.9%؛ ملف llms.txt حقيقي: 28.9%؛ تعذّر الجلب (رفض أو خطأ): 14.9%؛ صفحة HTML عادية بدل الملف: 8.8%؛ نسخة من robots.txt أو ملف فارغ: 0.5% لا ملف (404 أو 410) 271 من 578 موقعًا 46.9% ملف llms.txt حقيقي 167 من 578 موقعًا، في 58 منها توقيع أداةتوليد 28.9% تعذّر الجلب (رفض أو خطأ) 86 من 578 موقعًا 14.9% صفحة HTML عادية بدل الملف 51 من 578 موقعًا: رد 200 لكنه ليس ملفًا 8.8% نسخة من robots.txt أو ملف فارغ 3 من 578 موقعًا 0.5%
«ملف حقيقي» يعني ردًّا 200 غير فارغ، ليس صفحة HTML ولا نسخة من robots.txt. ووجود الملف لا يعني أن زواحف الذكاء الاصطناعي تقرؤه.المصدر: أبحاث وصول، 578 موقعًا ردّ على الفحص، 28 سبتمبر 2026 بتوقيت UTC

ووجود الملف لا يعني أن أحدًا يقرؤه. فقد قال John Mueller من Google في يونيو 2025 إن أنظمة الذكاء الاصطناعي لم تكن تستخدم ملف llms.txt حينها5. وفحصنا يقيس وجود الملف ونوعه فقط، لا أثره.

ماذا يعني هذا لموقع شركتك؟

إن كنت تخشى أن يمنع robots.txt زواحف الذكاء الاصطناعي عن موقعك، فهذا نادر في المواقع التي فحصناها: 6 من 578 فقط تمنع زاحف بحث. والسؤال الأهم: هل تسمح طبقة الحماية أمام موقعك، وقد تأتي مع الاستضافة دون أن تختارها، بدخول زواحف المساعدات التي تريد أن تظهر في إجاباتها؟ أما llms.txt، فالمهم أن يكون ملفًا نصيًا حقًا، لا صفحة عادية كما في 51 موقعًا، مع أن وجوده لا يعني أن أحدًا يقرؤه.

كيف أجرينا البحث

الفترة28 سبتمبر 2026، من 21:12 إلى 21:25 بتوقيت UTC. جولة واحدة في نحو 13 دقيقة، دون تكرار. كُتبت خطة الفحص قبل أول طلب.
العينة596 موقع شركة: كل موقع شركة ظهر في نتائج البحث الأول بإعداد سعودي لأسئلته الستين، في الصفحة الأولى لـGoogle أو بين مصادر AI Overview أو في أول 10 نتائج على Brave، بعد استبعاد 10 مواقع لشركات عالمية متعددة الجنسيات بقاعدة كُتبت قبل الفحص. ردّ منها 578. القطاع هو قطاع السؤال الذي أظهر الموقع، من 10 قطاعات. العيّنة ليست عشوائية: 82 موقعًا تنتهي نطاقاتها بـsa، و307 ظهرت في Brave وحده، و11 منصات عالمية معروفة.
الأسئلةلا نطرح أسئلة في هذا البحث. جاءت المواقع من نتائج الأسئلة الستين في البحث الأول، ونصوصها منشورة في صفحته.
الأدواتبرنامج بلغة Python أرسل 4 طلبات لكل موقع: ملف robots.txt، والصفحة الرئيسية باسم متصفح Chrome 131 على Windows 10، والصفحة نفسها باسم زاحف البحث في ChatGPT، أي OAI-SearchBot، بالنص الذي تنشره OpenAI (الإصدار 1.4)، وملف llms.txt. وأرسل الطلبات إلى 6 مواقع على الأكثر في وقت واحد، بفاصل ثانية بين طلبات الموقع الواحد، ومهلة 15 ثانية لكل طلب، وحفظ أول 200 ألف بايت من كل رد. وحين فشل الاتصال عبر HTTPS أُعيد الطلب عبر HTTP، ولم نتحقق من شهادات الأمان، ولم نكرر أي طلب لتجاوز رفض، ولم نحل أي اختبار CAPTCHA.
تسجيل الدخولدون حساب ولا تسجيل دخول، ودون حفظ ملفات تعريف الارتباط (Cookies).
ما قيسأولًا، ملف robots.txt: قرأناه بقواعد RFC 9309 على مسار الصفحة الرئيسية لـ11 زاحفًا هي OAI-SearchBot وChatGPT-User وGPTBot وPerplexityBot وPerplexity-User وClaudeBot وClaude-SearchBot وGoogle-Extended وGooglebot وBingbot وCCBot، وصنّفنا الرد: ملف حقيقي، أو رد 200 ليس ملف robots، أو لا ملف (404)، أو تعذّرت قراءته. و«يمنع» تعني قاعدة Disallow تنطبق على الصفحة الرئيسية في المجموعة التي تخص ذلك الزاحف، باسمه أو بالنجمة (*) إن لم تكن له مجموعة باسمه. ثانيًا، الصفحة الرئيسية باسم المتصفح: رمز الرد، والشبكة التي خدمتها كما تدل ترويسات الرد، وعدد الكلمات الظاهرة، وعلامة تطبيق جافاسكريبت (JavaScript). ثالثًا، الصفحة نفسها باسم OAI-SearchBot، و«رُفض» تعني رد 403 أو 429 أو صفحة تحدٍّ (Challenge) تطلب من الزائر إثبات أنه إنسان. رابعًا، ملف llms.txt، و«ملف حقيقي» يعني رد 200 غير فارغ، ليس صفحة HTML ولا نسخة من robots.txt، ومعه توقيع أداة التوليد إن وُجد.

حدود البحث

  • العيّنة كل موقع شركة ظهر في نتائج بحثنا السابق بإعداد سعودي، لا عيّنة عشوائية من الشركات السعودية، فالنتائج تصف هذه المواقع وحدها.
  • 82 موقعًا فقط من 578 تنتهي نطاقاتها بـsa، و307 ظهرت في Brave وحده، و11 منصات عالمية معروفة، فوصفها بمواقع شركات سعودية وصف تقريبي.
  • لم نحذف المواقع المكررة ولا المتوقفة، فقد تُحسب الجهة الواحدة أكثر من مرة، ومنها 3 نطاقات ترسل الصفحة نفسها حرفًا بحرف، وهي إشعار بانتهاء تسجيل النطاق.
  • قسنا كل شيء في جولة واحدة مدتها نحو 13 دقيقة، بطلب واحد لكل فحص، والملفات وإعدادات الحماية تتغير.
  • اختبرنا robots.txt على مسار الصفحة الرئيسية فقط، فالقاعدة التي تمنع مجلدًا بعينه لا تدخل في العدد.
  • صنّفنا Google-Extended مع زواحف التدريب، وهذا حكم منا، ومنعه لا يمنع Googlebot.
  • نعدّ ما يقوله ملف robots.txt، لا ما يفعله الزاحف: تقول OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User، لأنه يجلب الصفحة حين يطلبها المستخدم.
  • لم نستطع قراءة robots.txt في 76 موقعًا (13.1%)، أغلبها لأن الخادم ردّ على طلبنا برمز 403، فقواعدها الحقيقية مجهولة.
  • طلب OAI-SearchBot حمل اسم الزاحف من عنواننا لا من عناوين OpenAI، فرفضه تنبيه لا دليل على ما يلقاه الزاحف الحقيقي.
  • قد يأتي رد 403 أو 429 من بصمة برنامجنا، وهو برنامج Python يحمل اسم متصفح Chrome، فهو يدل على رفض طلبنا نحن، لا على قرار يخص الذكاء الاصطناعي، ولا على ما يلقاه زاحف آخر أو زائر.
  • نسبة الرفض إلى حماية افتراضية تضعها شركة الاستضافة استنتاج من ترويسات الرد ومن تكرار الرفض خلف الشبكة نفسها، ولم نتحقق منه مع أصحاب المواقع ولا مع الشركة.
  • في ملف البيانات علامة آلية على الصفحات التي قد يحتاج نصها جافاسكريبت (أقل من 80 كلمة مع علامة تطبيق)، ولم يؤكدها متصفح في أيٍّ من المواقع الخمسة التي علّمتها، ولا تلتقط الصفحات التي بلا علامة.
  • حفظنا أول 200 ألف بايت من كل رد، وقُطعت 292 صفحة رئيسية من 488 عند هذا الحد، فعدد الكلمات فيها قد يكون أقل من الحقيقي.
  • فحصنا وجود llms.txt ونوعه فقط، لا جودته، ووجوده لا يعني أن أي نظام ذكاء اصطناعي يقرؤه.
  • عدد الملفات المولَّدة بأداة مبني على توقيع في نص الملف، فالملف المولَّد بلا توقيع، أو الذي قُطع قبل توقيعه، لا يُحسب.
  • يقيس البحث ما تسمح به هذه المواقع وما ترسله، لا هل يستشهد بها أي نظام ذكاء اصطناعي.
  • في ملف البيانات، القطاع هو قطاع السؤال الذي أظهر الموقع في البحث الأول، لا نشاط الشركة نفسها.

البيانات

الترخيص: CC BY 4.0

كيف تستشهد بهذا البحث

بالعربية

فريق وصول (2026). هل تغلق مواقع الشركات الباب أمام زواحف الذكاء الاصطناعي؟ فحص 578 موقعًا. وصول (Wsool.ai). https://wsool.ai/ar/research/saudi-company-websites-ai-crawlers-2026/، نُشر في 30 سبتمبر 2026، الإصدار 1.0.

بالإنجليزية

Wsool Team (2026). Do company websites shut the door on AI crawlers? A check of 578 sites. Wsool.ai. https://wsool.ai/ar/research/saudi-company-websites-ai-crawlers-2026/

الترخيص CC BY 4.0: يكفي ذكر وصول (Wsool.ai) والرابط

أدلة تستشهد بهذا البحث

المصادر (5)

مصادر رسمية

  1. 1OpenAI: Overview of OpenAI Crawlers (زواحف OpenAI وهوية OAI-SearchBot) · 2026-09-29. المصدر
  2. 2IETF: RFC 9309: Robots Exclusion Protocol (معيار robots.txt) · 2022-09. المصدر
  3. 3Cloudflare Blog: Your site, your rules: new AI traffic options for all customers · 2026-07-01. المصدر
  4. 4Cloudflare Docs: Block AI Bots · 2026-07-01. المصدر

تقارير الصناعة

  1. 5Search Engine Roundtable: Google says no AI system currently uses LLMs.txt (John Mueller) · 2025-06-18. المصدر

حيّاك الله. ما القدرة التي تريد أن تمتلكها شركتك؟

اختر النظام، واترك رقمك، ونتواصل معك خلال يوم عمل.

لست متأكدًا؟ استكشف الاحتياج الأهم لشركتك

النظام الذي يهمك

يكفي رقم جوال أو بريد صحيح.

راسلنا على واتساب