السماح بزواحف الذكاء الاصطناعي أم حظرها؟ الموازنة
يُدار هذا القرار غالبًا كمسألة مبدئية، وهو مسألة عمل: من يجني المال من المحتوى يخسر بالسماح. ومن يكسب طلبات عمل عبر المحتوى يخسر بالحظر — وبقدر أكبر.
الأهم باختصار
- هناك نوعان من الوصول: جامعون استباقيون وطلبات وقت التشغيل. يمكن التحكّم بهما منفصلَين — وفي ذلك تحديدًا يكمن الحلّ الأنفع.
- من يبيع طلبات العمل ينبغي أن يسمح بطلبات وقت التشغيل على كل حال: فهي تولّد ذِكرًا لدى أناس في خضمّ البحث عن حلّ.
- من يبيع المحتوى أو يكسب عبر عرض الإعلانات لديه أسباب وجيهة لحظر الجامعين.
- robots.txt رجاء، لا حظر. من يريد الفرض تقنيًّا يحتاج إلى حظر على مستوى الخادم.
نوعا الوصول
الجامعون الاستباقيون
يجلبون المحتوى بصرف النظر عن سؤال محدّد — للتدريب أو لفهرس بحث خاص. أمثلة: GPTBot، PerplexityBot، ClaudeBot، Google-Extended، Applebot-Extended، CCBot.
الفائدة لك: غير مباشرة — يصبح المحتوى متاحًا في فهرس. التكلفة: يُستخدَم المحتوى من دون أن يزور أحدٌ صفحتك.
طلبات وقت التشغيل
تجلب صفحةً في اللحظة التي طرح فيها أحدهم سؤالًا مناسبًا. أمثلة: OAI-SearchBot، ChatGPT-User، Perplexity-User، Claude-User.
الفائدة لك: مباشرة — منها ينشأ ذِكرٌ وروابط في إجابات محدّدة. التكلفة: لا شيء عمليًّا.
هل تعلم؟
من يحظر «كل روبوتات الذكاء الاصطناعي» جملةً يحظر النوعين — ويخسر بذلك تحديدًا الجزء الذي ينفعه. الذِّكر كمصدر في إجابة يفترض أن يُسمَح بجلب الصفحة وقت التشغيل.
بالنسبة إلى شركة تبيع طلبات العمل، هذا أسوأ مقايضة يمكن تصوّرها: منعُ توصية لشخص في خضمّ البحث عن حلّ، من أجل منع نموذج من التعلّم من مقال متخصّص متاح للعموم.
ثلاث استراتيجيات
| الاستراتيجية | الجامعون | طلبات وقت التشغيل | تناسب |
|---|---|---|---|
| مفتوحة | السماح | السماح | مقدّمي الخدمات، B2B، الاستشارات |
| مختلطة | الحظر | السماح | دور النشر، مقدّمي الدورات، الوسائط المتخصّصة |
| مغلقة | الحظر | الحظر | المحتوى المدفوع، المناطق المحمية |
لمعظم الشركات الصغيرة والمتوسطة تكون «مفتوحة» الخيار الصحيح. والاستراتيجية المختلطة هي الطريق الوسط المعقول لكل من يكون محتواه نفسه هو المنتَج.
ملف robots.txt
للاستراتيجية المفتوحة مع ذِكر صريح — وهذا ليس ضروريًّا حتمًا، لكنه يجعل القرار مرئيًّا ويوثّقه:
User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-User Allow: / User-agent: Google-Extended Allow: / User-agent: Applebot-Extended Allow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
للاستراتيجية المختلطة يُحظَر الجامعون ويُسمَح بطلبات وقت التشغيل:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Perplexity-User Allow: / User-agent: Claude-User Allow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
Google-Extended يتحكّم فقط في الاستخدام لمنتجات Google للذكاء الاصطناعي — لا في فهرسة البحث العادية. من يحظر Googlebot عن طريق الخطأ يختفي من البحث. هذان الاسمان شيئان مختلفان ويُخلَط بينهما بانتظام.
ما لا يحقّقه robots.txt
ثلاثة قيود ينبغي معرفتها قبل الاعتماد على الملف:
- إنه رجاء. يلتزم به المزوّدون الجادّون، ولا يلتزم به غيرهم. من يريد الفرض تقنيًّا يحتاج إلى حظر على مستوى الخادم أو الجدار الناري بحسب المُعرّف.
- لا يعمل بأثر رجعي. ما جُمِع بالفعل لا يختفي بذلك.
- لا يحمي من إعادة العرض من مصادر أخرى. إذا استُشهِد بمحتواك في مكان آخر، فلا يفيد ملفّك الخاص.
قبل اتخاذ القرار يجدر النظر في سجلّ الخادم: أيّ من هذه المُعرّفات يظهر أصلًا، وكم مرة، وأيّ صفحات يجلب؟
في المواقع الصغيرة تكون النتيجة غالبًا مخيّبة — قليل من الوصول، قليل من الصفحات. عندئذٍ يكون السؤال ثانويًّا عمليًّا، وتكون المهمة الفعلية أخرى: أن تُوجَد أصلًا. حظرُ زواحف لا تأتي أصلًا لا يحلّ مشكلة، بل يمنع فقط أن يصير الأمر لاحقًا على نحو آخر.
الإطار القانوني
في الاتحاد الأوروبي يوجد تحفّظ على التنقيب في النصوص والبيانات (text and data mining): يمكن لأصحاب الحقوق أن يمنعوا صراحةً استخدام محتواهم للتحليل الآلي، ويجب أن يُعلَن هذا التحفّظ بصيغة مقروءة آليًّا. وrobots.txt هو الصيغة الشائعة لذلك، مُكمَّلة أحيانًا بإشارة في شروط الاستخدام.
أما لسويسرا فلا يسري ذلك مباشرةً؛ ومن يوجّه محتواه إلى مستخدمين في الاتحاد الأوروبي أيضًا فينبغي له مع ذلك أن يعلن التحفّظ إن رغب فيه. هذه نقطة ينبغي أن يقيّمها مختصّ — وهذا المقال لا يحلّ محلّ استشارة قانونية.
الخلاصة
السؤال ليس مبدئيًّا، بل يتوقف على نموذج العمل. من يبيع المحتوى يحظر الجامعين. ومن يبيع طلبات العمل يسمح بالنوعين — ويكسب بذلك ذِكرًا لدى أناس يبحثون الآن عن حلّ.
وفي كل حال: انظر إلى طلبات وقت التشغيل على حدة. حظرها جملةً مع غيرها هو الخطأ الأكثر شيوعًا والأغلى في هذا القرار.
أسئلة شائعة
هل ينبغي حظر زواحف الذكاء الاصطناعي؟
هذا يتوقف على نموذج العمل. من يجني المال من المحتوى نفسه — دور النشر، ومقدّمو الدورات، والوسائط المتخصّصة — لديه أسباب وجيهة لحظر الجامعين الاستباقيين. ومن يبيع طلبات عمل أو خدمات يخسر بالحظر أكثر مما يكسب.
ما الفرق بين الجامعين وطلبات وقت التشغيل؟
الجامعون مثل GPTBot أو ClaudeBot أو PerplexityBot يجلبون المحتوى بصرف النظر عن سؤال محدّد، للتدريب أو لفهرس خاص. أما طلبات وقت التشغيل مثل ChatGPT-User أو Perplexity-User أو OAI-SearchBot فتجلب صفحةً في اللحظة التي طرح فيها أحدهم سؤالًا مناسبًا — ومنها ينشأ ذِكرٌ وروابط.
ما هو Google-Extended؟
مُعرّف يمكن به التحكّم في استخدام المحتوى لمنتجات Google للذكاء الاصطناعي — لا في فهرسة البحث العادية. وهو شيء آخر غير Googlebot؛ ومن يحظر هذا الأخير عن طريق الخطأ يختفي من البحث.
هل يلتزم كل زاحف بـ robots.txt؟
لا. إنه رجاء، لا حظر تقني. يلتزم به المزوّدون الجادّون، ولا يلتزم به غيرهم. من يريد فرض حظر يحتاج إلى قاعدة على مستوى الخادم أو الجدار الناري بحسب المُعرّف — وحتى عندئذٍ لا يعمل بأثر رجعي على المحتوى المجموع بالفعل.
كيف يُفحَص أيّ الزواحف يأتي أصلًا؟
عبر سجلّ الخادم، مُرشَّحًا بحسب المُعرّفات المعروفة. يُظهر ذلك أيّ الزواحف يجلب أيّ الصفحات وكم مرة. في المواقع الصغيرة تكون النتيجة غالبًا محدودة — وعندئذٍ يكون سؤال الحظر ثانويًّا أمام مهمة أن تُوجَد أصلًا.
تسويق يُعِدّ نفسه بنفسه
النسخة التجريبية من Studio Engine متاحة الآن. احجز مكانك وشارك في تشكيلها منذ البداية.
انضمّ إلى النسخة التجريبية ←