يشتمل الزحف في Google على عدة اشارات منها الوقت وأيضاً رموز خطاً HTTP المرسلة.
خلال مؤتمر SMX East تحدث أحد التقنين في محرك البحث Google عن نقطتين يعتمد عليهما GoogleBot عنكبوت البحث في جوجل عند قيامة بالزحف إلى مواقعنا، وتحدد هذه النقاط ما إذا سيستمر هذا العنكبوت بالزحف أم ان سيقوم بإبطاء زحفه وفي بعض الأحيان يكون الخيار هو عدم الزحف في موقعك.
الزحف إلى موقعك هو أحد عوامل SEO وفي حال عدم تمكن عناكب البحث من الدخول الى موقعك او ارشفته فأنت تواجه مشكلة حقيقية هنا، فعدم دخول العناكب يعني عدم الأرشفة وبالتالي عدم التواجد اصلاً في نتائج البحث.
وقالت Google أنها تستخدم العديد من اشارات البحث التي تؤدي إلى ابعاد عناكب البحث والأرشفة على سبيل المثال : التنصل من الروابط, robots.txt و nofollow.
Gary من فريق Google قال ان العوامل التالية هي عوامل مهمة في تحديد استمرار الزحف :
زمن الاتصال – Connect Time
Google ستنظر كم من الوقت يلزمها للإتصال بالسيرفر وبالصفحة التابعة لموقعك، فإذا استمر وقت الاتصال هذا بالزيادة اكثر فأكثر، ستتراجع Google وتبطئ أو توقف عملية الزحف إلى صفحات موقعك، جوجل لا تريد في نهاية المطاف اتخاذ قرار بازالة الموقع من عمليات البحث، لذلك يستخدم زمن الاتصال كعامل زحف.
رموز أخطاء HTTP
جوجل أيضاً ستقوم بإيقاف الزحف أو تخفيضه في حال كانت تواجه الكثير من اخطاء 5xx، للتوضيح : جميع رموز الخطأ 5xx تعني أن هناك عطل ما في السيرفر، لذلك عليك الحذر منها فتأثيرها سلبي جداً على الموقع، ولملاحظة وجود هذا النوع من الأخطاء يكفي التوجه لأدوات مشرفي المواقع في جوجل وملاحظة أخطاء الأرشفة الموجودة هناك.
وتقول جوجل انها عندما ترى هذا الخطأ فإنها تتراجع عن الزحف في موقعك حتى لا تسبب ضغط أكبر على السيرفر لديك.
منتديات الشباب العربي
