يجب ألا تقوم محركات البحث بفهرسة جميع الصفحات الموجودة على موقع الويب الخاص بك.

حتى لو كنت تعتقد أن كل شيء على موقعك رائع، فإن معظم مواقع الويب تحتوي على عدد كبير من الصفحات التي لا تنتمي إلى نتائج البحث. وإذا سمحت لمحركات البحث بفهرسة تلك الصفحات، فقد تواجه عواقب سلبية.

لهذا السبب تحتاج إلى إستراتيجية فهرسة لموقعك. عناصره الرئيسية هي:

• تحديد الصفحات التي تريد أن تقوم محركات البحث بفهرستها واستخدام الطرق المناسبة لزيادة فرص فهرستها إلى أقصى حد،
• تحديد الصفحات التي لا يجب فهرستها وكيفية استبعادها من البحث دون تقييد إمكانية رؤية البحث.

من الصعب تحديد الصفحات التي يجب فهرستها أو عدم فهرستها. قد تجد بعض الإرشادات والنصائح لصفحات معينة، ولكنك غالبًا ما تكون بمفردك.

واختيار الطرق المناسبة لاستبعاد تلك الصفحات من نتائج البحث يتطلب مزيدًا من الدراسة. هل يجب عليك استخدام علامة noindex أو علامة Canonical، أو حظر الصفحة في ملف robots.txt، أو استخدام إعادة توجيه دائمة؟

ستحدد هذه المقالة عملية اتخاذ القرار التي ستسمح لك بإنشاء إستراتيجية فهرسة مخصصة لموقع الويب الخاص بك.

بينما قد تواجه حالات متطرفة لا تلتزم بالمنطق الذي أقترحه، فإن العملية الموضحة أدناه ستمنحك نتائج رائعة في الغالبية العظمى من الحالات.

لماذا لا يجب فهرسة بعض الصفحات

هناك سببان رئيسيان لعدم رغبتك في أن تقوم محركات البحث بفهرسة جميع صفحاتك:

• يساعد على تحسين ميزانية الزحف،
• الكثير من قد يؤدي المحتوى المنخفض الجودة القابل للفهرسة إلى الإضرار بكيفية رؤية محركات البحث لموقعك على الويب.

تحسين ميزانية الزحف

يمكن لروبوتات محركات البحث الزحف إلى عدد محدود من الصفحات على موقع ويب معين. الإنترنت كبير بشكل لا نهائي، والزحف إلى كل شيء سيتجاوز الموارد التي تمتلكها محركات البحث.

يُطلق على مقدار الوقت والموارد التي تنفقها روبوتات محرك البحث على الزحف إلى موقع الويب الخاص بك ميزانية الزحف . إذا أهدرت ميزانية الزحف على الصفحات منخفضة الجودة، فقد لا يكون هناك ما يكفي للصفحات الأكثر قيمة التي يجب فهرستها بالفعل.

من خلال قضاء الوقت في تحديد الصفحات التي تريد فهرستها، يمكنك تحسين ميزانية الزحف والتأكد من أن روبوتات محرك البحث لا تضيع مواردها على الصفحات الأقل أهمية.

إذا كنت تريد معرفة المزيد حول تحسين ميزانية الزحف، فراجع الدليل النهائي لميزانية الزحف.

لا تدع المحتوى منخفض الجودة يضر بموقع الويب الخاص بك

إذا أدركت محركات البحث أن لديك الكثير من المحتوى منخفض الجودة، فقد يقررون التوقف عن الزحف إلى موقع الويب الخاص بك في كثير من الأحيان.

Tomek Rudzki، في الدليل النهائي لفهرسة SEO، أطلق على هذه ” المسؤولية الجماعية.”إنها دائرة مفرغة:

يزحف محرك بحث Google إلى الصفحات منخفضة الجودة.

1. توقف Google عن زيارة موقع الويب كثيرًا.
2. لا يزحف محرك بحث Google إلى العديد من الصفحات، حتى لو كانت صفحات عالية الجودة.
3. هناك صفحات قيمة لم تتم فهرستها.
4. يوضح هذا كيفية الترابط بين الترتيب والزحف والفهرسة.

طرق التحكم في الفهرسة

هناك طرق مختلفة يمكنك استخدامها للتحكم في فهرسة صفحاتك، بما في ذلك:

العلامة الوصفية لروبوتات Noindex،

• توجيه عدم السماح في ملف robots.txt،
• علامة أساسية،
• إعادة توجيه دائمة،
• خريطة موقع XML.
• كل من الطرق المذكورة أعلاه لها استخداماتها ووظيفتها.

العلامة الوصفية لـ Noindex robots

إذا أضفت التوجيه أعلاه إلى قسم HTML في صفحتك، فستدرك روبوتات محرك البحث أنه لا ينبغي لها فهرستها. سيمنع الصفحة من الظهور في صفحة نتائج محركات البحث. يجب عليك استخدام هذه العلامة إذا كنت لا تريد فهرسة الصفحة، ولكنك لا تزال تريد أن تقوم روبوتات محرك البحث بالزحف إلى صفحتك، وعلى سبيل المثال، اتبع الروابط الموجودة في تلك الصفحة.

الأمر Disallow في ملف robots.txt

يسمح لك الأمر disallow في ملف robots.txt بمنع وصول محركات البحث إلى الصفحة. إذا احترم روبوت محرك البحث التوجيه، فلن يزحف إلى الصفحات غير المسموح بها، وبالتالي لن تتم فهرستها.

User-agent: * Disallow: /example/page.html

نظرًا لأن التوجيه disallow يقيد الزحف، يمكن أن تساعدك هذه الطريقة

في حفظ ميزانية الزحف الخاصة بك. ملاحظة: الأمر disallow ليس طريقة مناسبة لمنع الوصول إلى صفحاتك الحساسة. تتجاهل برامج الروبوت الضارة ملف robots.txt ولا يزال بإمكانها الوصول إلى المحتوى. إذا كنت تريد التأكد من عدم إمكانية وصول جميع برامج الروبوت إلى بعض الصفحات، فمن الأفضل حظرها بكلمة مرور.

العلامة الأساسية

العلامة الأساسية هي عنصر HTML يخبر محركات البحث عن عناوين URL المكررة هي العناوين الأصلية.

باستخدام العلامة الأساسية، يمكنك تحديد إصدار الصفحة الذي تريد فهرسته والظهور في نتائج البحث بالضبط. بدون العلامة الأساسية، لا يمكنك التحكم في إصدار صفحتك الذي تتم فهرسته.

لا تزال برامج روبوت محرك البحث بحاجة إلى الزحف إلى الصفحة لاكتشاف العلامة الأساسية، لذا فإن استخدامها لن يساعدك في حفظ ميزانية الزحف الخاصة بك.

تذكر أنه يمكن لـ Google تجاهل العلامات الأساسية التي تم إنشاؤها بشكل غير صحيح. إذا تجاهلت Google علامتك الأساسية، فيمكنك اكتشافها بفضل حالة “مكرر، اختارت Google حالة أساسية مختلفة عن علامة المستخدم” في GSC.

إعادة التوجيه الدائم

إعادة التوجيه 301 هي رمز استجابة HTTP يشير إلى إعادة توجيه دائمة. وهي تحدد أن الصفحة المطلوبة لها موقع جديد، وأن الصفحة القديمة تمت إزالتها من الخادم.

عند استخدام إعادة التوجيه 301، لن يتمكن المستخدمون وروبوتات محركات البحث من الوصول إلى عنوان URL القديم. بدلاً من ذلك، ستتم إعادة توجيه إشارات المرور والترتيب إلى الصفحة الجديدة. سترى حالة “الصفحة مع إعادة التوجيه” في Google Search Console.

يعد استخدام إعادة التوجيه 301 طريقة جيدة لحفظ ميزانية الزحف.

أنت تقوم بتقليل عدد الصفحات المتاحة على موقع الويب الخاص بك، لذا فإن برامج روبوت محرك البحث لديها محتوى أقل للزحف إليه. تذكر أنه يجب عليك إعادة التوجيه فقط إلى صفحة ذات صلة.

يمكن أن تؤدي إعادة التوجيه إلى صفحة غير ذات صلة إلى إرباك المستخدمين. بالإضافة إلى ذلك، قد لا تتبع روبوتات محركات البحث إعادة التوجيه وتعامل الصفحة على أنها soft 404. XML Sitemaps

خريطة موقع XML هي ملف نصي يسرد عناوين URL التي تريد أن تقوم محركات البحث بفهرستها. والغرض منه هو مساعدة روبوتات محركات البحث في العثور بسهولة على الصفحات التي تهتم بها.

لا يوجه ملف Sitemap المُحسَّن جيدًا

محركات البحث إلى صفحاتك القيمة فحسب، بل يساعدك أيضًا على توفير ميزانية الزحف الخاصة بك. بدونها، تحتاج الروبوتات إلى الزحف إلى الموقع بالكامل لاكتشاف المحتوى القيم الخاص بك. لهذا السبب

يجب أن تسرد خرائط المواقع عناوين URL القابلة للفهرسة فقط على موقع الويب الخاص بك. هذا يعني أن الصفحات التي تضعها في ملف Sitemap يجب أن تكون: Canonical،

• غير محظورة بواسطة العلامة الوصفية noindex robots،
• غير محظورة بواسطة التوجيه disallow في ملف robots.txt، و
• الرد برمز الحالة 200.

يمكنك معرفة المزيد حول تحسين خرائط المواقع في الدليل النهائي لخرائط مواقع XML. كيفية تحديد الصفحات التي يجب فهرستها أو عدم فهرستها لمساعدتك في تحديد الصفحات التي يجب فهرستها أو عدم فهرستها، قمت بإنشاء شجرة قرارات بها جميع الأسئلة الأساسية التي تحتاج إلى الإجابة عليها.

شجرة قرار بعنوان

كما ترى أعلاه، فإن السؤال الأساسي هو:

هل هذه الصفحة ذات قيمة لأي شخص؟ هناك ثلاث إجابات محتملة لهذا السؤال:

الصفحة ذات قيمة لمستخدمي محرك البحث (ومحركات البحث)،

• الصفحة ذات قيمة لمحركات البحث،
• الصفحة ليست ذات قيمة لأي شخص.
• خلاصة القول هي أنه يجب فهرسة الصفحات

ذات القيمة للمستخدمين فقط. ومع ذلك، حتى في هذه الفئة، هناك أنواع من الصفحات لا يجب فهرستها. دعنا نقسمها.

الصفحات ذات القيمة للمستخدمين

تعتبر الصفحة ذات قيمة لمستخدمي محرك البحث إذا كانت توفر إجابة لبحثهم أو تسمح لهم بالانتقال إلى الإجابة. في معظم الحالات، إذا كانت الصفحة ذات قيمة للمستخدمين، فيجب فهرستها. ومع ذلك، لا يزال هناك موقف تكون فيه الصفحة ذات قيمة للمستخدمين ولكن لا ينبغي فهرستها.

الصفحات ذات القيمة للمستخدمين التي يجب فهرستها

يجب فهرسة الصفحة إذا:

توفر محتوى فريدًا وعالي الجودة يجلب حركة المرور،

• إنها نسخة لغة بديلة لصفحة مختلفة عالية الجودة (إذا كان قابلا للتطبيق).
• محتوى فريد عالي الجودة

يجب أن تصل الصفحات الفريدة عالية الجودة التي تجلب حركة المرور إلى موقعك إلى خريطة موقعك بالتأكيد. تأكد من عدم حظرهم بواسطة ملف robots.txt، ومن عدم وجود علامة noindex الوصفية لبرامج الروبوت.

انتبه بشكل خاص إلى الصفحات الأكثر قيمة لعملك . هم الذين عادة ما يجلبون أكبر قدر من التحويل. صفحات مثل:الصفحة الرئيسية،

• نبذة عنا وصفحات الاتصال،
• صفحات تحتوي على معلومات حول الخدمة التي تقدمها،
• مقالات مدونة تعرض خبرتك،
• صفحات تحتوي على عناصر محددة (مثل منتجات التجارة الإلكترونية )،
• يجب أن تكون قابلة للفهرسة دائمًا، ويجب عليك مراقبة فهرستها بانتظام.

إصدار اللغة البديلة لا يتم التعامل مع المحتوى المترجم على أنه مكرر بواسطة محركات البحث.

في الواقع، تريد محركات البحث معرفة ما إذا كان لديك إصدارات متعددة اللغات متاحة لتقديم الإصدار الأنسب للمستخدمين في مختلف البلدان. إذا كان لديك إصدار للصفحة بلغة بديلة، فيجب عليك تحديده بعلامة

hreflang ووضع الصفحة في خريطة الموقع. يمكنك تحديد علامات hreflang في ملف Sitemap أو HTML أو كليهما. تعتبر علامات Hreflang المستخدمة في خرائط المواقع جيدة تمامًا من منظور محرك البحث. ومع ذلك، قد يكون من الصعب التحقق منها باستخدام أدوات تحسين محركات البحث أو المكونات الإضافية للمتصفح. لهذا السبب، فإن الطريقة الموصى بها لإضافة العلامة هي في كود HTML وخريطة الموقع، أو في كود HTML فقط.

تذكر أن كل صفحة تحتاج إلى تحديد جميع إصدارات اللغات،بما في ذلك لغتها الخاصة.

الصفحات ذات القيمة للمستخدمين والتي لا يجب فهرستها

في بعض الحالات، يمكن أن تكون الصفحات ذات قيمة للمستخدمين، ولكن لا يزال من غير المفهرس. تتضمن المواقف:

محتوى مكررًا أو شبه مكرر،

• صفحات لا تتطلب بحثًا.
• نسخة مكررة أو شبه مكررة لصفحة مختلفة

قد تعتبر روبوتات محرك البحث أن الصفحة مكررة أو شبه مكررة إذا:

يؤدي اثنان أو أكثر من عناوين URL المختلفة إلى نفس الصفحة،

• تحتوي صفحتان مختلفتان على محتوى مشابه جدًا.
• أحد الأمثلة الأكثر شيوعًا للمحتوى المكرر هو صفحات الفئات المفلترة على مواقع التجارة الإلكترونية. يمكن للمستخدمين تطبيق المرشحات لتضييق نطاق المنتجات والعثور على ما يبحثون عنه بشكل أسرع. لسوء الحظ، قد يحفظ كل عامل تصفية تم تطبيقه المعلمات في عنوان URL، مما يؤدي إلى إنشاء عناوين URL متعددة تؤدي إلى نفس الصفحة.

على سبيل المثال، قد يشير store.com/dresses/item و store.com/dresses/item?color=yellow إلى نفس المحتوى.

تتضمن الأسباب الأخرى للمحتوى المكرر أو شبه المكرر ما يلي:

وجود عناوين URL مختلفة لإصدارات الجوال وسطح المكتب،

• وجود نسخة مطبوعة من موقع الويب الخاص بك، أو
• إنشاء محتوى مكرر عن طريق الخطأ.
• تشمل مخاطر وجود محتوى مكرر قابل للفهرسة ما يلي:

عدم التحكم في الإصدار الذي قد يظهر في نتائج البحث. على سبيل المثال، إذا توفرت لديك إصدارات مطبوعة وعادية، فقد تعرض محركات البحث النسخة المطبوعة في البحث.

• قسمة إشارات الترتيب بين عناوين URL متعددة.
• زيادة كبيرة في عدد عناوين URL التي تحتاج محركات البحث للزحف إليها.
• خفض مركزك في SERPs إذا قررت محركات البحث أنك تريد التلاعب بالترتيب (نتيجة نادرة).
• لتجنب النتائج السلبية لوجود محتوى مكرر، يجب أن تهدف إلى

دمج ذلك. تشمل الطرق الرئيسية للقيام بذلك العلامات الأساسية وعمليات إعادة التوجيه 301.

العلامات الأساسية

هي الخيار الأفضل إذا كنت تريد أن تكون جميع الصفحات متاحة للمستخدمين. من الأمثلة على المحتوى المكرر الذي يجب أن يظل متاحًا على موقعك أحد الأمثلة التي تعمل على تحسين تجربة المستخدم. على سبيل المثال، عندما يقوم المستخدمون بتصفية المنتجات على أحد مواقع التجارة الإلكترونية، فقد تكون إعادة توجيههم مربكة لأسباب مختلفة، مثل التغيير المفاجئ في فتات التنقل.

بالإضافة إلى ذلك، قد يكون من الضروري أن يكون لديك محتوى مكرر على موقعك عندما يكون لديك إصدارات مختلفة لأجهزة مختلفة.

مع إعادة توجيه 301، تظل صفحة واحدة فقط متاحة على موقعك. سيتم إعادة توجيه الباقي تلقائيًا.قد تكون إعادة التوجيه 301 مفيدة، على سبيل المثال، عندما يكون لديك منشوران متشابهان جدًا في المدونة وتقرر بقاء واحدة فقط على موقعك. سيعيد رمز الحالة 301 توجيه إشارات المرور والترتيب إلى المقالة التي اخترتها. إنها طريقة ممتازة لتحسين ميزانية الزحف الخاصة بك، ولكن لا يمكنك استخدامها إلا عندما تريد إزالة الصفحة المكررة.

تذكر إجراء تغييرات في خريطة الموقع كلما استخدمت عمليات إعادة توجيه دائمة. يجب عليك فقط وضع الصفحات التي تستجيب مع 200 رمز حالة في خريطة موقعك. لذلك، إذا كنت تستخدم إعادة التوجيه 301 لدمج المحتوى، فإن الإصدار الذي يبقى على موقع الويب الخاص بك فقط يجب أن يظل في خريطة الموقع.

الصفحات التي لا تتطلب البحث

قد يكون لديك محتوى جيد على موقعك لا يتطلب أي بحث. بعبارة أخرى، لا أحد يبحث عنها. قد يحدث هذا عندما تكتب عن هواية متخصصة أو عند وجود صفحات بها، على سبيل المثال، ملاحظة “شكرًا لك” للمستخدمين.

قد لا تجلب هذه الصفحات أي زيارات أو تحويلات.

ربما تريد تركها لأنها تكمل رحلات المستخدمين، لكنك لا تريدها أن تكون أول ما يراه المستخدمون في نتيجة البحث. إذا كنت تعتقد أنه يجب ألا يرى المستخدمون صفحة معينة في نتائج البحث، أو أن الصفحة لا تجلب أي حركة مرور، فلا داعي لإبقائها مفهرسة. بهذه الطريقة، يمكن لروبوتات محرك البحث التركيز على الصفحات التي تجلب لك حركة المرور بالفعل.

لمنع فهرسة صفحة بدون طلب بحث، استخدم علامة noindex meta robots. لن تقوم برامج الروبوت بفهرستها، لكنها ستستمر في الزحف إليها وتتبع الروابط الموجودة على تلك الصفحة، مما يمنحهم مزيدًا من السياق حول موقع الويب الخاص بك.

الصفحات ذات القيمة فقط لمحركات البحث

ليست كل الصفحات مخصصة لمساعدة المستخدمين.

يساعد بعضها محركات البحث في التعرف على موقع الويب الخاص بك واكتشاف الروابط. ألق نظرة على صفحة LinkedIn هذه : لقطة شاشة لصفحة LinkedIn مع قائمة بالملفات الشخصية

من ناحية أخرى، قد تربك مثل هذه الصفحات المستخدمين وتثنيهم عن البقاء على الموقع. إنها ليست ذات قيمة بالنسبة لهم، لذلك يجب ألا تظهر في نتائج البحث ولا يجب فهرستها.

من ناحية أخرى، فهي مفيدة لمحركات البحث – فهي تعزز الروابط الداخلية الخاص بك.

هذا هو السبب في أن أفضل حل هو تنفيذ علامات noindex meta robots، وترك هذه الصفحات خارج خريطة موقعك، والسماح لها بالزحف في ملف robots.txt. لن تتم فهرستها، لكن الروبوتات ستزحف إليها.

الصفحات ليست ذات قيمة لأي شخص

بعض الصفحات ليست ذات قيمة للمستخدمين أو محركات البحث.

يلزم وجود بعضها على موقعك بموجب القانون، على سبيل المثال، سياسة الخصوصية، ولكن، لنكن صادقين – لا أحد يبحث عن هذا النوع من المحتوى. بالطبع، لا يمكنك إزالتها، ولكن ليست هناك حاجة لفهرستها لأن لا أحد يريد العثور عليها. في بعض الحالات، قد يحصلون على مرتبة أعلى من المحتوى الأكثر قيمة و “يسرقون” حركة المرور.

الصفحات التي ليس لها قيمة تشتمل أيضًا على محتوى ضعيف ومنخفض الجودة. يجب أن تولي اهتمامًا خاصًا لها، لأنها يمكن أن تضر بالطريقة التي ينظر بها المستخدمون ومحركات البحث إلى الجودة الشاملة لموقعك. راجع

المحتوى منخفض الجودة يمكن أن يضر بفصل موقع الويب الخاص بك لمزيد من المعلومات. الأهم من ذلك، عليك

التأكد من أن الصفحات التي ليس لها قيمة تحتوي على علامة noindex meta robots. إذا لم تحظر فهرستها، فقد تضر بترتيبك وتثني المستخدمين عن زيارة موقع الويب الخاص بك. بالإضافة إلى ذلك، إذا كنت ترغب في تحسين ميزانية الزحف الخاصة بك، فاحظر هذه الصفحات في ملف robots.txt وأزل الروابط الداخلية التي تشير إليها. سيساعدك هذا في حفظ ميزانية الزحف لصفحات أكثر قيمة.

الخلاصة

إن معرفة الصفحات التي يجب ولا يجب فهرستها وإيصالها إلى روبوتات محرك البحث أمر بالغ الأهمية في إنشاء إستراتيجية فهرسة الصوت سيزيد من فرص الزحف إلى موقع الويب الخاص بك وفهرسته بشكل صحيح ويضمن أن يتمكن المستخدمون لديك من العثور على كل المحتوى القيم الخاص بك في نتائج البحث. فيما يلي النقاط الرئيسية التي يجب أن تضعها في اعتبارك أثناء إنشاء إستراتيجية الفهرسة الخاصة بك:

عند تحديد ما إذا كان يجب فهرسة الصفحة، اسأل نفسك عما إذا كانت تحتوي على:

• محتوى فريد له قيمة للمستخدمين. يجب عدم حظر الصفحات الفريدة والقيّمة من فهرستها بواسطة علامات noindex meta robots أو منع الزحف إليها باستخدام توجيهات robots.txt disallow. إذا كان المحتوى منخفض الجودة الخاص بك قابلاً للفهرسة، فقد يؤثر ذلك سلبًا على ترتيبك
• ويعرض صفحاتك القيمة لخطر عدم فهرستها. إذا كان لديك محتوى مكرر أو شبه مكرر على موقعك، فيجب عليك دمجه بعلامة أساسية أو إعادة توجيه 301.
• إذا لم يكن للصفحة طلب بحث، فلا يلزم فهرستها – استخدم noindex في علامة meta robots.
• يجب حظر فهرسة الصفحات التي تحتوي على محتوى أو روابط ذات قيمة لمحركات البحث فقط باستخدام علامة noindex meta robots، ولكن لا تحظر الزحف إليها في ملف robots.txt.
• إذا لم يستفد المستخدمون ولا محركات البحث من زيارة صفحة معينة، فيجب تعيينها على noindex في علامة meta robots.
• إذا كانت لديك إصدارات متعددة اللغات بديلة للصفحة نفسها، فاحتفظ بها قابلة للفهرسة.
• استخدم علامة hreflang لمساعدة محركات البحث في فهم كيفية ارتباط هذه الصفحات.