قبل ظهور صفحاتك في نتائج البحث وجذب حركة المرور إلى موقعك، يجب فهرستها.

لسوء الحظ، فإن الفهرسة يمثل تحديًا، خاصة إذا كان لديك موقع ويب كبير. وفقًا لبحثنا، 16% من الصفحات القيمة على مواقع الويب غير مفهرسة.

قبل اتخاذ خطوات لتحسين أداء الفهرسة والبحث في موقعك، من الأهمية بمكان أن تتحقق من حالة فهرسة موقعك وأن تحدد الصفحات التي تمت فهرستها بشكل صحيح وأيها غير مفهرس.

أحد التحديات التي قد تواجهها هو العثور على طرق موثوقة للتحقق من حالة فهرسة موقعك والتي تتيح لك تحليل عناوين URL بشكل مجمّع. إذا كان هذا هو الحال، فقد أتيت إلى المكان الصحيح.

هناك عدد قليل من الأدوات المفيدة التي يمكن أن تساعدك في تحديد حالة فهرسة موقعك والمساعدة في تحليل أكثر شمولاً لكل عنوان URL لتحديد سبب عدم فهرسته.

اتبع نصيحتي في هذه المقالة لمعرفة كيفية التحقق من حالة فهرسة موقع ويب كبير، وتحليل المشكلات التي تمنع فهرسة الصفحات، والعثور على الحلول المناسبة.

ما يجب فعله قبل فحص حالة فهرسة موقع الويب الخاص بك

قبل التحقق من حالة الفهرسة الخاصة بك ومعالجة مشاكلك، يجب أن يكون لديك إستراتيجية فهرسة مناسبة.

بإنشائه، يمكنك تحديد الصفحات الأساسية التي يجب فهرستها والصفحات التي يجب استبعادها من الفهرسة.

يمكن أن تكون بعض صفحاتك منخفضة الجودة أو تحتوي على محتوى مكرر، ويجب ألا يجدها المستخدمون في نتائج البحث. كقاعدة عامة، هذه هي أنواع الصفحات التي يجب أن تبقى خارج الفهرس.

فيما يلي بعض الأمثلة للصفحات التي لا يجب فهرستها:

• المحتوى المؤرشف،
• تسجيل الدخول والصفحات المحمية بكلمة مرور،
• عناوين URL مع المعلمات المضافة، التي تم إنشاؤها نتيجة الفرز أو التصفية،
• نتائج البحث الداخلي،
• صفحات الشكر.

إذا كنت لا تريد فهرسة صفحة ما، فيمكنك:

• تضمين التوجيهات المناسبة لبرامج الروبوت في ملف robots.txt لمنعهم من الزحف إلى صفحة معينة،
• تنفيذ noindex علامة لمنع روبوتات محرك البحث من فهرسة الصفحة.

عناوين URL التي لم تتم فهرستها ويجب أن تظل على هذا النحو لا تتطلب انتباهك. بدلاً من ذلك، ركز على الصفحات التي لم تتم فهرستها ولكن يجب أن تكون كذلك.

كقاعدة عامة، يجب أن تهدف إلى فهرسة الإصدارات الأساسية لصفحاتك، ويجب إرسالها في خريطة موقعك.

إذن كيف يمكنك معرفة أي الصفحات مفهرسة وأيها لم تتم فهرستها بالضبط؟

طرق للتحقق من حالة الفهرسة وتشخيص مشكلات الفهرسة

هناك بعض الأدوات المفيدة للتحقق من حالة فهرسة موقعك.

لكن ضع في اعتبارك أن معظمها له قيود على عدد عناوين URL التي يمكنك التحقق منها. عند البحث على الانترنت، قد تصادف العديد من الأدوات التي لا يمكن الاعتماد عليها.

سأوضح لك الأدوات التي تعرض أدق المعلومات والحلول لتوسيع حدودها.

سأقدم لك أيضًا أداة تحليل فهرسة جديدة طورتها شركتنا الشقيقة ZipTie.

أمر “site:”

من الطرق الشائعة للتحقق من عدد الصفحات المفهرسة للموقع إدخال أمر “الموقع:” في بحث Google، متبوعًا باسم المجال، مثل “site: onely.com.”

على الرغم من أنه يتيح لك التحقق من حالة فهرسة موقع ويب، قد تكون البيانات التي تراها مضللة أو غير دقيقة، لأن الأرقام هي مجرد تقديرات.

ستكون هذه الطريقة غير دقيقة بشكل خاص لمواقع الويب الكبيرة ذات المحتوى المتغير ديناميكيًا.

قد يحدث أنه في كل مرة تستخدمها، ستظهر النتائج عددًا مختلفًا تمامًا من الصفحات المفهرسة لنطاقك.

ومع ذلك، بينما يكون الأمر “site: domain” بعيدًا عن المستوى الأمثل، يمكنك استخدام الأمر “site: URL”، حيث تقوم بإدخال عنوان URL محدد بدلاً من اسم المجال. يمكنك بعد ذلك معرفة ما إذا تمت فهرسة عنوان URL المعين.

أوصى John Mueller بهذا الحل: استخدام site: -queries مفيد للتحقق من عناوين URL الفردية، لكنني لن أستخدم التهم لأغراض التشخيص.

أدوات Google Search Console

توفر Google Search Console أدوات أفضل بكثير للتحقق من تغطية الفهرس.

إذا لم تكن تستخدمها بالفعل بانتظام، فابدأ الآن – يجب أن تصبح أدوات مراقبة مُحسّنات محرّكات البحث القياسية.

دعني أصفها بمزيد من التفصيل وأنصحك بكيفية تحقيق أقصى استفادة منها على موقع ويب كبير.

تقرير تغطية الفهرس (فهرسة الصفحة)

يمنحك تقرير تغطية الفهرس (فهرسة الصفحة) في Google Search Console بيانات من Google حول الصفحات التي تمت فهرستها.

بالإضافة إلى ذلك، فإنه يوفر لك نظرة ثاقبة على الحالات المحددة لعناوين URL الخاصة بك فيما يتعلق باكتشافها والزحف إليها وفهرستها، وإذا أمكن، ما هي المشكلة التي وجدها Google والتي تمنع فهرستها.

يعرض تقرير تغطية الفهرس (فهرسة الصفحة) حالتين:

1. غير مفهرس – للصفحات غير المفهرسة.
   • قد يواجهون أخطاء مثل رمز الحالة 5xx HTTP أو توجيه عدم السماح غير الصحيح في ملف robots.txt أو الاستخدام غير الصحيح لعلامة noindex.
   • في بعض الأحيان، قد تقرر أنظمة Google عدم فهرسة صفحة كانت متاحة لها للزحف لأسباب أخرى.
2. مفهرس – للصفحات المفهرسة. ربما لا يزال بعضها يتعامل مع المشكلات التي يجب عليك التحقيق فيها، ولكن لا توجد مشكلة حرجة تمنعهم من الفهرسة.

بناءً على البيانات التي تريد عرضها، في الزاوية اليسرى العلوية، يمكنك اختيار:

• “جميع الصفحات المعروفة” – لجميع عناوين URL التي اكتشفها Google بأي شكل من الأشكال،
• “جميع الصفحات المرسلة” – بالنسبة لعناوين URL التي عثر عليها Google في ملف Sitemap لديك،
• “الصفحات غير المقدمة فقط” – لعناوين URL التي اكتشفها Google أثناء الزحف على الرغم من أنها ليست موجودة في ملف Sitemap الخاص بك.

عادةً، يجب أن تحتوي طريقة العرض “جميع الصفحات المقدمة” على جميع الصفحات التي تريد فهرستها.

إذا ظهرت بعض الصفحات في “الصفحات غير المقدمة فقط”، وكان يجب فهرستها، فضعها في ملف Sitemap الخاص بك. إذا لم يتم فهرستها، فهذا يعني أن Google ستعثر عليها في مكان آخر، ربما من خلال الروابط.

القيد الرئيسي للتقرير هو أن كل تقرير يعرض مشكلات محددة يعرض 1000 صفحة فقط. لحسن الحظ، هناك طرق للتغلب عليها.

يتمثل أحد الحلول في في إنشاء خصائص مجال منفصلة لأقسام موقع الويب المختلفة.

قد يكون البديل هو تقسيم صفحاتك عن طريق إنشاء خرائط مواقع متعددة وتضييق التقرير إلى خريطة موقع منفصلة.

يوصى بأن يحتوي كل ملف Sitemap على 50000 عنوان URL كحد أقصى.

هناك العديد من الزوايا لتقسيم الصفحات بين خرائط المواقع. ضع في اعتبارك ترتيبها بطريقة تساعدك في تجميع أنواع المحتوى المتشابهة لتسهيل تحليلها.

فيما يلي بعض الاقتراحات:

• خرائط مواقع منفصلة لأنواع مختلفة من المحتوى، على سبيل المثال، الفئات، المنتجات، منشورات المدونة،
• خرائط مواقع منفصلة لكمية أو نوع محدد من المنتجات،
• خرائط مواقع منفصلة للغات مختلفة إصدارات الموقع.

اختر الآن أحد ملفات Sitemap ثم انتقل إلى قسم “لماذا لا تتم فهرسة الصفحات” من التقرير.

راجع المشكلات التي تعرضها – على اليمين، يمكنك رؤية عدد الصفحات المتأثرة ومعرفة المشكلات الأكثر شيوعًا. يمكنك مراجعة مقالاتنا الأخرى حول كيفية التعامل مع تقرير “تم الزحف إليه – غير مفهرس حاليًا” وتقرير “تم اكتشافه – غير مفهرس حاليًا”.

تصف حالات التقرير أسباب كل مشكلة بشكل وصفي تمامًا، وفي معظم الحالات، تشير إلى الإجراءات التي يتعين عليك اتخاذها لإصلاحها.

راجع كيفية معالجة كل حالة في دليلي الكامل لتقرير تغطية الفهرس (فهرسة الصفحة) في Google Search Console.

ابحث عن الأنماط في صفحاتك المستبعدة. إذا كان للعديد من الصفحات محتوى أو تخطيط متشابه، فإن مراجعة جزء فقط من عناوين URL يمكن أن يمنحك فكرة عما قد تواجهه الصفحات المتبقية.

أداة فحص عنوان URL

ميزة أخرى مفيدة متوفرة في Google Search Console وهي أداة فحص عنوان URL.

يتيح لك التحقق مما إذا كان عنوان URL محددًا في فهرس Google وعرض الكثير من المعلومات الإضافية. يمكنك استخدام هذه الأداة لاستكمال البيانات التي تتلقاها من تقرير تغطية الفهرس (فهرسة الصفحة).

فيما يلي نظرة عامة على أهم ميزات أداة فحص عنوان URL:

• حالة التواجد – ما إذا كان عنوان URL مؤهلاً للظهور في نتائج بحث Google أم لا وأي تحذيرات أو أخطاء تم اكتشافها من جوجل.
• عرض الصفحة التي تم الزحف إليها – التفاصيل الفنية مثل استجابة HTML و HTTP التي تلقاها Google.
• طلب الفهرسة – استخدمه لمطالبة Google بإعادة الزحف إلى عنوان URL الخاص بك وإعادة فهرسته. هناك حد يومي لهذه الميزة. على الرغم من عدم تحديدها صراحةً في وثائق Google، تم ذكرها كطريقة لإرسال “عدد قليل من عناوين URL”. قد يسمح لك بإرسال ما يصل إلى 50 عنوان URL.

تفاصيل حول حالة تغطية الصفحة، وهي:

1. ما إذا كانت أي خرائط مواقع معروفة تشير إلى عنوان URL،
2. صفحة الإحالة – صفحة يمكن أن يستخدمها Google لاكتشاف عنوان URL،
3. متى تم الزحف إلى الصفحة آخر مرة،
4. ما إذا كانت الصفحة قابلة للزحف،
5. ما إذا كان يمكن جلب الصفحة من الخادم،
6. ما إذا كانت الصفحة قابلة للفهرسة،
7. عنوان URL الأساسي المعلن من قبل المستخدم،
8. ) عنوان URL الأساسي الذي حددته Google بدلاً من ذلك.

• التحسينات – يوضح هذا القسم ما إذا كانت Google قد عثرت على بيانات منظمة صالحة على إحدى الصفحات، بالإضافة إلى تفاصيل حول قابلية استخدام الصفحة للجوال و AMP.
• اختبار عنوان URL المباشر – يمكنك إجراء اختبار مباشر على عنوان URL، على سبيل المثال إذا كنت تريد التحقق من صحة الإصلاحات أو التغييرات.

تتطلب منك أداة فحص عنوان URL التحقق من حالة الفهرسة لكل عنوان URL، الأمر الذي قد يستغرق وقتًا طويلاً إذا كان لديك موقع ويب كبير.

ومع ذلك، فإن تحليل عينة من الصفحات يمكن أن يوجهك بالفعل إلى المشكلات التي يتعامل معها موقعك.

بدلاً من فحص جميع عناوين URL، يمكنك تحديد جزء من عناوين URL التي تم استبعادها من فهرس Google والتحقق منها. يمكنك أيضًا جمع عناوين URL التي يجب فهرستها ولكن لا تحصل على زيارات عضوية.

علاوة على ذلك، قد يحتوي موقعك على الأقسام التالية:

• example.com/shop
• example.com/blog
• example.com/gallery.

يمكنك اختيار عدد من عناوين URL لتحليلها من كل قسم مميز. لكن لا تحدد عددًا قليلاً من عناوين URL – استخدم عينة تمثيلية لكل قسم.

URL Inspection API

في عام 2022، أعلنت Google عن إصدار URL Inspection API، الذي يسمح لك بإرسال ما يصل إلى 2000 طلب يوميًا لموقع Google Search Console واحد.

هذه أخبار رائعة لأي شخص وجد بيانات أداة فحص عناوين URL مفيدة ولكنه كافح من أجل القدرة على التحقق من عنوان URL واحد فقط في كل مرة. من خلال الوصول إلى بيانات فحص عنوان URL من خلال واجهة برمجة التطبيقات، يمكنك أتمتة العملية، مما يفتح إمكانيات جديدة متعددة لاستخدام هذه المعلومات.

قيود أدوات Google Search Console

أدوات Google Search Console لا تخلو من عيوبها.

في تشرين الأول (أكتوبر) 2021، أبلغ المستخدمون عن رؤية عناوين URL في تقرير تغطية الفهرس تم تمييزها على أنها “تم الزحف إليها – غير مفهرسة حاليًا”. ومع ذلك، عند فحصها باستخدام أداة فحص عنوان URL، تم إدراج عناوين URL هذه على أنها “مرسلة ومفهرسة” أو حالة أخرى.

ردت Google بأن هذا الموقف ليس خطأً ولكنه قيد لتقرير تغطية الفهرس:

هذا بسبب تحديث بيانات تقرير تغطية الفهرس بمعدل مختلف (وأبطأ) عن فحص URL. النتائج المعروضة في فحص عنوان URL أحدث، ويجب اعتبارها موثوقة عندما تتعارض مع تقرير تغطية الفهرس. (2/4)

– مركز بحث Google (googlesearchc) 11 أكتوبر 2021

الإبلاغ عن مشكلة في الفهرسة

أعلنت Google في أبريل 2021 أنها تقدم ميزة تسمى الإبلاغ عن مشكلة الفهرسة لمساعدة المستخدمين على إعلام Google بمشكلة الفهرسة. الميزة متاحة حاليًا في الولايات المتحدة.

بالنسبة لأولئك الذين يحتاجون إلى مزيد من الدعم، سيرى مستخدمو Search Console الذين سجلوا الدخول في الولايات المتحدة قريبًا زر “الإبلاغ عن مشكلة فهرسة” ضمن تقرير تغطية الفهرس ومقالات أداة فحص عناوين URL في مركز مساعدة Search Console.https://t.co/3sFqvCvhjohttps://t.co/I7k3BYAH0i pic.twitter.com/Wd9ooXqK0y

– مركز بحث Google (googlesearchc) 28 أبريل، 2021

يمكن للمستخدمين الوصول إلى نموذج وتحديد ما إذا كانت مواقعهم أو صفحاتهم غير مفهرسة أو مفهرسة ولكن لا يتم ترتيبها بشكل صحيح. سيتم توجيههم بعد ذلك من خلال خيارات استكشاف الأخطاء وإصلاحها المتعلقة بالمشكلة المبلغ عنها.

إذا فشلت هذه الحلول، فيمكنهم إبلاغ Google بالمشكلة مباشرةً.

ومع ذلك، يجب التعامل مع هذه الميزة على أنها الملاذ الأخير، وليس مضمونًا أن Google ستتابع طلبك وتفهرس المحتوى الخاص بك.

تهدف Google إلى فهرسة المحتوى الأكثر صلة وعالية الجودة فقط. لذلك، فإن اتباع أفضل الممارسات وتحسين صفحاتك لجعلها قابلة للزحف والفهرسة وتستحق اهتمام Google يمكن أن يعطي موقعك نتائج طويلة الأمد.

يمكنك اتخاذ خطوات لزيادة فرص فهرسة صفحاتك إلى أقصى حد.

هذه الحلول مفيدة أيضًا عندما تجد عناوين URL غير مفهرسة ولا يمكنك تحديد سبب عدم فهرستها.

تأكد من أن صفحاتك قابلة للفهرسة

يتألف اكتشاف ما إذا كانت صفحاتك قابلة للفهرسة من النظر في جانبين:

التوجيهات المحددة في ملف robots.txt

يحتوي ملف robots.txt على إرشادات لبرامج زحف الويب على ما يجب الزحف إليه على الموقع.

تأكد من عدم وجود أمر “Disallow” يمنع الزحف إلى صفحاتك القيمة. ما إذا كانت الصفحات تحتوي على علامات noindex

تسمح علامات Noindex لروبوتات محرك البحث بزيارة الصفحات ولكنها تمنعها من الفهرسة.

لفحص مجمّع ما إذا كانت صفحاتك قابلة للفهرسة، استخدم زاحف SEO – على سبيل المثال، Screaming Frog. تحقق من برامج زحف SEO الشائعة الأخرى في هذه المقالة. يمكنك لصق قائمة عناوين URL الخاصة بك في الأداة وبدء الزحف. عند الانتهاء، انظر إلى عمود الفهرسة، والذي سيخبرك ما إذا كانت الصفحة قابلة للفهرسة أم غير قابلة للفهرسة.

فهرسة Screaming Frog

تأكد من إرسال جميع الصفحات القيمة في ملف Sitemap

الصفحات غير المفهرسة قد تم إرسالها في خريطة موقع

– إذا لم يكن الأمر كذلك، فأضفها وفقًا لذلك. بالإضافة إلى ذلك، تأكد من أن ملفات Sitemap لا تحتوي على عناوين URL لا يجب فهرستها

في المقام الأول. قد يؤدي السماح لمحركات البحث باكتشاف الصفحات غير الملائمة والزحف إليها إلى زحف غير فعال وإطالة الوقت الذي تتطلبه برامج الروبوت للعثور على المحتوى عالي الجودة الخاص بك. إذا لم يكن لديك خريطة موقع، فيمكنك إنشائها بسهولة

أو استخدام أدوات مخصصة ستبقيها محدثة، مثل Yoast SEO أو (* ) صراخ الضفدع سيو العنكبوت . يمكنك أيضًا استخدام إحدى أدوات إنشاء خرائط الموقع. سيكون دليلنا النهائي لخرائط المواقع هو المورد الأول لك لإنشاء خريطة موقع محسّنة. ضبط الروابط الداخلية يعد الروابط الداخلية جانبًا مهمًا من جوانب موقعك من منظور تحسين محركات البحث (SEO).

لا يكفي تضمين عنوان URL في ملف Sitemap لـ Google.

يحتاج Googlebot إلى التأكد من أن عنوان URL يستحق اهتمامه – ولهذا السبب، يحتاج إلى العثور على إشارات تبرز أهميته.

تأكد من عدم وجود صفحات يتيمة، تعني صفحات بدون روابط واردة. يمكنك الزحف إلى موقع الويب الخاص بك للعثور على الصفحات اليتيمة – على سبيل المثال، قم بذلك باستخدام تقرير الصفحات اليتيمة في Screaming Frog.

تتضمن بعض الأفكار لتحسين الروابط الداخلية إنشاء أقسام للمنتجات ذات الصلة أو

كتابة منشورات المدونة للارتباط بصفحات أخرى عبر موقعك. أنت أيضًا بحاجة إلى بنية موقع ويب نظيفة. يعني تنظيم المحتوى على الموقع بحيث يمكن للمستخدمين والروبوتات التنقل بشكل حدسي وسريع إلى كل قسم من أقسام موقعك. اتصل بـ جو ستارت بزنس إذا رأيت حاجة لمزيد من التفصيل لتحسين الروابط الداخلية.

إصلاح مشكلات المحتوى المكرر

عند وجود أكثر من إصدار واحد من نفس المحتوى أو محتوى مشابه جدًا على موقعك، قد تواجه محركات البحث صعوبة في تحديد أي صفحة هي الإصدار الأكثر تمثيلاً.

لتسهيل مهمة محركات البحث،قم بتنفيذ العلامات الأساسية التي تشير إلى عناوين URL الأساسية المحددة.

يجب أن يكون لكل إصدار صفحة عنوان URL أساسي واحد فقط.

تأكد من أن العلامات الأساسية تشير باستمرار إلى الصفحات الأساسية الصحيحة. إذا كانت تشير إلى صفحات مكررة، فقد يظل عنوان URL الأساسي غير مفهرس. اتبع أفضل ممارسات JavaScript SEO لتسهيل الزحف والفهرسة على الرغم من أن محركات البحث أصبحت أفضل بكثير في عرض وفهرسة JavaScript، إلا أن معالجتها لها لا تزال غير مثالية.

بشكل عام، قد لا تعرض محركات البحث جافا سكريبت على الصفحة

إذا اعتقدت أنها لن تُجري أي تغييرات مهمة على محتواها. أيضًا، إذا بدت صفحاتك مختلفة تمامًا باستخدام JavaScript وبدونه، فقد تواجه صعوبة في فهرستها.

هناك أدوات يمكنك استخدامها لتحليل فهرسة JavaScript الخاصة بك. يمكنك بسهولة التحقق من أي أجزاء من صفحتك تعتمد على JavaScript باستخدام أداة What Would JavaScript Do. استخدم الاختبار المباشر في أداة فحص عناوين URL من Google لمشاهدة لقطة شاشة توضح كيف سيعرض Googlebot محتوى جافا سكريبت على صفحتك بالضبط. يمكنك بعد ذلك الانتقال إلى علامة التبويب “مزيد من المعلومات” للبحث عن أخطاء JavaScript.

سيخبرك خيار عرض الصفحة التي تم الزحف إليها في أداة فحص عنوان URL بما زحف إليه محرك بحث Google على صفحتك وما إذا كان كل محتوى جافا سكريبت موجودًا أم لا.

تحسين ميزانية الزحف

ميزانية الزحف هي عدد الصفحات الموجودة على موقع الويب التي يمكن لمحركات البحث الزحف إليها وتريد الزحف إليها. يمكن أن تتأثر ميزانية الزحف لموقعك بعدة عوامل.

اتبع هذه الإرشادات العامة من أجل تحسين ميزانية الزحف:

تحسين أداء الويب، تحسين ملفات JavaScript و CSS على موقعك،تجنب عمليات إعادة التوجيه الداخلية وسلاسل إعادة التوجيه، ( *) اضبط بنية موقعك،

• قم بتنظيف الروابط الداخلية – قم بتحديث أي روابط تشير إلى صفحات “لم يتم العثور على (404)” والارتباط بشكل متكرر بالمحتوى الأكثر أهمية لديك،
• احصل على خريطة موقع منظمة بشكل صحيح – يمكنك التحليل هيكل خريطة موقعك باستخدام أحد برامج زحف تحسين محركات البحث، مثل
• Ryte
• Sitebulb.

الوجبات الجاهزة قد تكافح مواقع الويب الكبيرة لفهرسة العديد من صفحاتها. لكن هذا لا يعني أن فهرسة كل المحتوى القيم الخاص بك أمر مستحيل. قد يتطلب تحليل فهرسة موقع ويب كبير بعض العمل. ومع ذلك، فإن الميزات المتوفرة في Google Search Console وأدوات مشرفي المواقع من Bing ستمنحك رؤى قابلة للتنفيذ يمكنك البدء في العمل عليها على الفور.