رفع خطای ایندکس نشدن صفحات Crawled – currently not indexed

گاهی همه‌چیز در ظاهر درست پیش می‌رود. صفحه جدیدی منتشر می‌کنید، آن را در نقشه سایت قرار می‌دهید، لینک داخلی می‌سازید و حتی در Google Search Console مشاهده می‌کنید که ربات‌های گوگل از آن بازدید کرده‌اند. اما چند روز یا حتی چند هفته بعد، صفحه همچنان در نتایج جستجو دیده نمی‌شود و در بخش Page Indexing با وضعیت Crawled – currently not indexed مواجه می‌شوید.

این اتفاق یکی از رایج‌ترین دغدغه‌های مدیران سایت‌های وردپرسی است؛ به‌ویژه زمانی که تمام اقدامات معمول برای ایندکس شدن صفحات انجام شده است.

رفع خطای ایندکس نشدن صفحات Crawled – currently not indexed فقط به ارسال دوباره آدرس صفحه برای گوگل یا کلیک روی گزینه Request Indexing محدود نمی‌شود. این وضعیت معمولاً نشان می‌دهد که گوگل صفحه را بررسی کرده، اما هنوز آن را به اندازه کافی ارزشمند یا مناسب برای قرار گرفتن در نتایج جستجو تشخیص نداده است. به همین دلیل، پیدا کردن علت اصلی اهمیت بسیار بیشتری نسبت به انجام راهکارهای موقتی دارد.

رفع خطای ایندکس نشدن صفحات Crawled – currently not indexed

در پروژه‌های مختلفی که طی سال‌های گذشته روی سایت‌های خدماتی، فروشگاهی و شرکتی انجام داده‌ایم، بارها مشاهده شده است که دلیل این خطا تنها یک مورد نبوده است. گاهی کیفیت پایین محتوا باعث این وضعیت شده، گاهی ساختار لینک‌سازی داخلی ضعیف بوده و در برخی پروژه‌ها نیز مشکلات فنی مانند سرعت پایین سایت یا تنظیمات اشتباه افزونه‌های سئو، مانع ایندکس شدن صفحات شده‌اند. به همین دلیل نمی‌توان برای تمام سایت‌ها یک نسخه واحد پیچید.

زمانی که گوگل وضعیت Crawled – currently not indexed را برای یک صفحه نمایش می‌دهد، یعنی ربات‌های موتور جستجو آن صفحه را با موفقیت بررسی کرده‌اند، اما هنوز تصمیمی برای اضافه کردن آن به فهرست صفحات ایندکس‌شده نگرفته‌اند. این وضعیت با خطاهایی مانند 404، Soft 404 یا Noindex تفاوت دارد و معمولاً به کیفیت صفحه، ساختار سایت یا ارزش محتوای آن مربوط می‌شود.

به بیان ساده، گوگل صفحه را دیده است اما هنوز قانع نشده که این صفحه باید در نتایج جستجو نمایش داده شود.

فهرست مطالب

• خطای Crawled – currently not indexed چیست؟
• تفاوت Crawl و Index
• دلایل اصلی ایجاد این وضعیت
• چگونه علت واقعی مشکل را پیدا کنیم؟
• راهکارهای عملی برای رفع مشکل
• اشتباهات رایج مدیران سایت
• چک‌لیست بررسی صفحات ایندکس‌نشده
• پرسش‌های متداول
• جمع‌بندی

خطای Crawled – currently not indexed دقیقاً به چه معناست؟

برای درک بهتر این وضعیت، ابتدا باید با مراحل بررسی صفحات توسط گوگل آشنا شوید. هر صفحه قبل از اینکه در نتایج جستجو نمایش داده شود، چند مرحله را پشت سر می‌گذارد. ابتدا گوگل آدرس صفحه را کشف می‌کند، سپس محتوای آن را بررسی کرده و در نهایت درباره ایندکس شدن یا نشدن آن تصمیم می‌گیرد.

خطای مورد بحث دقیقاً بین مرحله بررسی و ایندکس قرار می‌گیرد. یعنی گوگل صفحه را مشاهده کرده اما هنوز تصمیم نهایی برای نمایش آن در نتایج جستجو نگرفته است.

آیا این وضعیت یک خطای فنی است؟

خیر. برخلاف تصور بسیاری از مدیران سایت، این وضعیت همیشه به معنی وجود یک ایراد فنی نیست. در بسیاری از مواقع گوگل عمداً صفحه را ایندکس نمی‌کند، زیرا آن را نسبت به سایر صفحات موجود در اینترنت ارزشمندتر نمی‌داند.

به همین دلیل، اولین اقدام نباید تغییر تنظیمات سایت باشد؛ بلکه باید کیفیت محتوا، ساختار لینک‌های داخلی و ارزش واقعی صفحه برای کاربر بررسی شود.

چه زمانی باید نگران باشیم؟

اگر فقط یک یا دو صفحه تازه منتشرشده با این وضعیت مواجه باشند، معمولاً جای نگرانی وجود ندارد. گوگل ممکن است چند روز یا حتی چند هفته برای تصمیم‌گیری زمان نیاز داشته باشد.

اما اگر ده‌ها یا صدها صفحه سایت در این وضعیت باقی بمانند، احتمال وجود یک مشکل ساختاری بسیار زیاد است و لازم است بررسی دقیق‌تری انجام شود.

• افزایش تعداد صفحات Crawled – currently not indexed
• کاهش تعداد صفحات ایندکس‌شده
• افت ورودی ارگانیک سایت
• ایندکس نشدن صفحات جدید
• کاهش نرخ خزش صفحات

مهم‌ترین دلایل ایجاد خطای Crawled – currently not indexed

۱. کیفیت پایین یا تکراری بودن محتوا

مهم‌ترین دلیلی که در اکثر پروژه‌های سئو مشاهده می‌شود، کیفیت پایین محتوا است. اگر صفحه اطلاعات جدیدی نسبت به سایر صفحات موجود در اینترنت ارائه نکند، احتمال ایندکس نشدن آن افزایش پیدا می‌کند.

گوگل طی سال‌های اخیر تمرکز بیشتری روی محتوای مفید و کاربردی داشته است. صفحاتی که صرفاً برای افزایش تعداد صفحات سایت تولید می‌شوند، معمولاً شانس کمی برای ورود به ایندکس دارند.

برخی نشانه‌های محتوای کم‌ارزش عبارت‌اند از:

• تعداد کلمات بسیار کم بدون ارائه اطلاعات کاربردی
• تکرار مطالب سایر صفحات سایت
• کپی‌برداری از سایت‌های دیگر
• عدم پاسخ به نیاز واقعی کاربر
• استفاده بیش از حد از کلمات کلیدی

۲. ضعف در لینک‌سازی داخلی

گوگل از طریق لینک‌های داخلی، اهمیت صفحات مختلف سایت را تشخیص می‌دهد. اگر صفحه‌ای هیچ لینک معناداری از سایر بخش‌های سایت دریافت نکند، احتمال دارد از دید موتور جستجو صفحه‌ای کم‌اهمیت تلقی شود.

در یکی از پروژه‌های خدماتی، تنها با اصلاح لینک‌سازی داخلی و ایجاد ارتباط منطقی بین مقالات، بیش از ۷۰ درصد صفحات طی کمتر از دو هفته ایندکس شدند؛ بدون اینکه حتی یک خط به محتوای آن صفحات اضافه شود.

برای بهبود این بخش بهتر است:

• از مقالات مرتبط به صفحه موردنظر لینک بدهید.
• از انکر تکست‌های طبیعی استفاده کنید.
• صفحات مهم را از مقالات پربازدید لینک کنید.
• از لینک‌سازی بی‌هدف و تکراری خودداری کنید.

۳. سرعت پایین سایت

سرعت سایت مستقیماً عامل این خطا نیست، اما روی بودجه خزش (Crawl Budget) و تجربه کاربری تأثیر قابل‌توجهی دارد. زمانی که صفحات سایت دیر بارگذاری شوند، گوگل ممکن است تعداد صفحات کمتری را در هر بار خزش بررسی کند.

اگر هنگام بررسی گزارش‌های سرچ کنسول متوجه شدید صفحات سایت با تأخیر بارگذاری می‌شوند یا امتیاز Core Web Vitals وضعیت مطلوبی ندارد، بهتر است ابتدا عملکرد فنی سایت را بهبود دهید. استفاده از خدمات افزایش سرعت وردپرس می‌تواند علاوه بر بهبود تجربه کاربری، فرآیند خزش صفحات توسط گوگل را نیز بهینه کند.

از مهم‌ترین عواملی که باعث کاهش سرعت سایت می‌شوند می‌توان به موارد زیر اشاره کرد:

• استفاده از تصاویر حجیم
• افزونه‌های غیرضروری
• هاست با کیفیت پایین
• عدم استفاده از سیستم کش
• بارگذاری فایل‌های CSS و JavaScript غیرضروری

چگونه علت واقعی خطای Crawled – currently not indexed را پیدا کنیم؟

یکی از اشتباهات رایج این است که بلافاصله بعد از مشاهده این وضعیت، گزینه Request Indexing را چندین بار انتخاب کنیم. این کار معمولاً تأثیر محسوسی ندارد؛ زیرا تا زمانی که علت اصلی برطرف نشود، گوگل دوباره همان تصمیم قبلی را خواهد گرفت.

برای رفع خطای ایندکس نشدن صفحات Crawled – currently not indexed ابتدا باید مشخص کنید چرا گوگل آن صفحه را برای ایندکس مناسب ندانسته است. این بررسی بهتر است مرحله‌به‌مرحله انجام شود.

۱. گزارش URL Inspection را بررسی کنید

اولین ابزار، URL Inspection در Google Search Console است. این گزارش اطلاعات ارزشمندی درباره وضعیت صفحه در اختیار شما قرار می‌دهد.

• آخرین زمان Crawl
• امکان ایندکس شدن صفحه
• وضعیت Canonical
• دسترسی گوگل به صفحه
• مشکلات احتمالی در رندر شدن صفحه

اگر گوگل بدون مشکل صفحه را Crawl کرده باشد اما همچنان وضعیت Crawled – currently not indexed نمایش داده شود، معمولاً باید کیفیت صفحه یا ساختار سایت را بررسی کنید.

۲. کیفیت صفحه را با صفحات برتر گوگل مقایسه کنید

یکی از بهترین روش‌هایی که در پروژه‌های سئو از آن استفاده می‌کنیم، مقایسه مستقیم صفحه با نتایج اول گوگل است.

از خودتان بپرسید:

• آیا صفحه من اطلاعات کامل‌تری ارائه می‌دهد؟
• آیا کاربر بعد از مطالعه صفحه به پاسخ سؤال خود می‌رسد؟
• آیا مثال، تصویر، جدول یا تجربه عملی در محتوا وجود دارد؟
• آیا این صفحه نسبت به رقبا ارزش افزوده دارد؟

اگر پاسخ بیشتر این سؤال‌ها منفی باشد، احتمالاً گوگل نیز همین برداشت را از صفحه داشته است.

۳. صفحات مشابه را شناسایی کنید

گاهی مشکل از خود صفحه نیست، بلکه چندین صفحه با موضوع تقریباً یکسان در سایت وجود دارند.

برای مثال، اگر چند مقاله با عناوین زیر داشته باشید:

• رفع خطای ایندکس نشدن
• علت ایندکس نشدن صفحات
• چرا صفحات در گوگل دیده نمی‌شوند؟
• رفع مشکل Crawled – currently not indexed

ممکن است گوگل این صفحات را رقیب یکدیگر بداند و فقط یکی از آن‌ها را ایندکس کند.

در چنین شرایطی بهتر است:

• محتواها را ادغام کنید.
• یکی از صفحات را به صفحه اصلی موضوع ریدایرکت کنید.
• از ایجاد صفحات بسیار مشابه خودداری کنید.

مشکلات فنی که مانع ایندکس شدن صفحات می‌شوند

اگرچه این وضعیت بیشتر به کیفیت محتوا مربوط می‌شود، اما برخی مشکلات فنی نیز می‌توانند احتمال ایندکس شدن صفحات را کاهش دهند.

استفاده اشتباه از تگ Canonical

یکی از رایج‌ترین خطاها این است که صفحه به اشتباه Canonical صفحه دیگری را معرفی کرده باشد.

در این حالت گوگل تصور می‌کند نسخه اصلی محتوا صفحه دیگری است و ممکن است صفحه فعلی را وارد ایندکس نکند.

حتماً بررسی کنید:

• Canonical به خود صفحه اشاره کند.
• آدرس اشتباه وارد نشده باشد.
• افزونه سئو مقدار نادرستی ثبت نکرده باشد.

وجود تگ Noindex

گاهی مدیر سایت تصور می‌کند صفحه ایندکس می‌شود، اما افزونه سئو یا قالب به اشتباه تگ Noindex را فعال کرده است.

این موضوع معمولاً بعد از تغییر قالب، انتقال سایت یا نصب افزونه‌های جدید اتفاق می‌افتد.

مشکلات فایل Robots.txt

فایل Robots.txt نباید دسترسی ربات گوگل به صفحات مهم سایت را محدود کند.

اگر مسیرهای مهم سایت به اشتباه مسدود شده باشند، گوگل نمی‌تواند فرآیند بررسی صفحات را به‌درستی انجام دهد.

نقشه سایت (XML Sitemap) قدیمی

گاهی صفحات جدید اصلاً داخل Sitemap قرار نگرفته‌اند یا نقشه سایت به‌درستی به‌روزرسانی نمی‌شود.

بهتر است پس از انتشار هر صفحه جدید، مطمئن شوید که در Sitemap وجود دارد و سرچ کنسول نیز آن را دریافت کرده است.

تأثیر لینک‌سازی داخلی بر ایندکس شدن صفحات

یکی از مهم‌ترین عواملی که معمولاً کمتر به آن توجه می‌شود، ساختار لینک‌سازی داخلی سایت است.

گوگل از طریق لینک‌های داخلی متوجه می‌شود کدام صفحات ارزش بیشتری دارند. صفحاتی که هیچ لینکی دریافت نمی‌کنند یا فقط از صفحات کم‌اهمیت لینک دارند، معمولاً دیرتر ایندکس می‌شوند.

ویژگی‌های یک لینک‌سازی داخلی استاندارد

• ارتباط موضوعی بین صفحات
• استفاده از انکر تکست طبیعی
• لینک از صفحات معتبر سایت
• عدم استفاده بیش از حد از یک انکر تکست
• توزیع مناسب لینک‌ها در کل محتوا

برای مثال، اگر مقاله‌ای درباره مشکلات فنی سایت منتشر کرده‌اید، طبیعی است که در بخشی از متن به خدمات پشتیبانی سایت اشاره کنید؛ زیرا در بسیاری از موارد، بررسی دقیق تنظیمات فنی سایت نیازمند تجربه تخصصی است.

این نوع لینک‌سازی هم برای کاربر مفید است و هم ارتباط موضوعی صفحات را برای گوگل بهتر مشخص می‌کند.

آیا افزونه‌های وردپرس می‌توانند باعث این مشکل شوند؟

بله، اما نه همیشه.

برخی افزونه‌ها در صورت پیکربندی نادرست می‌توانند روی وضعیت ایندکس شدن صفحات تأثیر بگذارند.

نمونه‌هایی از این مشکلات عبارت‌اند از:

• تنظیم اشتباه افزونه‌های سئو
• ایجاد Canonical نادرست
• فعال شدن Noindex برای برخی صفحات
• تولید صفحات تکراری
• ایجاد ریدایرکت‌های اشتباه

اگر این وضعیت پس از نصب افزونه جدید یا تغییر قالب ایجاد شده است، بهتر است تمام تنظیمات فنی سایت دوباره بررسی شوند.

در پروژه‌هایی که چند توسعه‌دهنده مختلف روی سایت کار کرده‌اند، معمولاً بررسی تخصصی تنظیمات توسط تیم پشتیبانی وردپرس باعث می‌شود مشکلات پنهانی که در نگاه اول قابل مشاهده نیستند، سریع‌تر شناسایی شوند.

تجربه عملی از یک پروژه واقعی

در یکی از پروژه‌های خدماتی، بیش از ۱۸۰ صفحه سایت با وضعیت Crawled – currently not indexed مواجه بودند. در ابتدا تصور می‌شد مشکل از هاست یا سرچ کنسول باشد، اما بررسی دقیق نشان داد صفحات از نظر محتوایی تفاوت چندانی با یکدیگر نداشتند و لینک‌سازی داخلی نیز بسیار ضعیف بود.

برای رفع مشکل اقدامات زیر انجام شد:

• بازنویسی کامل صفحات کم‌کیفیت
• ادغام صفحات مشابه
• اصلاح ساختار لینک‌سازی داخلی
• بهبود سرعت بارگذاری صفحات
• حذف صفحات کم‌ارزش
• به‌روزرسانی نقشه سایت

نتیجه این بود که طی حدود سه هفته، بخش قابل توجهی از صفحات وارد ایندکس شدند و تعداد URLهای دارای وضعیت Crawled – currently not indexed به شکل محسوسی کاهش پیدا کرد.

اشتباهات رایجی که نباید انجام دهید

چک‌لیست کامل رفع خطای ایندکس نشدن صفحات Crawled – currently not indexed

اگر نمی‌خواهید برای پیدا کردن علت این خطا بین گزارش‌های مختلف جابه‌جا شوید، می‌توانید از چک‌لیست زیر استفاده کنید. پیشنهاد می‌کنم قبل از درخواست مجدد ایندکس، تمام این موارد را بررسی کنید.

چقدر طول می‌کشد تا صفحه ایندکس شود؟

پاسخ این سؤال به عوامل مختلفی بستگی دارد و هیچ زمان مشخصی برای آن وجود ندارد. ممکن است یک صفحه ظرف چند ساعت ایندکس شود و صفحه‌ای دیگر چند هفته یا حتی چند ماه در وضعیت Crawled – currently not indexed باقی بماند.

مهم‌ترین عواملی که روی سرعت ایندکس شدن صفحات تأثیر دارند عبارت‌اند از:

• اعتبار دامنه
• کیفیت محتوا
• تعداد لینک‌های داخلی
• به‌روزرسانی منظم سایت
• سرعت بارگذاری صفحات
• کیفیت هاست
• ساختار کلی سایت

اگر سایت به‌صورت منظم به‌روزرسانی شود و صفحات ارزش واقعی برای کاربران ایجاد کنند، معمولاً فرآیند ایندکس نیز سریع‌تر انجام می‌شود.

آیا حذف صفحه بهتر از نگه داشتن آن است؟

خیر، همیشه این‌طور نیست.

گاهی یک صفحه تنها به کمی بازنویسی، تکمیل محتوا یا لینک‌سازی داخلی نیاز دارد. حذف صفحات بدون بررسی دقیق می‌تواند باعث از دست رفتن اعتبار لینک‌ها و حتی کاهش پوشش موضوعی سایت شود.

اگر صفحه بازدید مناسبی ندارد اما موضوع آن برای کاربران اهمیت دارد، بهتر است ابتدا موارد زیر را انجام دهید:

• محتوا را کامل‌تر کنید.
• بخش پرسش‌های متداول اضافه کنید.
• از مقالات مرتبط به آن لینک بدهید.
• نمونه، تصویر یا جدول به محتوا اضافه کنید.
• عنوان صفحه را جذاب‌تر و دقیق‌تر بنویسید.

حذف صفحه زمانی منطقی است که محتوای آن کاملاً تکراری، بی‌ارزش یا دارای موضوعی منسوخ باشد.

سؤالات متداول

آیا وضعیت Crawled – currently not indexed به معنی جریمه شدن سایت است؟

خیر. این وضعیت به معنی پنالتی یا جریمه شدن سایت نیست. گوگل تنها تصمیم گرفته است که فعلاً صفحه را وارد ایندکس نکند.

آیا با چند بار کلیک روی Request Indexing مشکل برطرف می‌شود؟

خیر. اگر علت اصلی برطرف نشده باشد، درخواست‌های مکرر معمولاً نتیجه متفاوتی ایجاد نمی‌کنند.

آیا صفحات جدید همیشه این وضعیت را تجربه می‌کنند؟

در برخی سایت‌ها بله. طبیعی است که گوگل برای بررسی صفحات تازه منتشرشده به زمان نیاز داشته باشد، اما اگر این وضعیت برای مدت طولانی ادامه پیدا کند باید علت آن بررسی شود.

آیا کیفیت محتوا واقعاً روی ایندکس شدن تأثیر دارد؟

بله. تجربه پروژه‌های مختلف نشان می‌دهد صفحاتی که محتوای کامل، کاربردی و متفاوتی ارائه می‌کنند، شانس بیشتری برای ورود به ایندکس گوگل دارند.

چند لینک داخلی برای هر صفحه مناسب است؟

عدد مشخصی وجود ندارد، اما بهتر است هر صفحه از چند مقاله مرتبط لینک دریافت کند و این لینک‌ها کاملاً طبیعی و متناسب با موضوع باشند.

جمع‌بندی

رفع خطای ایندکس نشدن صفحات Crawled – currently not indexed زمانی نتیجه‌بخش خواهد بود که به جای تمرکز روی یک عامل، کل ساختار سایت را بررسی کنید. کیفیت محتوا، لینک‌سازی داخلی، سرعت سایت، تنظیمات فنی و تجربه کاربری، همگی در تصمیم گوگل برای ایندکس شدن صفحات نقش دارند.

اگر تعداد صفحات درگیر این وضعیت کم است، معمولاً با کمی صبر و بهبود کیفیت محتوا مشکل برطرف می‌شود. اما زمانی که بخش قابل توجهی از صفحات سایت با این وضعیت روبه‌رو هستند، بهتر است موضوع به‌صورت تخصصی بررسی شود تا علت اصلی شناسایی و برطرف شود.

در بسیاری از سایت‌های وردپرسی، مشکلاتی مانند تنظیمات اشتباه افزونه‌های سئو، ساختار نامناسب لینک‌های داخلی، کند بودن سایت یا خطاهای فنی باعث می‌شوند گوگل صفحات را ایندکس نکند. بررسی این موارد توسط افراد متخصص می‌تواند زمان رسیدن به نتیجه را به شکل قابل توجهی کاهش دهد.

اگر مدت زیادی است که با این خطا مواجه هستید و تعداد صفحات ایندکس‌نشده در حال افزایش است، استفاده از خدمات پشتیبانی سایت می‌تواند به شناسایی دقیق علت و رفع اصولی مشکل کمک کند. همچنین اگر گزارش‌های عملکرد سایت نشان می‌دهد زمان بارگذاری صفحات بالا است، بهینه‌سازی سرعت سایت نیز باید هم‌زمان انجام شود تا شرایط برای خزش و ایندکس بهتر صفحات فراهم شود.