ایندکس شدن صفحات یکی از مهمترین مراحل حضور سایت در نتایج گوگل است. تا زمانی که یک صفحه توسط گوگل شناسایی و در فهرست صفحات آن ثبت نشود، شانسی برای نمایش در نتایج جستجو نخواهد داشت.
با این حال، ایندکس نشدن صفحات همیشه به یک دلیل مشخص اتفاق نمیافتد. گاهی یک تنظیم ساده مانند فعال بودن noindex باعث این مشکل میشود، گاهی کیفیت محتوا یا ساختار سایت مناسب نیست و در بعضی موارد هم ممکن است مسئله از سمت گوگل باشد.
1. درج تگ noindex در صفحه
یکی از سادهترین دلایل ایندکس نشدن یک صفحه، استفاده از تگ noindex است.
این تگ به گوگل میگوید که صفحه موردنظر نباید در نتایج جستجو قرار بگیرد. کد آن معمولاً به شکل زیر است:
<meta name=”robots” content=”noindex”>
اگر این تگ روی صفحهای قرار داشته باشد که قصد دارید در گوگل نمایش داده شود، طبیعتاً صفحه ایندکس نخواهد شد.
مشکل زمانی ایجاد میشود که noindex به اشتباه روی صفحات مهم سایت قرار گرفته باشد. این اتفاق بهخصوص هنگام طراحی سایت، تغییر قالب یا انجام برخی تنظیمات در سیستم مدیریت محتوا رایج است.
برای بررسی این موضوع میتوانید با ابزارهایی مانند Screaming Frog یا OnCrawl سایت را Crawl کنید و فهرست صفحاتی که تگ noindex دارند بررسی کنید.
۲. صفحه با JavaScript مشکل دارد
JavaScript نقش مهمی در بسیاری از سایتهای امروزی دارد، اما اگر محتوای اصلی صفحه به شکل نامناسبی با JavaScript پیادهسازی شده باشد، ممکن است گوگل نتواند آن را بهدرستی مشاهده یا پردازش کند.
گوگل در سالهای اخیر عملکرد خود را در پردازش JavaScript بسیار بهتر کرده است، اما همچنان شرایطی وجود دارد که میتواند باعث ایجاد مشکل در Crawl و Index صفحات شود:
- منابع JavaScript توسط txt مسدود شده باشند.
- هنگام اجرای JavaScript خطا یا Timeout اتفاق بیفتد.
- سایت برای نمایش محتوای اصلی به اجرای JavaScript وابسته باشد.
- محتوای صفحه تنها بعد از کلیک یا تعامل کاربر بارگذاری شود.
- سایت با محدودیت Crawl Budget مواجه باشد.
یک نمونه رایج، استفاده از Infinite Scroll است؛ یعنی محتوای بیشتر صفحه فقط زمانی بارگذاری میشود که کاربر به پایین صفحه اسکرول کند. Googlebot مانند یک کاربر واقعی با صفحه تعامل نمیکند، بنابراین اگر محتوای مهم سایت فقط بعد از چنین تعاملی بارگذاری شود، ممکن است گوگل به آن محتوا دسترسی پیدا نکند.
اگر JavaScript درست اجرا نشود چه اتفاقی میافتد؟
اگر بخش اصلی یک صفحه کاملاً با JavaScript ساخته شده باشد و گوگل نتواند آن را Render کند، ممکن است بخش زیادی از محتوای صفحه را نبیند. در نتیجه، صفحهای که از دید کاربر محتوای کاملی دارد، از دید Googlebot تقریباً خالی خواهد بود.
برای جلوگیری از این مشکل، مطمئن شوید محتوای اصلی و مهم صفحه برای Googlebot قابل دسترسی و Render شدن است.
از کجا بفهمیم مشکل از JavaScript است؟
۱. URL را در Search Console بررسی کنید
در Google Search Console مسیر زیر را دنبال کنید:
URL Inspection ← آدرس صفحه ← Test Live URL
اگر گوگل در بررسی صفحه نتواند محتوای اصلی را ببیند، احتمال وجود مشکل JavaScript بیشتر میشود؛ بهخصوص اگر صفحه در حالت عادی برای کاربر محتوای کاملی دارد اما در تست گوگل بخشی از محتوا وجود ندارد.
۲. بخش View Crawled Page را بررسی کنید
بعد از بررسی URL، قسمتهای مربوط به HTML و Screenshot را بررسی کنید. اگر صفحه برای کاربر شامل عنوان محصول، توضیحات، قیمت و مشخصات فنی است اما در رندر گوگل فقط عنوان دیده میشود، این میتواند نشانهای باشد که محتوای اصلی صفحه به JavaScript وابسته است و گوگل آن را درست Render نمیکند.
اگر در Search Console صفحاتی با وضعیتهایی مانند Crawled – currently not indexed یا Soft 404 مشاهده میکنید، بررسی JavaScript سایت هم میتواند یکی از مراحل عیبیابی باشد.
3. گوگل صفحه را Soft 404 تشخیص داده است
در حالت معمول، وقتی صفحهای وجود ندارد، سرور باید کد وضعیت 404 را به گوگل و مرورگر اعلام کند. اما در Soft 404، سرور از نظر فنی کد 200 برمیگرداند در حالی که محتوای صفحه عملاً شبیه یک صفحه خطاست؛ مثلاً صفحه تقریباً خالی است یا فقط پیامی مانند «صفحه موردنظر پیدا نشد» دارد.
گوگل در چنین شرایطی ممکن است صفحه را Soft 404 تشخیص دهد و آن را در نتایج جستجو قرار ندهد.
چرا ممکن است یک صفحه اشتباهاً Soft 404 تشخیص داده شود؟
- مشکل در JavaScript: اگر گوگل نتواند محتوای اصلی صفحه را Render کند، ممکن است تصور کند صفحه خالی یا کممحتواست.
- وجود عباراتی شبیه صفحات خطا: عباراتی مانند Page not found یا Product unavailable ممکن است در بعضی شرایط باعث شوند گوگل صفحه را شبیه یک صفحه خطا تشخیص دهد.
- صفحه 404 با کد 200: اگر صفحه 404 سایت شما به جای Status Code 404، کد 200 برگرداند، ممکن است گوگل آن را Soft 404 در نظر بگیرد.
- Redirect نامرتبط: اگر یک صفحه به URL دیگری Redirect شود که ارتباط موضوعی مناسبی با صفحه اصلی ندارد، ممکن است گوگل این Redirect را مناسب نداند.
بنابراین اگر صفحهای از نظر شما کاملاً سالم است اما ایندکس نمیشود، وضعیت Soft 404 آن را در Search Console بررسی کنید.
۴. کیفیت محتوای صفحه کافی نیست
گوگل قرار نیست هر صفحهای را که روی یک سایت منتشر میشود حتماً ایندکس کند.
کیفیت محتوا یکی از بخشهای مهم سئو است و میتواند روی نحوه ارزیابی و ایندکس شدن صفحات توسط گوگل تأثیر بگذارد. محتوای ارزشمند باید تا حد امکان:
- منحصربهفرد باشد؛
- اطلاعات کامل و مرتبط ارائه دهد؛
- پاسخ مناسبی به نیاز کاربر بدهد؛
- اطلاعات درست و قابل اعتماد داشته باشد؛
- برای مخاطب ارزش واقعی ایجاد کند.
اگر یک سایت تعداد زیادی مقاله کوتاه، تکراری، قدیمی یا کمارزش داشته باشد، احتمال دارد برخی از این صفحات توسط گوگل ایندکس نشوند. در بعضی شرایط، وجود حجم زیادی از محتوای ضعیف میتواند روی نحوه Crawl و ارزیابی کلی سایت نیز تأثیر بگذارد.
برای محتوای کمکیفیت چه کنیم؟
قبل از اینکه هر صفحهای را صرفاً برای افزایش تعداد صفحات سایت منتشر کنید، بررسی کنید آیا واقعاً ارزش مستقلی برای کاربر دارد یا نه. همچنین میتوانید:
- چند محتوای مشابه را با هم ترکیب کنید و یک مقاله کاملتر بسازید.
- مقالات قدیمی را بهروزرسانی و بازنویسی کنید.
- محتوایی که ارزش ایندکس شدن ندارد را با noindex از نتایج جستجو خارج کنید.
در Search Console نیز وضعیت Crawled – currently not indexed میتواند نشان دهد که گوگل صفحه را دیده، اما فعلاً آن را وارد ایندکس نکرده است.
5. صفحه محتوای تکراری دارد
گاهی مشکل از کیفیت پایین محتوا نیست، بلکه چند صفحه مختلف تقریباً یک محتوای یکسان دارند. به این وضعیت Duplicate Content یا محتوای تکراری گفته میشود.
وجود محتوای تکراری، بهخصوص در سایتهای فروشگاهی و سایتهای بزرگ، میتواند مدیریت Crawl و Index را دشوارتر کند. نمونههای رایج:
- چند URL مختلف یک محتوا را نمایش میدهند.
- توضیحات محصولات از منابع دیگر کپی شدهاند.
- فیلترها و پارامترهای مختلف URL های جدیدی برای یک محتوا ایجاد میکنند.
- نسخههای مختلف یک سایت مانند www و non-www وجود دارند.
محتوای تکراری میتواند باعث شود گوگل بین چند URL مختلف مجبور به انتخاب شود و مشخص نباشد کدام نسخه باید بهعنوان نسخه اصلی در نتایج نمایش داده شود. همچنین Crawl شدن URLهای غیرضروری میتواند بخشی از منابع Googlebot را مصرف کند.
راهحل Duplicate Content چیست؟
یکی از راهکارهای اصلی، استفاده از Canonical است. با تگ canonical به گوگل اعلام میکنید کدام URL نسخه اصلی محتواست. اگر صفحات تکراری دیگر نیازی به دسترسی مستقیم کاربران ندارند، میتوان از Redirect 301 نیز استفاده کرد و آنها را به صفحه اصلی هدایت کرد.
در Search Console ممکن است وضعیتهایی مانند موارد زیر را ببینید:
- Alternate page with proper canonical tag
- Duplicate without user-selected canonical
- Duplicate, Google chose different canonical than user
این پیامها کمک میکنند متوجه شوید گوگل چگونه صفحات تکراری سایت را شناسایی و مدیریت کرده است.
۶. صفحات سایت بیش از حد کند هستند
سرعت پایین سایت فقط یک مشکل برای تجربه کاربر نیست؛ در برخی شرایط میتواند روی Crawl شدن صفحات نیز تأثیر بگذارد.
اگر سرور سایت کند باشد یا نتواند درخواستهای Googlebot را بهموقع پاسخ دهد، گوگل ممکن است تعداد کمتری از صفحات را در یک بازه مشخص Crawl کند. همچنین Render شدن کند صفحات میتواند روند پردازش آنها را طولانیتر کند.
این موضوع در سایتهای بزرگ اهمیت بیشتری پیدا میکند. اگر همزمان با انتشار محتوای جدید، درخواستهای Googlebot افزایش پیدا کند اما سرور توانایی مدیریت این حجم از درخواست را نداشته باشد، Crawl شدن صفحات جدید ممکن است با تأخیر مواجه شود.
بنابراین فقط سرعتی که کاربر هنگام باز کردن سایت تجربه میکند مهم نیست؛ توانایی سرور در پاسخگویی مناسب به درخواستهای Googlebot نیز اهمیت دارد.
۷. مشکل از سمت گوگل است
گاهی اوقات مشکل واقعاً از سایت شما نیست. گوگل یکی از بزرگترین سیستمهای نرمافزاری جهان است و مانند هر سیستم دیگری ممکن است با خطا یا Bug مواجه شود.
در گذشته نیز مواردی وجود داشته که مشکلات داخلی گوگل باعث اختلال در Indexing یا گزارش وضعیت صفحات در Search Console شدهاند.
بنابراین اگر ناگهان تعداد زیادی از صفحات سایت از ایندکس خارج شدند در حالی که هیچ تغییری در سایت ایجاد نکردهاید، بهتر است قبل از انجام تغییرات گسترده، وضعیت سرویسهای گوگل و اطلاعیههای Google Search Central را بررسی کنید.
این نکته مهم است؛ چون گاهی مدیر سایت تصور میکند مشکل از تنظیمات سایت است و تغییرات زیادی ایجاد میکند، در حالی که مشکل موقتی از سمت گوگل بوده است.
۸. سایت یا صفحه شما جدید است
اگر بهتازگی یک صفحه یا حتی یک سایت جدید راهاندازی کردهاید، نباید انتظار داشته باشید همه صفحات بلافاصله در گوگل ایندکس شوند.
گوگل ابتدا باید صفحه را پیدا کند، آن را Crawl کند، محتوایش را پردازش کند و در نهایت درباره قرار دادن آن در Index تصمیم بگیرد. این فرآیند ممکن است از چند ساعت تا چند روز یا حتی در بعضی شرایط چند هفته طول بکشد.
سایتهای جدید معمولاً با این مشکل بیشتر مواجه میشوند؛ چون گوگل هنوز شناخت و سیگنالهای کافی درباره ساختار و صفحات سایت ندارد.
برای سایتهای جدید چه کاری انجام دهیم؟
- Sitemap سایت را به Search Console معرفی کنید.
- مطمئن شوید URLهای مهم در Sitemap قرار دارند.
- از صفحات مهم به شکل منطقی لینک داخلی ایجاد کنید.
- روی کیفیت و منحصربهفرد بودن محتوا تمرکز کنید.
اگر صفحهای برای مدت کوتاهی ایندکس نشده، لزوماً به معنی وجود مشکل نیست. گاهی فقط باید کمی زمان بدهید.
9. گوگل تصمیم گرفته فعلاً صفحه را Crawl نکند
گاهی گوگل یک URL را پیدا میکند اما تصمیم میگیرد فعلاً آن را Crawl نکند. یکی از دلایل میتواند این باشد که سیگنال کافی برای اهمیت صفحه وجود ندارد.
اگر هیچ صفحهای در سایت به یک URL مهم لینک نداده باشد، گوگل ممکن است اهمیت آن صفحه را بهخوبی تشخیص ندهد. Sitemap نیز یکی از راههای معرفی URLها به گوگل است؛ بنابراین بهتر است صفحات ارزشمند در Sitemap قرار داشته باشند.
عامل دیگر میتواند الگوی URL باشد. اگر سایت شما صدها یا هزاران URL مشابه برای فیلتر محصولات، پروفایل کاربران، صفحات نویسندگان یا پارامترهای مختلف ایجاد کرده باشد، گوگل ممکن است تشخیص دهد بسیاری از این URLها ارزش Crawl شدن ندارند و منابع خود را روی صفحات مهمتر متمرکز کند.
این صفحات ممکن است در Search Console با وضعیت Discovered – currently not indexed نمایش داده شوند.
برای کاهش این مشکل:
- محتوای ارزشمند را با لینکهای داخلی مناسب تقویت کنید.
- Sitemap را فقط با URLهای مهم و قابل ایندکس پر کنید.
- از ایجاد تعداد زیادی URL غیرضروری جلوگیری کنید.
- مطمئن شوید صفحات مهم سایت از بخشهای مختلف سایت قابل دسترسی هستند.
10. گوگل نمیتواند هاست سایت را Crawl کند
گاهی ربات گوگل اصلاً نمیتواند به سرور سایت وصل شود. در این حالت نهتنها صفحات جدید ایندکس نمیشوند، بلکه ممکن است صفحات قبلی نیز بهتدریج از نتایج گوگل حذف شوند. آشنایی با دلایل حذف از گوگل و رفع بهموقع مشکلات اتصال به سرور، به حفظ جایگاه صفحات در نتایج جستوجو کمک میکند.
چرا این اتفاق میافتد؟
- فایروال یا سیستم امنیتی هاست: گاهی این سیستمها ربات گوگل را با یک بات مخرب اشتباه میگیرند و آن را مسدود میکنند.
- محدودیت تعداد درخواست: چنانچه هاست اجازه ارسال تعداد زیادی درخواست در بازه زمانی کوتاه را ندهد، درخواستهای گوگل نیز رد خواهند شد.
- مشکل DNS: دامنه بهدرستی به سرور متصل نمیشود.
- مشکل گواهی SSL: گواهی امنیتی سایت (https) منقضی یا معیوب است.
- قطعی یا کندی سرور: سایت بهکرات در دسترس نیست یا پاسخدهی آن با تأخیر همراه است.
- محدودیت جغرافیایی: هاست دسترسی از کشورهای خاص از جمله ایالات متحده، که گوگل از آنجا سایت را بررسی میکند را مسدود کرده است.
- مشکل فایل robots.txt: این فایل در دسترس نیست یا خطا برمیگرداند.
چطور میتوان این مشکل را تشخیص داد؟
- در Google Search Console بخش Crawl Stats را بررسی کنید؛ وجود خطاهای مکرر یا زمان پاسخ بالا نشانهای از مشکل در سطح هاست است.
- از قابلیت Test Live URL استفاده کنید تا ببینید گوگل چه خطایی دریافت میکند.
- لاگهای سرور را بررسی کنید تا مشخص شود آیا درخواستهای گوگل اصلاً به سرور میرسند یا خیر.
11. غیراستاندارد بودن URL
یکی دیگر از مواردی که هنگام بررسی مشکلات Crawl و Index باید به آن توجه کرد، ساختار URL است.
نکته: در بعضی سایتها ممکن است صفحات با URL فارسی دیرتر یا اصلاً توسط گوگل خزش نشوند، در حالی که صفحات مشابه با URL انگلیسی سریعتر بررسی میشوند.
یک URL فارسی ممکن است در مرورگر به شکل زیر نمایش داده شود:
example.com/آموزش-سئو
اما در کد لینک به شکل Encode شده قرار بگیرد:
example.com/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D8%B3%D8%A6%D9%88
این URL ممکن است برای کاربر درست باز شود، اما اگر نسخه کدگذاریشده آن در سایت بهدرستی تولید نشده باشد، گوگل در خزش آن با مشکل مواجه میشود.
اگر فقط URLهای فارسی مشکل دارند، میتوان بهصورت آزمایشی از URLهای انگلیسی و کوتاه استفاده کرد؛ اما قبل از تغییر آدرسها، حتماً ریدایرکت مناسب تنظیم شود.
12. درج تگ Canonical در صفحه
یکی از دلایل رایج ایندکس نشدن یک صفحه، وجود تگ Canonical است که به URL دیگری اشاره میکند. در این حالت گوگل صفحه را Crawl میکند اما آن را ایندکس نمیکند، چون صفحه دیگری را بهعنوان نسخه اصلی میشناسد.
علل رایج:
- تنظیم اشتباه Canonical روی نسخهای دیگر از URL (مثلاً با/بدون www)
- تولید خودکار و ناقص Canonical توسط پلاگینها یا قالبهای CMS
- اشاره Canonical به صفحهای که Redirect شده یا حذف شده است
روش تشخیص:
- بررسی وضعیت صفحه در Search Console با URL Inspection؛ وضعیت Alternate page with proper canonical tag نشاندهنده این مشکل است.
- مشاهده تگ زیر در سورس صفحه و اطمینان از صحت آدرس:
<“link rel=”canonical” href=”https://example.com/url-asli>
3 پاسخ
بعد از رفع مشکل ایندکس، چقدر باید صبر کنیم تا صفحه دوباره در نتایج گوگل نمایش بشه؟
معمولاً چند روز تا چند هفته طول میکشه تا گوگل بعد از رفع مشکل، صفحه را دوباره ایندکس کند.
ابزارهایی مثل Screaming Frog یا OnCrawl رایگانن یا باید هزینه پرداخت کنم؟