اگر در لاگ سرور سایتتان درخواستهایی مثل HEAD، OPTIONS، PUT، PATCH یا DELETE از طرف Googlebot مشاهده کردهاید، لزوماً جای نگرانی نیست.
به گفته گری ایلیز (Gary Illyes) از گوگل، رباتهای این شرکت فقط از درخواستهای معمول GET و POST استفاده نمیکنند و گاهی درخواستهای HTTP دیگری را نیز ارسال میکنند. البته این نوع درخواستها بخش بسیار کوچکی از فعالیت Googlebot را تشکیل میدهند و کمتر از ۱.۵٪ کل درخواستهای گوگل هستند.
اما چرا Googlebot چنین درخواستهایی ارسال میکند؟
دلیل اصلی میتواند JavaScript موجود در صفحات سایت باشد. زمانی که گوگل یک صفحه را برای بررسی و ایندکس شدن رندر میکند، کدهای JavaScript آن نیز ممکن است اجرا شوند. اگر این کدها درخواستهایی مانند PATCH، OPTIONS یا سایر متدهای HTTP ایجاد کنند، موتور رندر گوگل نیز ممکن است آنها را اجرا کند.
برای وبمسترها چه معنایی دارد؟
اگر در لاگ سرور خود درخواستهای غیرمعمولی از Googlebot مشاهده کردید، صرفاً بر اساس نوع درخواست تصور نکنید که مشکلی در سایت وجود دارد. ابتدا بررسی کنید کدام فایل JavaScript یا کدام بخش از سایت باعث ایجاد آن درخواست شده است.
با این حال، بررسی لاگهای سرور همچنان برای سئو تکنیکال اهمیت دارد؛ زیرا میتواند به شناسایی مشکلات مربوط به Crawling، Rendering، JavaScript و رفتار رباتهای موتور جستجو کمک کند.
منبع: Search Engine Roundtable
