گوگل اخیرا به وب مستر تولز کاربران(همراه ایمیل) ، پیغامی مبنی بر عدم دسترسی ربات هایش به فایل های CSS و JS داده است که امروز همزمان به ۴ تا ازمشتریان ما، ارسال شد.این پیام مثل پیام ناسازگاری صفحات وب سایت با موبایل ، بدون شک به تدریج به همه وب سایت هایی که دسترسی ربات ها رو خواسته یا ناخواسته به فایل های CSS و جاوااسکریپت بستند، ارسال میشه. محتوای پیام به شرح زیر است:
Googlebot cannot access CSS and JS files
Googlebot cannot access CSS and JS files on دامنه شما
To: Webmaster of https://seorooz.net/,
Google systems have recently detected an issue with your homepage that affects how well our algorithms render and index your content. Specifically, Googlebot cannot access your JavaScript and/or CSS files because of restrictions in your robots.txt file. These files help Google understand that your website works properly so blocking access to these assets can result in suboptimal ranking
گوگل دقیقا میگه، ربات های من نمی تونن به فایل های CSS و جاوااسکریپت شما دسترسی داشته باشند و این باعث میشه ما به خوبی نتونیم محتوا و صفحات شما رو بررسی کنیم.این فایل ها(CSS و جاوااسکریپت ها) ، به ما کمک می کنن تا متوجه بشیم که سایت شما به درستی کار می کنه و اجرا میشه یا نه و عدم دسترسی ما به این فایل ها، باعث میشه، رتبه شما، کمتر از حد مطلوب باشه.
راهکار و راه حل:
ابتدا از طریق این لینک وب مستر تولز و بعد از لاگین شدن در حساب گوگل خود و انتخاب سایت، مسیر های منابع بسته شده رو پیدا کنید.هر چه پوشه و مسیری که در فایل robots.txt دادید که مربوط به منابع بسته شده(یعنی همون css و js که مسیرش رو از لینک بالا دیدید) هست رو از فایل robots.txt حذف کنید و بعد از ابزار Fetch as google صفحاتتون رو با انتخاب گزینه Smart Phone و کلید Fetch and render بررسی کنید و ببینید گوگل و ربات های دسکتاپ و موبایل به راحتی می تونن صفحات شما رو ببینن یا نه.اگر مشکلی نبود دیگه هیچ کاری لازم نیست بکنید.
گوگل چه نیازی به این فایل ها داره؟
گوگل مدتهاست با این فایل ها درگیر هست و این چیز جدید نیست.از آخرین آپدیت های پاندا آنالیز سایت ها و خوندن فایل های CSS و JS مطرح شده بود.حتی قبل از اون هم گوگل تلاش داشت، تا به درک کاملی از وب سایت با استفاده از فایل های Css و JS برسه.
همونطور که در پست پنالتی گوگل هم اشاره کردم، بخشی از نیاز گوگل به این فایل ها اینه که بتونه لینک های مخفی سایت شما رو پیدا کنه و تشخیص بده که این لینک ها همیشه مخفی هستند یا در شرایط خاصی مخفی میشن یا به خاطر نمای موبایل و … مخفی شدن یا به خاطر تکنیک های UX سایت مخفی میشن.از این رو، می تونه تشخیص بده که مخفی بودن لینک ها و حتی محتوای شما ، به چه دلیلی هست.بحث تشخیص محتوا و لینک مخفی سالهاست جزو پروژه های گوگل هست که بتونه محتوا و لینک مخفی رو تشخیص بده تا بتونه با روش های کلاه سیاه محتوای مخفی مثل cloaking و روش های کلاه سیاه بک لینک، مثل استفاده از بک لینک های مخفی، مبارزه کنه.
این تنها یک دلیلش هست.تشخیص واکنش گرا بودن سایت شما، به خاطر دسترسی ربات های گوگل به همین فایل های CSS و جاوااسکریپت شماست.اینکه در نمای موبایل گوگل، زیر سایت هایی که با موبایل سازگاری دارند، طوسی رنگ می نویسه Mobile Friendly به واسطه وجود مبارک همین فایل ها و دسترسی گوگل به اونهاست!
نکته دیگه هم در UX سایت هست.گوگل از اونجا که همیشه نسبت به همه موتور های جستجو از هر نظر پیشتاز هست، با درک CSS و JS هر سایت، می تونه ربات هایی بسازه که با سایت ها کار کنند تا به درک درستی و نزدیک تر به درک یک انسان از هر سایت برسه.برای مثال، تب های جاوااسکریپتی در سایت، به صورت پیش فرض، موجب میشه بخشی از محتوا و لینک ها مخفی بشه و محتوی تب فعال نمایش داده بشه.منو های بازشو هم به همین شکل.وقتی گوگل بتونه به درک خوبی از CSS و JS سایت شما برسه، می تونه ساختار سایت و تب ها و منو ها هم به خوبی درک کنه و بفهمه که با کلیک کاربر، نمایش داده میشن.از این رو، احتمال پنالتی های با خطا و اشتباه گوگل، که ناشی از تشخیص لینک و محتوای مخفی به قصد کلاه سیاه بوده از بین میره و احتمال قضاوت های نادرست گوگل درباره محتواهای مخفی که به قصد کلاه سیاه هم نیستند کم میشه.برای مثال گوگل به محتوایی بیشتر اهمیت میده که به صور پیش فرض در حال نمایش باشه.در حالی که ممکنه شما با کلیک یا حرکت موس، محتوا های مهم دیگه ای رو در سایتتون به کاربر نشون بدید.(یعنی محتوا های مهم دیگه به صورت پیش فرض مخفی هستند.مثل تب های غیر فعال).
سوالات متداول
۱- من این پیامو دریافت کردم.آیا از نتایج گوگل حذف میشم؟
نه حذف نمیشید.ولی رتبه ای که لیاقتش رو دارید رو ممکنه نگیرید.
۲- من سایتمو اپدیت کردم و تغییراتی دادم و بعد این پیام برام اومد.چه ربطی به اپدیت من داشته؟
ربطی نداره.شما فقط تصور کردید که از کار شما این پیام اومده..
۳-من فایل های CSS و JS سایتم داخل پوشه ای هست که توی اون پوشه فایل ها و صفحاتی هست که نمیخوام گوگل بهش دسترسی داشته باشه.چیکار کنم؟
فایل های CSS و JS باید در پوشه جداگانه ای باشند.اما از اونجا که مسیرشون عوض میشه، این فایل ها در صفحات شما هم از کار می افتن.لذا بهترین کار اینه که، اون صفحات دیگه که نمیخواید گوگل و ربات ها بهش دسترسی دارند رو، منتقل کنید به پوشه دیگه و مسیر پوشه حاوی فایل های CSS و جاوااسکریپت رو تغییر ندید.فقط از robots.txt حذف کنید.
۴-در سایت وردپرسی چطور این مشکل رو حل کنیم؟
هر مسیری که داخل خودش یا پوشه های داخلیش، فایل های js و css وجود داره رو از robots.txt حذف کنید.البته به استثنای wp-admin چون این فایل ها و صفحات این مسیر هم نمیخوایم به گوگل نشون داده بشه.چه برسه به css و js اونها.
مسیر های مرتبط با پوشه های wp-content و wp-includes رو از robots.txt حذف کنید.
۵-من برخی صفحات و پوشه هام رو کلا برای ربات های گوگل بستم و رتبه اون صفحاتم برام مهم نیست.مثل صفحات مرتبط با پنل کاربری و ادمین و سایر صفحاتی که نمیخوام به هر دلیلی ایندکس بشن.آیا باید CSS و JS اونها رو هم مسیرش رو برای ربات های گوگل باز کنم؟
خیر.گوگل فقط به css و js هایی نیاز داره که مربطو به صفحاتی هستند که ایندکس میشن و ربات ها می تونن اونها رو ببینن.گوگل حق نداره تو دیدن صفحاتی که خودتون اجازه ندادید، دخالت کنه و این کار هم نمیکنه.
۶-بعضی از صفحات من بعد از لاگین به کاربر نشون داده میشن.یعنی کاربر Login نشده نمی تونه اون صفحات رو باز کنه.آیا CSS و JS اون صفحات رو هم باید از robots.txt حذف کنم؟
خیر. صفحاتی که کاربر باید لاگین کنه تا ببینه، ربات گوگل هم باید لاگین کنه تا ببینه.در نتیجه، اون صفحات اصلا توسط ربات ها دیده نمیشن.بنابراین مشابه سوال بالا میشه.یعنی این نوع صفحات هم، نیاز نیست فایل های css و js اونها رو برای ربات ها باز کنید.اگر هم این کار رو بکنید مشکلی حل نمیشه.اگر گوگل پیغام داده، به خاطر عدم دسترسی به فایل های Css و جاوااسکریپت صفحات ایندکس شده داده.نه صفحات ایندکس نشده و بسته شده از دید ربات ها.
۷-شما بپرسید تا به سوالات متداول اضافه کنیم…
درباره ما
تماس با ما