استفاده از فایل robots.txt محدود کردن دسترسی روبات های گوگل به محتویات سایت

استفاده از فایل robots.txt محدود کردن دسترسی روبات های گوگل به محتویات سایت

استفاده از فایل robots.txt محدود کردن دسترسی روبات های گوگل به محتویات سایتReviewed by میثم سهیل کیش on Dec 14Rating: 5.0

استفاده از فایل robots.txt و  دسترسی روبات های گوگل

موتورهای جستجو همانند گوگل ، یاهو و بینگ مایکروسافت برای برای یافتن و ایندکس کردن صفحات مختلف وب و سایت های موجود از روبات های جستجو که به spider , robot و یا crawler معروف هستنداستفاده می کننید . این روبوت ها با پیمایش خودکار در صفحات وب اطلاعات مربوط به صفحات رو بدست میارند و اونها رو به موتور جستجوی مربوطه ارسال میکنند . معمولا بر اساس اینکه یک سایت چند مدت به چند مدت آپدیت میشه تعداد دفعاتی که این روبات های جستجوگر در روز به سایت مراجعه می کنند متفاوته . این روبات ها بصورت کاملا اتوماتیک عمل کرده و قبل از ورود به هر سایت یا صفحه ای از وجود فایل robots.txt بر روی آن و محدود نبودن دسترسی محتوا مطمئن میشوند.

robots.txt

 

استفاده از فایل Robots.txt را موثر کنید

فایل Robots.txt به ربات های موتور های جستجو کمک می کند تا به چه بخش هائی دسترسی داشته باشند. این فایل، باید با نام Robots.txt در شاخه روت سایت قرار گیرد.

robots.txt

تمامی ربات های موتور های جستجو در صورت مشاهده * نباید به پوشه های مشخص شده آن دسترسی داشته باشند.

شما ممکن است که تمایلی نداشته باشید بخشی از سایت شما توسط موتور های جستجو مشاهده شود. و امکان دارد آن اطلاعات برای کاربران مفید نباشد. در صورتی که می خواهید این کار را انجام دهید در بخش  Google Web Master Tools ابزار بسیار آسانی برای طراحی Robots.txt وجود دارد.

robots.txt

در صورتی که شما زیر دامنه های متفاوتی دارید باید با هر کدام از آن ها یک فایل robots.txt ایجاد کنید.

روش های دیگری برای این کار نیز وجود دارد، شما می توانید از متا تگ NOINDEX نیز در آن صفحه استفاده کنید. از فایل .htaaccess برای رمز گذاری پوشه ها استفاده کنید.

روش های مناسب برای robots.txt :

1. از متد های فایل robots.txt به خوبی استفاده کنید: از تمامی قابلیت های این فایل برای دسترسی موتورهای جستجو استفاده کنید. با این حال استفاده از تگ متا را در موارد خاص حتماً در نظر بگیرید. بهترین روش برای جلوگیری از دسترسی موتور های جستجو به پوشه های شما قرار دادن رمز برای پوشه ها توسط htaaccess است.

اجتناب کنید از:

  • اجازه دهید موتور های جستجو شاخه های غیر ضروری شما را مشاهده کند.
  • اجازه دهید که موتور های جستجو مطالب تکراری شما را که در بخش های دیگر سایت هستند را مشاهده کنند.

مواظب لینک های خود با استفاده از ”rel=”nofollow باشید :

با استفاده از این امکان شما می توانید به موتور های جستجو بگوئید که لینک شما را به سایت مقصد دنبال نکند.

robots.txt

اگر به سایتی که می خواهید لینک بدهید اعتماد ندارید از nofollow استفاده کنید.

چه زمانی این کار مفید است؟ در صورتی که سایت شما دارای وبلاگ هست. و در آن سیستم نظرات آزاد کاربران وجود دارد. این امکان به وجود می آید که کاربران لینک های سایتشان را به صورت هرز در نظرات قرار دهند. در صورت قرار دادن nofollow می توانید سایت خود را از دست spammer ها خلاص کنید. بعضی از برنامه های مدیریت وبلاگ این کار را انجام می دهند. ولی آن هائی که این طور نیستند، را می توانید به صورتی دستی این rel را اضافه کنید.

این پیشنهاد در مورد بقیه بخش های سایت شما نیز صدق می کند. مانند انجمن های سایتتان. ولی در صورتی که به فردی که در سایت شما کامنت می گذارد اعتماد دارید این rel را بر روی آن ها اعمال نکنید. به هر حال، در صورتی که شما به سایت هائی که از نظر گوگل spam هستند لینک بدهید گوگل برای شما امتیاز منفی قائل می شود.

یکی دیگر از امکانات این rel این است که در صورتی که شما می خواهید سایت که به صورت spam فعالیت می کند را در سایت یا وبلاگ تان معرفی کنید. باید از این rel استفاده کنید. در صورتی که می خواهید تمامی لینک های درون سایت خود را nofollow کنید می توانید آن در میان تگ head قرار دهید.

robots.txt

با درگاه بانک همراه باشید.

 

دیگر مطالب مرتبط

سئو (SEO) Search Engine Optimization بهینه سازی موتورهای جستجو

سئو (SEO) Search Engine Optimization بهینه سازی موتورهای جستجو

تاریخ انتشار : 3 بهمن 1395
مشاهده مطلب
معرفی سایت نقطه شروع دستیابی به اهداف سئو

معرفی سایت نقطه شروع دستیابی به اهداف سئو

تاریخ انتشار : 27 آذر 1395
مشاهده مطلب
بهینه سازی و سئو تصاویر برای موتورهای جستجو

بهینه سازی و سئو تصاویر برای موتورهای جستجو

تاریخ انتشار : 23 آذر 1395
مشاهده مطلب
بهترین واژه برای متن لینک ، استفاده از تگ Heading به صورت مناسب

بهترین واژه برای متن لینک ، استفاده از تگ Heading به صورت مناسب

تاریخ انتشار : 20 آذر 1395
مشاهده مطلب
بهینه سازی ساختار صفحات سایت برای موتورهای جستجو (قسمت سوم)

بهینه سازی ساختار صفحات سایت برای موتورهای جستجو (قسمت سوم)

تاریخ انتشار : 13 آذر 1395
مشاهده مطلب
بهینه سازی ساختار صفحات سایت برای موتورهای جستجو (قست دوم)

بهینه سازی ساختار صفحات سایت برای موتورهای جستجو (قست دوم)

تاریخ انتشار : 12 آذر 1395
مشاهده مطلب
وَمَا مِن دَآبَّةٍٍ فِِی الأَرْضِ إِلاَّ عَلَی اللّهِ رِزْقُهَا وَیَعْلَمُ مُسْتَقَرَّهَا وَمُسْتَوْدَعَهَا کُلٌّ فِی کِتَابٍ مُبِینٍ(هود/6)؛ «هیچ جنبنده ای در زمین نیست، مگر اینکه روزی او برخداست. او قرارگاه و محلّ نقل و انتقالش را می داند. همه اینها در کتاب آشکاری ثبت است».