رباتها و بهینه سازی سایت برای موتور جستجو – قسمت دوم

همانطور که در این پست گفته شد، شما می توانید با استفاده از robots.txt دسترسی بخشی از سایت را برای موتورهای جستجو محدود کنید. هدف از انجام این کار اینست که صفحه ای را که ارزش پایینتری از نظر الگوریتم رتبه دهی دارد از دسترس رباتهای (خزنده های) موتور جستجو خارج کنید یا حتی ممکن است شما نخواهید صفحه ای در موتورهای جستجو ظاهر شود! اگر شما بخواهید دسترسی به یک صفحه خاص را محدود کنید ولی نخواهید نام آن فایل در robots.txt بیاید، می توانید از دو روش برای انجام این کار استفاده کنید: نخست اینکه یک فولدر ساخته و صفحه مورد نظر را در آن  فولدر قرار دهید؛ حال بجای استفاده از نام فایل می توانید دسترسی به فولدر را در robots.txt محدود سازید. دومین روش استفاده از برچسب متای ربات (robots metatag) هست. موتور جستجو به فایل robots.txt رفته و نام صفحه شما را نمی یابد، سپس ربات به صفحه مورد نظر مراجعه می کند ولی با  برچسب متای ربات مواجه می شود که دسترسی به صفحه توسط آن محدود شده، پس از آن صفحه چشم پوشی می کند.

شکل کلی برچسب متای ربات بصورت زیر می باشد:

<meta name=»robots» content=»robots-terms»>

بجای عبارت robots-terms می توانید از noindex, nofollow, all, index , follow استفاده کنید. البته بزرگی و یا کوچک بودن حروف مهم نیست.

مفهوم noindex : ‌صفحه جاری توسط موتورهای جستجو فهرست نمی شود.

<meta content=»noindex»>

مفهوم nofollow: پیوندهای صفحه جاری توسط رباتها رهگیری نمی شوند.

<meta content=»nofollow»>

توجه داشته باشید که برای حالتهای index, follow  یا  all لازم نیست حتما از برچسب متای ربات استفاده شود چرا که این حالت رفتار پیش فرض رباتها می باشد.

<meta content=»index, follow»>
<meta content=»all»>

مفهوم index : موتورهای جستجواین ‌صفحه را فهرست می کنند.

<meta content=»index»>

مفهوم follow: رباتها پیوندهای صفحه جاری را رهگیری می کنند.

<meta content=»follow»>

اگر برچسب متای ربات در صفحه ای نیامده باشد و یا ویژگی content مقدار و یا مفدار معتبری نداشته باشد، رباتها آنرا در حالت index, follow  و یا all در نظر می گیرند.

این مطلب برای شما مفید بود!؟ مشترک مهندیس شوید تا مطالب بعدی را از دست ندهید. برای اشتراک از طریق ایمیل به اینجا رفته و آدرس ایمیلتان را وارد کنید و یا در فیدخوانتان فید مهندیس را اضافه کنید. نمی دانید فید چیست اینجا کلیک کنید.

Vote on iDevCenter

Advertisements