ربات ها و بهینه سازی سایت برای موتورهای جستجو – قسمت سوم

اگر پیگیر مطالب مهندیس باشید، حتما قسمتهای اول و دوم این مقاله را مطالعه کرده اید. در قسمتهای قبلی چگونگی محدود سازی دسترسی ربات موتورهای جستجو برای بخشی از سایت و یا یک صفحه خاص توضیح داده شد. در این قسمت با نحوه محدود سازی سرکشی ربات ها برای یک لینک خاص آشنا می شویم.

ویژگی لینک Nofollow چیست؟ آیا همان برچسب متای Nofollow هست؟

افراد بسیاری با این سوال دچار اشتباه می شوند چرا که معتقد هستند تنها یک برچسب Nofollow وجود دارد. در صورتی که برچسب Nofollow دو کاربرد شبیه به هم ولی در محلهای مختلف دارد:

یک – برچسب متای Nofollow

دو – ویژگی  لینک Nofollow

همانطور که قبلا نیز اشاره شده است برچسب متای Nofollow برای راهنمایی موتورهای جستجو برای یک صفحه و تمامی لینک های موجود در آن صفحه بکار برده می شود.

ولی ویژگی  لینک Nofollow با افزوده شدن عبارت rel=”nofollow” به عنوان یکی از ویژگی های لینک استفاده می شود. این ویژگی ربات موتور جستجو را راهنمایی می کند تا یک لینک خاص رهگیری نشود. با یک مثال غیرفنی به اهمیت استفاده از چنین ویژگی پی می بریم. فرض کنید  یک صفحه وب سایت یا وبلاگ مانند سطلی پر از آب و لینک های آن صفحه مانند سوراخ هایی در سطل بوده و رتبه موتورهای جستجو به یک صفحه همانند آبی که در داخل سطل ریخته می شود، باشد. هر چقدر تعداد سوراخ ها بیشتر باشد آب سطل کمتر و در نتیجه رتبه داده شده نیز کمتر خواهد بود.

nofollow link attribute

حال باید تشخیص دهیم که کدام یک از سوراخها باید گرفته شود! نکات زیر کمک می کند تا بتوانید سوراخهایی که گرفته شوند را تشخیص دهید.

1. استفاده از ویژگی لینک Nofollow برای اسپانسرها و تبلیغات ها
حامیان و تبلیغات ها ممکن است همیشه با موضوع یک صفحه مرتبط نباشد. پس بهتر است که برای لینک آنها از ویژگی Nofollow استفاده کنیم.

2. استفاده از ویژگی لینک Nofollow در نظرات
لینک های مربوط به قسمت نظرات اهمیت مهمی در رتبه دهی به یک صفحه دارد، چرا که ممکن است لینک های داده شده به موضوع فعالیت وب سایت مرتبط نباشد

3. استفاده از ویژگی لینک Nofollow در لینک به سایت هایی که با فعالیت وبلاگ و یا سایت مرتبط نیست
هنگام لینک دادن به سایت های دیگر محتوای آنرا کنترل کنید تا در صورت مرتبط نبودن با فعالیت شما از ویژگی Nofollow در برچسب لینک استفاده نمایید.

4. استفاده از ویژگی لینک Nofollow برای لینک هایی که قابل رهگیری نیستند
برای لینک دادن به صفحاتی را که برای رهگیری به رمز عبور نیاز دارند، از ویژگی  Nofollow استفاده کنید.
این آخرین قسمت از سری مطالب آموزشی در مورد تاثیر ربات ها در بهینه سازی سایت برای موتورهای جستجو بود.

اگر شما هم علاقمند به افزایش رتبه سایت خود در موتورهای جستجو هستید!؟ مشترک مهندیس شوید تا مطالب بعدی در باره این موضوع را از دست ندهید. برای اشتراک از طریق ایمیل به اینجا رفته و آدرس ایمیلتان را وارد کنید و یا در فیدخوانتان فید مهندیس را اضافه کنید. اگر نمی دانید فید چیست اینجا کلیک کنید.

Vote on iDevCenter

ربات ها و بهینه سازی سایت برای موتورهای جستجو

با اینکه فایل robots.txt نقش مهمی در رتبه دهی موتورهای جستجو دارد اما اکثر سایتها فاقد آن هستند. اگر سایت شما فایل robots.txt ندارد، با خواندن این مقاله ساخت آن برایتان آسان خواهد بود، حتی اگر سایت شما فایل robots.txt داشته باشد خواندن این مقاله به شما کمک خواهد کرد تا فایلتان خطایی نداشته باشد.

موتورهای جستجو از دو طریق به سایت ها سرکشی می‌کنند، یا شما از طریق صفحه ای مشخص آنرا به موتور جستجو معرفی کرده اید و یا موتورهای جستجو از طریق سایتهای دیگر و دنبال کردن لینکها به سایت شما رسیده اند. اولین کاری که ربات بعد از شناسایی سایت شما انجام می دهد اینست که به دنبال فایلی با نام robots.txt در ریشه سایت شما می‌گردد. این فایل، ربات جستجوگر را برای سرکشی و یا عدم سرکشی صفحه یا صفحاتی از سایت راهنمایی می‌کند. این فایل بخش مهمی از سایت شما می باشد که نقشی مانند سیستم کنترل کننده ترافیک در یک شهر را دارد. همچنین این فایل نقش مهمی در جلوگیری از اسپم دارد، بطوری که دسترسی رباتهای مخرب را به محتوای سایت محدود می سازد تا امکان کپی برداری از کدهای سایت، اسناد وعکسهای شخصی شما به حداقل برسد. این راهنما همچنین از مصرف بیهوده پهنای باند جلوگیری می کند.

فایل robots.txt یک فایل ساده متنی بدون هیچ قالب خاصی است، البته باید توجه داشته باشید که نام فایل همگی با حروف کوچک ذخیره شده باشند.

robots.txt Sample

در تصویر بالا شکل ساده ای از فایل robots.txt را مشاهده می‌کنید که در آن User-agent نام ربات جستجوگر را مشخص می‌کند و علامت *  به مفهوم تمامی رباتها می باشد که عموما از آن استفاده می شود، هر چند شما می توانید نام رباتهای مورد نظرتان را بنویسید. Disallow تنها در یک سطر، مجوز دسترسی رباتها به تمام قسمتهای سایت می باشد. اگر می خواهید ربات دسترسی به هیچکدام از بخشهای سایت نداشته باشد کافیست یک اسلش(/) در مقابل Disallow اضافه کنید. برای روشن شدن مطلب در ادامه چند مثال آورده شده است.

دسترسی کامل به تمام قسمتهای سایت برای تمامی رباتها

robots.txt Sample

عدم دسترسی به قسمتهای مختلف سایت برای تمامی رباتها

robots.txt Sample

عدم دسترسی به بخشهای مشخصی از سایت برای تمامی رباتها

robots.txt Sample
عدم دسترسی به قسمتهای مختلف سایت برای ربات مشخص شده

robots.txt Sample

برای عدم دسترسی به یک صفحه از سایت می توانید از عبارت زیر استفاده کنید

robots.txt Sample

برای عدم دسترسی به نوع خاصی از فایلهای موجود در سایت می توانید از عبارت زیر استفاده کنید(مثلا برای فایلهای doc)

robots.txt Sample

همچنین شما می توانید نقشه سایت را در این فایل مشخص کنید

robots.txt sample

نقشه سایت بیش از لیست آدرس ها در فرمت  XML هست. در نقشه سایت می توان اطلاعات مربوط به صفحه ای خاص را مشخص کرد، مانند تاریخ آخرین تغییر (اگر وب سرور شما تاریخ تغییر محتوای را ذخیره ننماید)، و نیز فرکانس آن صفحه. همچنین نقشه سایت برچسب اولویت صفحه ای را که از نطر شما مهم است برای ربات مشخص می کند. اگرچه بطور کامل مشخص نیست که هر یک از موتورهای جستجو چقدر از این برچسب  برای رتبه دهی استفاده می کنند. این سایت توضیحات کاملی در مورد نقشه سایت و همچنین قالب آن ارائه کرده است.

یکی از مواردی که باید توجه داشته باشید اینست که فایل robots.txt سایتها برای همه قابل دسترسی است؛ پس نباید شاخه ها و صفحات مهم در آن آورده شود، شما می‌توانید برای دسترسی به چنین مواردی رمز عبور تعیین کنید.

شاید از خودتان بپرسید که فایل robots.txt در بهینه سازی چه نقشی دارد!؟ همانطور که می دانید الگوریتم رتبه دهی به سایتها برای کسی مشخص نیست ولی آنچه واضح است محتوا نقش قابل توجهی در آن دارد. شاید شما صفحات کم ارزشی از نظر رتبه دهی داشته باشید، پس بهتر است آنها را از دسترس رباتها خارج کنید تا رتبه سایت را پایین نیاورند.

در مطالب بعدی روشهایی متفاوت  برای بهینه سازی سایت برای موتورهای جستجو اشاره خواهد شد.

لیست کاملی از رباتهای جستجوگر

ابزاری برای بررسی و رفع اشکال robots.txt

فایل راهنمای برخی از سایت های معروف: مایکروسافت، یاهو، گوگل، فیس بوک، توییتر و اپل

Vote on iDevCenter

اگر می خواهید مطالب بعدی مهندیس را از دست ندهید؛ برای دریافت از طریق ایمیل اینجا کلیک کرده و یا مشترک فید مهندیس شوید