با اینکه فایل robots.txt نقش مهمی در رتبه دهی موتورهای جستجو دارد اما اکثر سایتها فاقد آن هستند. اگر سایت شما فایل robots.txt ندارد، با خواندن این مقاله ساخت آن برایتان آسان خواهد بود، حتی اگر سایت شما فایل robots.txt داشته باشد خواندن این مقاله به شما کمک خواهد کرد تا فایلتان خطایی نداشته باشد.
موتورهای جستجو از دو طریق به سایت ها سرکشی میکنند، یا شما از طریق صفحه ای مشخص آنرا به موتور جستجو معرفی کرده اید و یا موتورهای جستجو از طریق سایتهای دیگر و دنبال کردن لینکها به سایت شما رسیده اند. اولین کاری که ربات بعد از شناسایی سایت شما انجام می دهد اینست که به دنبال فایلی با نام robots.txt در ریشه سایت شما میگردد. این فایل، ربات جستجوگر را برای سرکشی و یا عدم سرکشی صفحه یا صفحاتی از سایت راهنمایی میکند. این فایل بخش مهمی از سایت شما می باشد که نقشی مانند سیستم کنترل کننده ترافیک در یک شهر را دارد. همچنین این فایل نقش مهمی در جلوگیری از اسپم دارد، بطوری که دسترسی رباتهای مخرب را به محتوای سایت محدود می سازد تا امکان کپی برداری از کدهای سایت، اسناد وعکسهای شخصی شما به حداقل برسد. این راهنما همچنین از مصرف بیهوده پهنای باند جلوگیری می کند.
فایل robots.txt یک فایل ساده متنی بدون هیچ قالب خاصی است، البته باید توجه داشته باشید که نام فایل همگی با حروف کوچک ذخیره شده باشند.
در تصویر بالا شکل ساده ای از فایل robots.txt را مشاهده میکنید که در آن User-agent نام ربات جستجوگر را مشخص میکند و علامت * به مفهوم تمامی رباتها می باشد که عموما از آن استفاده می شود، هر چند شما می توانید نام رباتهای مورد نظرتان را بنویسید. Disallow تنها در یک سطر، مجوز دسترسی رباتها به تمام قسمتهای سایت می باشد. اگر می خواهید ربات دسترسی به هیچکدام از بخشهای سایت نداشته باشد کافیست یک اسلش(/) در مقابل Disallow اضافه کنید. برای روشن شدن مطلب در ادامه چند مثال آورده شده است.
دسترسی کامل به تمام قسمتهای سایت برای تمامی رباتها
عدم دسترسی به قسمتهای مختلف سایت برای تمامی رباتها
عدم دسترسی به بخشهای مشخصی از سایت برای تمامی رباتها
عدم دسترسی به قسمتهای مختلف سایت برای ربات مشخص شده
برای عدم دسترسی به یک صفحه از سایت می توانید از عبارت زیر استفاده کنید
برای عدم دسترسی به نوع خاصی از فایلهای موجود در سایت می توانید از عبارت زیر استفاده کنید(مثلا برای فایلهای doc)
همچنین شما می توانید نقشه سایت را در این فایل مشخص کنید
نقشه سایت بیش از لیست آدرس ها در فرمت XML هست. در نقشه سایت می توان اطلاعات مربوط به صفحه ای خاص را مشخص کرد، مانند تاریخ آخرین تغییر (اگر وب سرور شما تاریخ تغییر محتوای را ذخیره ننماید)، و نیز فرکانس آن صفحه. همچنین نقشه سایت برچسب اولویت صفحه ای را که از نطر شما مهم است برای ربات مشخص می کند. اگرچه بطور کامل مشخص نیست که هر یک از موتورهای جستجو چقدر از این برچسب برای رتبه دهی استفاده می کنند. این سایت توضیحات کاملی در مورد نقشه سایت و همچنین قالب آن ارائه کرده است.
یکی از مواردی که باید توجه داشته باشید اینست که فایل robots.txt سایتها برای همه قابل دسترسی است؛ پس نباید شاخه ها و صفحات مهم در آن آورده شود، شما میتوانید برای دسترسی به چنین مواردی رمز عبور تعیین کنید.
شاید از خودتان بپرسید که فایل robots.txt در بهینه سازی چه نقشی دارد!؟ همانطور که می دانید الگوریتم رتبه دهی به سایتها برای کسی مشخص نیست ولی آنچه واضح است محتوا نقش قابل توجهی در آن دارد. شاید شما صفحات کم ارزشی از نظر رتبه دهی داشته باشید، پس بهتر است آنها را از دسترس رباتها خارج کنید تا رتبه سایت را پایین نیاورند.
در مطالب بعدی روشهایی متفاوت برای بهینه سازی سایت برای موتورهای جستجو اشاره خواهد شد.
ابزاری برای بررسی و رفع اشکال robots.txt
فایل راهنمای برخی از سایت های معروف: مایکروسافت، یاهو، گوگل، فیس بوک، توییتر و اپل
اگر می خواهید مطالب بعدی مهندیس را از دست ندهید؛ برای دریافت از طریق ایمیل اینجا کلیک کرده و یا مشترک فید مهندیس شوید
