رباتها و بهینه سازی سایت برای موتور جستجو – قسمت دوم

همانطور که در این پست گفته شد، شما می توانید با استفاده از robots.txt دسترسی بخشی از سایت را برای موتورهای جستجو محدود کنید. هدف از انجام این کار اینست که صفحه ای را که ارزش پایینتری از نظر الگوریتم رتبه دهی دارد از دسترس رباتهای (خزنده های) موتور جستجو خارج کنید یا حتی ممکن است شما نخواهید صفحه ای در موتورهای جستجو ظاهر شود! اگر شما بخواهید دسترسی به یک صفحه خاص را محدود کنید ولی نخواهید نام آن فایل در robots.txt بیاید، می توانید از دو روش برای انجام این کار استفاده کنید: نخست اینکه یک فولدر ساخته و صفحه مورد نظر را در آن  فولدر قرار دهید؛ حال بجای استفاده از نام فایل می توانید دسترسی به فولدر را در robots.txt محدود سازید. دومین روش استفاده از برچسب متای ربات (robots metatag) هست. موتور جستجو به فایل robots.txt رفته و نام صفحه شما را نمی یابد، سپس ربات به صفحه مورد نظر مراجعه می کند ولی با  برچسب متای ربات مواجه می شود که دسترسی به صفحه توسط آن محدود شده، پس از آن صفحه چشم پوشی می کند.

شکل کلی برچسب متای ربات بصورت زیر می باشد:

<meta name=»robots» content=»robots-terms»>

بجای عبارت robots-terms می توانید از noindex, nofollow, all, index , follow استفاده کنید. البته بزرگی و یا کوچک بودن حروف مهم نیست.

مفهوم noindex : ‌صفحه جاری توسط موتورهای جستجو فهرست نمی شود.

<meta content=»noindex»>

مفهوم nofollow: پیوندهای صفحه جاری توسط رباتها رهگیری نمی شوند.

<meta content=»nofollow»>

توجه داشته باشید که برای حالتهای index, follow  یا  all لازم نیست حتما از برچسب متای ربات استفاده شود چرا که این حالت رفتار پیش فرض رباتها می باشد.

<meta content=»index, follow»>
<meta content=»all»>

مفهوم index : موتورهای جستجواین ‌صفحه را فهرست می کنند.

<meta content=»index»>

مفهوم follow: رباتها پیوندهای صفحه جاری را رهگیری می کنند.

<meta content=»follow»>

اگر برچسب متای ربات در صفحه ای نیامده باشد و یا ویژگی content مقدار و یا مفدار معتبری نداشته باشد، رباتها آنرا در حالت index, follow  و یا all در نظر می گیرند.

این مطلب برای شما مفید بود!؟ مشترک مهندیس شوید تا مطالب بعدی را از دست ندهید. برای اشتراک از طریق ایمیل به اینجا رفته و آدرس ایمیلتان را وارد کنید و یا در فیدخوانتان فید مهندیس را اضافه کنید. نمی دانید فید چیست اینجا کلیک کنید.

Vote on iDevCenter

ابزاری برای بهبود سرعت سایت

ابزارهای مختلفی برای اندازه گیری وبهبود سرعت بارگذاری صفحه مانند Yslow 2.0 و Page Speed وجود دارد که پلاگینهایی برای افزونه FireBug فایرفاکس بوده و افراد زیادی از آنها استفاده می کنند ولی در این مطلب در مورد آنها صحبت نمی کنیم، بلکه با ابزاری بنام WebPagetest آشنا خواهیم شد.

از مهمترین مزیت های WebPagetest می توان به تحت وب بودن آن اشاره کرد که نیاز به نصب هیچ برنامه ای نیست و شما می توانید بر روی هر سیستم عاملی و با هر مرورگری آنرا اجرا کنید، البته نسخه دسکتاپ آن نیز از اینجا در دسترس است. در پشت صحنه، WebPagetest صفحه مورد نظر را در  IE7 و IE8 اجرا کرده و نتایج را برای شما نمایش می دهد. شاید شما هم تعجب کنید که چرا فقط IE !؟ همانطور که می دانید نمی توان سایت را منحصر به یک مرورگر کرد بنابراین باید برای مرورگرهای مختلف تست را انجام داد و این سایت فقط برای IE هست و برای بقیه مرورگرها باید از ابزارهای دیگری استفاده شود. هر چند نتایج بدست آمده از تست مهم بوده و شاید بتوان گفت در بیشتر مرورگرها مشترک است. WebPagetest صفحه شما را با سناریوهای مختلف تست می ‌کند تا برای شما مشخص سازد که  سرعت اجرای صفحه مناسب است یا خیر.

نحوه کار
برای انجام تست ابتدا باید به قسمت New Test رفته و آدرس صفحه مورد نظر را وارد کنید و دکمه ارسال را بزنید.

علاوه بر این تنظیمات دیگری هم می توانید انتخاب کنید تا تست شما برحسب آنها انجام گیرد تنظیماتی چون انتخاب موقعیت جغرافیایی، مرورگر، سرعت ارتباط اینترنت، تست بدون در نظر گرفتن Cache و یا با در نظر گرفتن آن،  تکرار تست تا ده بار، نمایش نتیجه تست برای دیگران.

New Test Web Pagetest
نتایج
گزارش خلاصه شامل زمانهای بارگذاری صفحه، بایتهای بارگذاری شده، تعداد درخواستها،  فشرده سازی، بهینه سازی تصاویر، الحاق اسکریپت ها و استایل شیت ها را نمایش می دهد. نمودار آبشاری از بخشهای جالب نتایج می باشد که روند بارگذاری اجزای صفحه و زمان هر کدام را نمایش می دهد . اگر بر روی نمودار آبشاری کوچک کلیک کنید می توانید تنظیمات آنرا تغییر دهید مثلا اندازه تصویر را تعیین کرده و یا درخواستی را حذف کنید.اگر شما تکرار چند باره را انتخاب کرده باشید، گزارشهای جداگانه ای برای هر بارگذاری خواهید داشت.

Summary results of web page test

گزارش تفضیلی شامل دو نمای آبشاری و ارتباطی و همچنین جزئیات بیشتری از قبیل زمان بارگذاری، درصد استفاده از پردازنده، پهنای باند مصرف شده، آدرس IP، محل جغرافیایی و حجم هر یک از اجزای صفحه می باشد.

Detailed Report of web page test tool

گزارش کارائی شامل امتیاز صفحه شما در شش معیار انداره گیری  و همچنین که توضیحات بیشتر در مورد هر معیار برای هریک از اجزای صفحه می باشد.

Performance review of web page test tool

در گزارش تفکیک محتوا، محتوای صفحه برای درخواستها و بارگذاری هر یک از اجزای صفحه بررسی شده است.

Content breakdown report of web page test tool

در گزارش تفکیک برحسب آدرس، سایتهایی که محتوای صفحه برای درخواستها و بارگذاری استفاده می کند بررسی شده است.

Content breakdown by domain report web page tool

از دیگر بخشهای جالب نتایج فیلم بارگذاری می باشد! شما می توانید تصاویری از مراحل بارگذاری را مشاهده کرده و در صورت انتخاب گزینه فیلم در ایجاد تست، فیلم بارگذاری سایتتان را مشاهده کنید. با انتخاب گزینه فیلم، WebPagetest چگونگی بارگذاری صفحه را بصورت اسلایدی از عکسها برای شما تولید می کند. شما می توانید زمان گرفتن عکس را 0.1، 0.5، 1 و 5 ثانیه تعیین کنید.

Filmstrip view report of web page test tool

همچنین پیامهای نوار وضعیت از دیگر گزارشها می باشد.

از دیگر امکانات WebPagetest می توان به ذخیره نتایج تست در سایت و نمایش نتایج تست برای دیگران و همچنین امکان مقایسه چند صفحه با یکدیگر ونیز مقایسه با تعدادی از سایتهای معروف اشاره کرد.

پی نوشت: نتیجه تست مهندیس

Vote on iDevCenter