ربات ها و بهینه سازی سایت برای موتورهای جستجو

با اینکه فایل robots.txt نقش مهمی در رتبه دهی موتورهای جستجو دارد اما اکثر سایتها فاقد آن هستند. اگر سایت شما فایل robots.txt ندارد، با خواندن این مقاله ساخت آن برایتان آسان خواهد بود، حتی اگر سایت شما فایل robots.txt داشته باشد خواندن این مقاله به شما کمک خواهد کرد تا فایلتان خطایی نداشته باشد.

موتورهای جستجو از دو طریق به سایت ها سرکشی می‌کنند، یا شما از طریق صفحه ای مشخص آنرا به موتور جستجو معرفی کرده اید و یا موتورهای جستجو از طریق سایتهای دیگر و دنبال کردن لینکها به سایت شما رسیده اند. اولین کاری که ربات بعد از شناسایی سایت شما انجام می دهد اینست که به دنبال فایلی با نام robots.txt در ریشه سایت شما می‌گردد. این فایل، ربات جستجوگر را برای سرکشی و یا عدم سرکشی صفحه یا صفحاتی از سایت راهنمایی می‌کند. این فایل بخش مهمی از سایت شما می باشد که نقشی مانند سیستم کنترل کننده ترافیک در یک شهر را دارد. همچنین این فایل نقش مهمی در جلوگیری از اسپم دارد، بطوری که دسترسی رباتهای مخرب را به محتوای سایت محدود می سازد تا امکان کپی برداری از کدهای سایت، اسناد وعکسهای شخصی شما به حداقل برسد. این راهنما همچنین از مصرف بیهوده پهنای باند جلوگیری می کند.

فایل robots.txt یک فایل ساده متنی بدون هیچ قالب خاصی است، البته باید توجه داشته باشید که نام فایل همگی با حروف کوچک ذخیره شده باشند.

robots.txt Sample

در تصویر بالا شکل ساده ای از فایل robots.txt را مشاهده می‌کنید که در آن User-agent نام ربات جستجوگر را مشخص می‌کند و علامت *  به مفهوم تمامی رباتها می باشد که عموما از آن استفاده می شود، هر چند شما می توانید نام رباتهای مورد نظرتان را بنویسید. Disallow تنها در یک سطر، مجوز دسترسی رباتها به تمام قسمتهای سایت می باشد. اگر می خواهید ربات دسترسی به هیچکدام از بخشهای سایت نداشته باشد کافیست یک اسلش(/) در مقابل Disallow اضافه کنید. برای روشن شدن مطلب در ادامه چند مثال آورده شده است.

دسترسی کامل به تمام قسمتهای سایت برای تمامی رباتها

robots.txt Sample

عدم دسترسی به قسمتهای مختلف سایت برای تمامی رباتها

robots.txt Sample

عدم دسترسی به بخشهای مشخصی از سایت برای تمامی رباتها

robots.txt Sample
عدم دسترسی به قسمتهای مختلف سایت برای ربات مشخص شده

robots.txt Sample

برای عدم دسترسی به یک صفحه از سایت می توانید از عبارت زیر استفاده کنید

robots.txt Sample

برای عدم دسترسی به نوع خاصی از فایلهای موجود در سایت می توانید از عبارت زیر استفاده کنید(مثلا برای فایلهای doc)

robots.txt Sample

همچنین شما می توانید نقشه سایت را در این فایل مشخص کنید

robots.txt sample

نقشه سایت بیش از لیست آدرس ها در فرمت  XML هست. در نقشه سایت می توان اطلاعات مربوط به صفحه ای خاص را مشخص کرد، مانند تاریخ آخرین تغییر (اگر وب سرور شما تاریخ تغییر محتوای را ذخیره ننماید)، و نیز فرکانس آن صفحه. همچنین نقشه سایت برچسب اولویت صفحه ای را که از نطر شما مهم است برای ربات مشخص می کند. اگرچه بطور کامل مشخص نیست که هر یک از موتورهای جستجو چقدر از این برچسب  برای رتبه دهی استفاده می کنند. این سایت توضیحات کاملی در مورد نقشه سایت و همچنین قالب آن ارائه کرده است.

یکی از مواردی که باید توجه داشته باشید اینست که فایل robots.txt سایتها برای همه قابل دسترسی است؛ پس نباید شاخه ها و صفحات مهم در آن آورده شود، شما می‌توانید برای دسترسی به چنین مواردی رمز عبور تعیین کنید.

شاید از خودتان بپرسید که فایل robots.txt در بهینه سازی چه نقشی دارد!؟ همانطور که می دانید الگوریتم رتبه دهی به سایتها برای کسی مشخص نیست ولی آنچه واضح است محتوا نقش قابل توجهی در آن دارد. شاید شما صفحات کم ارزشی از نظر رتبه دهی داشته باشید، پس بهتر است آنها را از دسترس رباتها خارج کنید تا رتبه سایت را پایین نیاورند.

در مطالب بعدی روشهایی متفاوت  برای بهینه سازی سایت برای موتورهای جستجو اشاره خواهد شد.

لیست کاملی از رباتهای جستجوگر

ابزاری برای بررسی و رفع اشکال robots.txt

فایل راهنمای برخی از سایت های معروف: مایکروسافت، یاهو، گوگل، فیس بوک، توییتر و اپل

Vote on iDevCenter

اگر می خواهید مطالب بعدی مهندیس را از دست ندهید؛ برای دریافت از طریق ایمیل اینجا کلیک کرده و یا مشترک فید مهندیس شوید

Advertisements

ابزاری برای بهبود سرعت سایت

ابزارهای مختلفی برای اندازه گیری وبهبود سرعت بارگذاری صفحه مانند Yslow 2.0 و Page Speed وجود دارد که پلاگینهایی برای افزونه FireBug فایرفاکس بوده و افراد زیادی از آنها استفاده می کنند ولی در این مطلب در مورد آنها صحبت نمی کنیم، بلکه با ابزاری بنام WebPagetest آشنا خواهیم شد.

از مهمترین مزیت های WebPagetest می توان به تحت وب بودن آن اشاره کرد که نیاز به نصب هیچ برنامه ای نیست و شما می توانید بر روی هر سیستم عاملی و با هر مرورگری آنرا اجرا کنید، البته نسخه دسکتاپ آن نیز از اینجا در دسترس است. در پشت صحنه، WebPagetest صفحه مورد نظر را در  IE7 و IE8 اجرا کرده و نتایج را برای شما نمایش می دهد. شاید شما هم تعجب کنید که چرا فقط IE !؟ همانطور که می دانید نمی توان سایت را منحصر به یک مرورگر کرد بنابراین باید برای مرورگرهای مختلف تست را انجام داد و این سایت فقط برای IE هست و برای بقیه مرورگرها باید از ابزارهای دیگری استفاده شود. هر چند نتایج بدست آمده از تست مهم بوده و شاید بتوان گفت در بیشتر مرورگرها مشترک است. WebPagetest صفحه شما را با سناریوهای مختلف تست می ‌کند تا برای شما مشخص سازد که  سرعت اجرای صفحه مناسب است یا خیر.

نحوه کار
برای انجام تست ابتدا باید به قسمت New Test رفته و آدرس صفحه مورد نظر را وارد کنید و دکمه ارسال را بزنید.

علاوه بر این تنظیمات دیگری هم می توانید انتخاب کنید تا تست شما برحسب آنها انجام گیرد تنظیماتی چون انتخاب موقعیت جغرافیایی، مرورگر، سرعت ارتباط اینترنت، تست بدون در نظر گرفتن Cache و یا با در نظر گرفتن آن،  تکرار تست تا ده بار، نمایش نتیجه تست برای دیگران.

New Test Web Pagetest
نتایج
گزارش خلاصه شامل زمانهای بارگذاری صفحه، بایتهای بارگذاری شده، تعداد درخواستها،  فشرده سازی، بهینه سازی تصاویر، الحاق اسکریپت ها و استایل شیت ها را نمایش می دهد. نمودار آبشاری از بخشهای جالب نتایج می باشد که روند بارگذاری اجزای صفحه و زمان هر کدام را نمایش می دهد . اگر بر روی نمودار آبشاری کوچک کلیک کنید می توانید تنظیمات آنرا تغییر دهید مثلا اندازه تصویر را تعیین کرده و یا درخواستی را حذف کنید.اگر شما تکرار چند باره را انتخاب کرده باشید، گزارشهای جداگانه ای برای هر بارگذاری خواهید داشت.

Summary results of web page test

گزارش تفضیلی شامل دو نمای آبشاری و ارتباطی و همچنین جزئیات بیشتری از قبیل زمان بارگذاری، درصد استفاده از پردازنده، پهنای باند مصرف شده، آدرس IP، محل جغرافیایی و حجم هر یک از اجزای صفحه می باشد.

Detailed Report of web page test tool

گزارش کارائی شامل امتیاز صفحه شما در شش معیار انداره گیری  و همچنین که توضیحات بیشتر در مورد هر معیار برای هریک از اجزای صفحه می باشد.

Performance review of web page test tool

در گزارش تفکیک محتوا، محتوای صفحه برای درخواستها و بارگذاری هر یک از اجزای صفحه بررسی شده است.

Content breakdown report of web page test tool

در گزارش تفکیک برحسب آدرس، سایتهایی که محتوای صفحه برای درخواستها و بارگذاری استفاده می کند بررسی شده است.

Content breakdown by domain report web page tool

از دیگر بخشهای جالب نتایج فیلم بارگذاری می باشد! شما می توانید تصاویری از مراحل بارگذاری را مشاهده کرده و در صورت انتخاب گزینه فیلم در ایجاد تست، فیلم بارگذاری سایتتان را مشاهده کنید. با انتخاب گزینه فیلم، WebPagetest چگونگی بارگذاری صفحه را بصورت اسلایدی از عکسها برای شما تولید می کند. شما می توانید زمان گرفتن عکس را 0.1، 0.5، 1 و 5 ثانیه تعیین کنید.

Filmstrip view report of web page test tool

همچنین پیامهای نوار وضعیت از دیگر گزارشها می باشد.

از دیگر امکانات WebPagetest می توان به ذخیره نتایج تست در سایت و نمایش نتایج تست برای دیگران و همچنین امکان مقایسه چند صفحه با یکدیگر ونیز مقایسه با تعدادی از سایتهای معروف اشاره کرد.

پی نوشت: نتیجه تست مهندیس

Vote on iDevCenter

موتور پاسخ به سوالات!

در چند سال گذشته از موتورهاي جستجو خيلي شنيديم  و اينكه  شركتهاي بزرگ مثل گوگل، ياهو و مايكروسافت بيشتر در اين زمينه تلاش مي كنند تا  از ديگري سبقت بگيرن. چندي پيش بود كه مايكروسافت موتور جستجوي جديد خود را با نام bing معرفي كرد تا در اين رقابت از ياهو و گوگل عقب نمونه. ولي اين دفعه ديگه نوبت ظهور يه موتور جستجوي جديد  نيست، اين دفعه يه سرويس جديد بايد معرفي مي شد كه تا الان كمتر كسي ازش شنيده يا استفاده كرده.

پاسخگويي به سوالات! البته اين فناوري قبلا هم وجود داشته ولي نه به اين شكل و شمايل و گستردگي پايگاه دانشي كه ميتونه به سوالات بيشتري جواب بده. اين استفان والفرام بود كه اين سرويس جديد رو معرفي كرد. خود والفرام ميگه كه يك موتور دانش محاسباتي هست ولي خيلي ها به اشتباه به والفرام به عنوان موتور جستجو نگاه ميكنن. چرا كه والفرام مثل موتورهاي جستجو سايتهاي مرتبط با كليدواژه حستجو رو نشون نميده بلكه با استفاده از پايگاه دانش خودش به كليدواژه(سوال) وارد شده پاسخ ميده.

والفرام به شما در رياضي، فيزيك، شيمي، زبان شناسي، كامپيوتر و وب، اجتماعي، اقتصادي، جغرافيا، نجوم و خيلي موضوعات ديگه كمك ميكنه، اينجا ميتونين موارد كامل و همچنين نمونه سوالهايي رو ببينين كه والفرام ميتونه به اونا جواب بده.

اگه نتيجه يه سوال رو در گوگل و والفرام باهم مقايسه كنيم به تفاوتهاي يك موتور جستجو با يك موتور پاسخگويي به سوالات پي مي بريم. موتورهاي جستجو چندصد هزار نتيجه براي جستجو ميدن ولي موتورهاي پاسخگويي مثل والفرام اگه بتونن جواب سوالتون رو ميدن و اگه نتونن ميگن كه اطلاعلات كافي ندارن. البته والفرام هر روز پايگاه دانش خودش رو به روز ميكنه و در حقيقت دايره معلوماتش رو زياد ميكنه، البته اين مطلب رو از پسوند آلفاي والفرام هم ميشه فهميد.
در آينده از والفرام  بيشتر خواهيم شنيد، شايد روزي برسه كه والفرام جاي موتورهاي جستجو رو بگيره

WolframAlpha