ربات ها و بهینه سازی سایت برای موتورهای جستجو – قسمت سوم

اگر پیگیر مطالب مهندیس باشید، حتما قسمتهای اول و دوم این مقاله را مطالعه کرده اید. در قسمتهای قبلی چگونگی محدود سازی دسترسی ربات موتورهای جستجو برای بخشی از سایت و یا یک صفحه خاص توضیح داده شد. در این قسمت با نحوه محدود سازی سرکشی ربات ها برای یک لینک خاص آشنا می شویم.

ویژگی لینک Nofollow چیست؟ آیا همان برچسب متای Nofollow هست؟

افراد بسیاری با این سوال دچار اشتباه می شوند چرا که معتقد هستند تنها یک برچسب Nofollow وجود دارد. در صورتی که برچسب Nofollow دو کاربرد شبیه به هم ولی در محلهای مختلف دارد:

یک – برچسب متای Nofollow

دو – ویژگی  لینک Nofollow

همانطور که قبلا نیز اشاره شده است برچسب متای Nofollow برای راهنمایی موتورهای جستجو برای یک صفحه و تمامی لینک های موجود در آن صفحه بکار برده می شود.

ولی ویژگی  لینک Nofollow با افزوده شدن عبارت rel=”nofollow” به عنوان یکی از ویژگی های لینک استفاده می شود. این ویژگی ربات موتور جستجو را راهنمایی می کند تا یک لینک خاص رهگیری نشود. با یک مثال غیرفنی به اهمیت استفاده از چنین ویژگی پی می بریم. فرض کنید  یک صفحه وب سایت یا وبلاگ مانند سطلی پر از آب و لینک های آن صفحه مانند سوراخ هایی در سطل بوده و رتبه موتورهای جستجو به یک صفحه همانند آبی که در داخل سطل ریخته می شود، باشد. هر چقدر تعداد سوراخ ها بیشتر باشد آب سطل کمتر و در نتیجه رتبه داده شده نیز کمتر خواهد بود.

nofollow link attribute

حال باید تشخیص دهیم که کدام یک از سوراخها باید گرفته شود! نکات زیر کمک می کند تا بتوانید سوراخهایی که گرفته شوند را تشخیص دهید.

1. استفاده از ویژگی لینک Nofollow برای اسپانسرها و تبلیغات ها
حامیان و تبلیغات ها ممکن است همیشه با موضوع یک صفحه مرتبط نباشد. پس بهتر است که برای لینک آنها از ویژگی Nofollow استفاده کنیم.

2. استفاده از ویژگی لینک Nofollow در نظرات
لینک های مربوط به قسمت نظرات اهمیت مهمی در رتبه دهی به یک صفحه دارد، چرا که ممکن است لینک های داده شده به موضوع فعالیت وب سایت مرتبط نباشد

3. استفاده از ویژگی لینک Nofollow در لینک به سایت هایی که با فعالیت وبلاگ و یا سایت مرتبط نیست
هنگام لینک دادن به سایت های دیگر محتوای آنرا کنترل کنید تا در صورت مرتبط نبودن با فعالیت شما از ویژگی Nofollow در برچسب لینک استفاده نمایید.

4. استفاده از ویژگی لینک Nofollow برای لینک هایی که قابل رهگیری نیستند
برای لینک دادن به صفحاتی را که برای رهگیری به رمز عبور نیاز دارند، از ویژگی  Nofollow استفاده کنید.
این آخرین قسمت از سری مطالب آموزشی در مورد تاثیر ربات ها در بهینه سازی سایت برای موتورهای جستجو بود.

اگر شما هم علاقمند به افزایش رتبه سایت خود در موتورهای جستجو هستید!؟ مشترک مهندیس شوید تا مطالب بعدی در باره این موضوع را از دست ندهید. برای اشتراک از طریق ایمیل به اینجا رفته و آدرس ایمیلتان را وارد کنید و یا در فیدخوانتان فید مهندیس را اضافه کنید. اگر نمی دانید فید چیست اینجا کلیک کنید.

Vote on iDevCenter

Advertisements

رباتها و بهینه سازی سایت برای موتور جستجو – قسمت دوم

همانطور که در این پست گفته شد، شما می توانید با استفاده از robots.txt دسترسی بخشی از سایت را برای موتورهای جستجو محدود کنید. هدف از انجام این کار اینست که صفحه ای را که ارزش پایینتری از نظر الگوریتم رتبه دهی دارد از دسترس رباتهای (خزنده های) موتور جستجو خارج کنید یا حتی ممکن است شما نخواهید صفحه ای در موتورهای جستجو ظاهر شود! اگر شما بخواهید دسترسی به یک صفحه خاص را محدود کنید ولی نخواهید نام آن فایل در robots.txt بیاید، می توانید از دو روش برای انجام این کار استفاده کنید: نخست اینکه یک فولدر ساخته و صفحه مورد نظر را در آن  فولدر قرار دهید؛ حال بجای استفاده از نام فایل می توانید دسترسی به فولدر را در robots.txt محدود سازید. دومین روش استفاده از برچسب متای ربات (robots metatag) هست. موتور جستجو به فایل robots.txt رفته و نام صفحه شما را نمی یابد، سپس ربات به صفحه مورد نظر مراجعه می کند ولی با  برچسب متای ربات مواجه می شود که دسترسی به صفحه توسط آن محدود شده، پس از آن صفحه چشم پوشی می کند.

شکل کلی برچسب متای ربات بصورت زیر می باشد:

<meta name=»robots» content=»robots-terms»>

بجای عبارت robots-terms می توانید از noindex, nofollow, all, index , follow استفاده کنید. البته بزرگی و یا کوچک بودن حروف مهم نیست.

مفهوم noindex : ‌صفحه جاری توسط موتورهای جستجو فهرست نمی شود.

<meta content=»noindex»>

مفهوم nofollow: پیوندهای صفحه جاری توسط رباتها رهگیری نمی شوند.

<meta content=»nofollow»>

توجه داشته باشید که برای حالتهای index, follow  یا  all لازم نیست حتما از برچسب متای ربات استفاده شود چرا که این حالت رفتار پیش فرض رباتها می باشد.

<meta content=»index, follow»>
<meta content=»all»>

مفهوم index : موتورهای جستجواین ‌صفحه را فهرست می کنند.

<meta content=»index»>

مفهوم follow: رباتها پیوندهای صفحه جاری را رهگیری می کنند.

<meta content=»follow»>

اگر برچسب متای ربات در صفحه ای نیامده باشد و یا ویژگی content مقدار و یا مفدار معتبری نداشته باشد، رباتها آنرا در حالت index, follow  و یا all در نظر می گیرند.

این مطلب برای شما مفید بود!؟ مشترک مهندیس شوید تا مطالب بعدی را از دست ندهید. برای اشتراک از طریق ایمیل به اینجا رفته و آدرس ایمیلتان را وارد کنید و یا در فیدخوانتان فید مهندیس را اضافه کنید. نمی دانید فید چیست اینجا کلیک کنید.

Vote on iDevCenter

ربات ها و بهینه سازی سایت برای موتورهای جستجو

با اینکه فایل robots.txt نقش مهمی در رتبه دهی موتورهای جستجو دارد اما اکثر سایتها فاقد آن هستند. اگر سایت شما فایل robots.txt ندارد، با خواندن این مقاله ساخت آن برایتان آسان خواهد بود، حتی اگر سایت شما فایل robots.txt داشته باشد خواندن این مقاله به شما کمک خواهد کرد تا فایلتان خطایی نداشته باشد.

موتورهای جستجو از دو طریق به سایت ها سرکشی می‌کنند، یا شما از طریق صفحه ای مشخص آنرا به موتور جستجو معرفی کرده اید و یا موتورهای جستجو از طریق سایتهای دیگر و دنبال کردن لینکها به سایت شما رسیده اند. اولین کاری که ربات بعد از شناسایی سایت شما انجام می دهد اینست که به دنبال فایلی با نام robots.txt در ریشه سایت شما می‌گردد. این فایل، ربات جستجوگر را برای سرکشی و یا عدم سرکشی صفحه یا صفحاتی از سایت راهنمایی می‌کند. این فایل بخش مهمی از سایت شما می باشد که نقشی مانند سیستم کنترل کننده ترافیک در یک شهر را دارد. همچنین این فایل نقش مهمی در جلوگیری از اسپم دارد، بطوری که دسترسی رباتهای مخرب را به محتوای سایت محدود می سازد تا امکان کپی برداری از کدهای سایت، اسناد وعکسهای شخصی شما به حداقل برسد. این راهنما همچنین از مصرف بیهوده پهنای باند جلوگیری می کند.

فایل robots.txt یک فایل ساده متنی بدون هیچ قالب خاصی است، البته باید توجه داشته باشید که نام فایل همگی با حروف کوچک ذخیره شده باشند.

robots.txt Sample

در تصویر بالا شکل ساده ای از فایل robots.txt را مشاهده می‌کنید که در آن User-agent نام ربات جستجوگر را مشخص می‌کند و علامت *  به مفهوم تمامی رباتها می باشد که عموما از آن استفاده می شود، هر چند شما می توانید نام رباتهای مورد نظرتان را بنویسید. Disallow تنها در یک سطر، مجوز دسترسی رباتها به تمام قسمتهای سایت می باشد. اگر می خواهید ربات دسترسی به هیچکدام از بخشهای سایت نداشته باشد کافیست یک اسلش(/) در مقابل Disallow اضافه کنید. برای روشن شدن مطلب در ادامه چند مثال آورده شده است.

دسترسی کامل به تمام قسمتهای سایت برای تمامی رباتها

robots.txt Sample

عدم دسترسی به قسمتهای مختلف سایت برای تمامی رباتها

robots.txt Sample

عدم دسترسی به بخشهای مشخصی از سایت برای تمامی رباتها

robots.txt Sample
عدم دسترسی به قسمتهای مختلف سایت برای ربات مشخص شده

robots.txt Sample

برای عدم دسترسی به یک صفحه از سایت می توانید از عبارت زیر استفاده کنید

robots.txt Sample

برای عدم دسترسی به نوع خاصی از فایلهای موجود در سایت می توانید از عبارت زیر استفاده کنید(مثلا برای فایلهای doc)

robots.txt Sample

همچنین شما می توانید نقشه سایت را در این فایل مشخص کنید

robots.txt sample

نقشه سایت بیش از لیست آدرس ها در فرمت  XML هست. در نقشه سایت می توان اطلاعات مربوط به صفحه ای خاص را مشخص کرد، مانند تاریخ آخرین تغییر (اگر وب سرور شما تاریخ تغییر محتوای را ذخیره ننماید)، و نیز فرکانس آن صفحه. همچنین نقشه سایت برچسب اولویت صفحه ای را که از نطر شما مهم است برای ربات مشخص می کند. اگرچه بطور کامل مشخص نیست که هر یک از موتورهای جستجو چقدر از این برچسب  برای رتبه دهی استفاده می کنند. این سایت توضیحات کاملی در مورد نقشه سایت و همچنین قالب آن ارائه کرده است.

یکی از مواردی که باید توجه داشته باشید اینست که فایل robots.txt سایتها برای همه قابل دسترسی است؛ پس نباید شاخه ها و صفحات مهم در آن آورده شود، شما می‌توانید برای دسترسی به چنین مواردی رمز عبور تعیین کنید.

شاید از خودتان بپرسید که فایل robots.txt در بهینه سازی چه نقشی دارد!؟ همانطور که می دانید الگوریتم رتبه دهی به سایتها برای کسی مشخص نیست ولی آنچه واضح است محتوا نقش قابل توجهی در آن دارد. شاید شما صفحات کم ارزشی از نظر رتبه دهی داشته باشید، پس بهتر است آنها را از دسترس رباتها خارج کنید تا رتبه سایت را پایین نیاورند.

در مطالب بعدی روشهایی متفاوت  برای بهینه سازی سایت برای موتورهای جستجو اشاره خواهد شد.

لیست کاملی از رباتهای جستجوگر

ابزاری برای بررسی و رفع اشکال robots.txt

فایل راهنمای برخی از سایت های معروف: مایکروسافت، یاهو، گوگل، فیس بوک، توییتر و اپل

Vote on iDevCenter

اگر می خواهید مطالب بعدی مهندیس را از دست ندهید؛ برای دریافت از طریق ایمیل اینجا کلیک کرده و یا مشترک فید مهندیس شوید

ابزاری برای بهبود سرعت سایت

ابزارهای مختلفی برای اندازه گیری وبهبود سرعت بارگذاری صفحه مانند Yslow 2.0 و Page Speed وجود دارد که پلاگینهایی برای افزونه FireBug فایرفاکس بوده و افراد زیادی از آنها استفاده می کنند ولی در این مطلب در مورد آنها صحبت نمی کنیم، بلکه با ابزاری بنام WebPagetest آشنا خواهیم شد.

از مهمترین مزیت های WebPagetest می توان به تحت وب بودن آن اشاره کرد که نیاز به نصب هیچ برنامه ای نیست و شما می توانید بر روی هر سیستم عاملی و با هر مرورگری آنرا اجرا کنید، البته نسخه دسکتاپ آن نیز از اینجا در دسترس است. در پشت صحنه، WebPagetest صفحه مورد نظر را در  IE7 و IE8 اجرا کرده و نتایج را برای شما نمایش می دهد. شاید شما هم تعجب کنید که چرا فقط IE !؟ همانطور که می دانید نمی توان سایت را منحصر به یک مرورگر کرد بنابراین باید برای مرورگرهای مختلف تست را انجام داد و این سایت فقط برای IE هست و برای بقیه مرورگرها باید از ابزارهای دیگری استفاده شود. هر چند نتایج بدست آمده از تست مهم بوده و شاید بتوان گفت در بیشتر مرورگرها مشترک است. WebPagetest صفحه شما را با سناریوهای مختلف تست می ‌کند تا برای شما مشخص سازد که  سرعت اجرای صفحه مناسب است یا خیر.

نحوه کار
برای انجام تست ابتدا باید به قسمت New Test رفته و آدرس صفحه مورد نظر را وارد کنید و دکمه ارسال را بزنید.

علاوه بر این تنظیمات دیگری هم می توانید انتخاب کنید تا تست شما برحسب آنها انجام گیرد تنظیماتی چون انتخاب موقعیت جغرافیایی، مرورگر، سرعت ارتباط اینترنت، تست بدون در نظر گرفتن Cache و یا با در نظر گرفتن آن،  تکرار تست تا ده بار، نمایش نتیجه تست برای دیگران.

New Test Web Pagetest
نتایج
گزارش خلاصه شامل زمانهای بارگذاری صفحه، بایتهای بارگذاری شده، تعداد درخواستها،  فشرده سازی، بهینه سازی تصاویر، الحاق اسکریپت ها و استایل شیت ها را نمایش می دهد. نمودار آبشاری از بخشهای جالب نتایج می باشد که روند بارگذاری اجزای صفحه و زمان هر کدام را نمایش می دهد . اگر بر روی نمودار آبشاری کوچک کلیک کنید می توانید تنظیمات آنرا تغییر دهید مثلا اندازه تصویر را تعیین کرده و یا درخواستی را حذف کنید.اگر شما تکرار چند باره را انتخاب کرده باشید، گزارشهای جداگانه ای برای هر بارگذاری خواهید داشت.

Summary results of web page test

گزارش تفضیلی شامل دو نمای آبشاری و ارتباطی و همچنین جزئیات بیشتری از قبیل زمان بارگذاری، درصد استفاده از پردازنده، پهنای باند مصرف شده، آدرس IP، محل جغرافیایی و حجم هر یک از اجزای صفحه می باشد.

Detailed Report of web page test tool

گزارش کارائی شامل امتیاز صفحه شما در شش معیار انداره گیری  و همچنین که توضیحات بیشتر در مورد هر معیار برای هریک از اجزای صفحه می باشد.

Performance review of web page test tool

در گزارش تفکیک محتوا، محتوای صفحه برای درخواستها و بارگذاری هر یک از اجزای صفحه بررسی شده است.

Content breakdown report of web page test tool

در گزارش تفکیک برحسب آدرس، سایتهایی که محتوای صفحه برای درخواستها و بارگذاری استفاده می کند بررسی شده است.

Content breakdown by domain report web page tool

از دیگر بخشهای جالب نتایج فیلم بارگذاری می باشد! شما می توانید تصاویری از مراحل بارگذاری را مشاهده کرده و در صورت انتخاب گزینه فیلم در ایجاد تست، فیلم بارگذاری سایتتان را مشاهده کنید. با انتخاب گزینه فیلم، WebPagetest چگونگی بارگذاری صفحه را بصورت اسلایدی از عکسها برای شما تولید می کند. شما می توانید زمان گرفتن عکس را 0.1، 0.5، 1 و 5 ثانیه تعیین کنید.

Filmstrip view report of web page test tool

همچنین پیامهای نوار وضعیت از دیگر گزارشها می باشد.

از دیگر امکانات WebPagetest می توان به ذخیره نتایج تست در سایت و نمایش نتایج تست برای دیگران و همچنین امکان مقایسه چند صفحه با یکدیگر ونیز مقایسه با تعدادی از سایتهای معروف اشاره کرد.

پی نوشت: نتیجه تست مهندیس

Vote on iDevCenter

ده روش براي افزايش ترافيك سايت با ايجاد تغييراتي در كد

بهينه سازی موتور جستجو و يا سئو علم بسيار پيچيده اي است. در حالي كه هيچ كس نمي داند رتبه دهي گوگل به وب سايت ها دقيقا چگونه هست، در ادامه تعدادي از تکنيک های اثبات شده بيان مي شود.

سئوي خوب به عوامل مختلفي در وب سايت بستگي دارد، اما اغلب زماني كه شما به سئو فكر مي كنيد، شما احتمالا به محتوا و لينك هاي داخلي سايت فكر مي كنيد. اما آيا مي دانيد كه روشهاي مختلفي براي بهبود ترافيك و سئو با تغيير كد وجود دارد؟ افزايش ترافيك و رتبه بندی با تغيير كد به سه عامل زير بستگي دارد:

معاني: به نظر مي رسد گوگل رتبه بندي بالاتري به سايتهاي معتبر مي دهد، علاوه بر اين شانس كمتري براي خطاهاي اصلي كه باعث مشكل در ترجمه براي مرورگر و يا مشكلات بارگزاري كه باعث كاهش بازديدكنندگان مي شود، وجود دارد.

زمان بارگزاري: كاربران سايت شما 20 دقيقه  منتظر نمي شوند تا سايت بارگزاري شود، علاوه بر اين زمان بارگزاري كمتر باعث مي شود موتورهاي جستجو به آساني آنرا كاوش كنند

كلمات كليدي: همانند سئو، كلمات كليدي دركد سايت براي رتبه بندي خوب مهم است

در ادامه به چگونگي بهبود اين سه عامل در كد سايت براي افزايش ترافيك و حتي رتبه بندي سئو مي پردازيم

يك – اعتبار و معاني
معتبر بودن سايت و همچنين معناي صحيح نتايج مختلفي دارند كه در اينجا تنها به نتايج مرتبط با سئو اشاره مي كنيم.

زماني كه شما از استانداردهاي W3C براي معتبر ساختن سايتتان استفاده مي كنيد (من از XHTML 1.0 استفاده مي كنم) و از معناي صحيح استفاده مي كنيد، مانند كاهش تعداد كلاسها و استفاده از انتخابگرها و  عناصري با نامگذاري صحيح، باعث مزايايي در ترافيك مي شود كه عبارتند از:

كد كمتر: داشتن كد كمتر باعث بارگزاري سريعتر مي شود
رتبه بندي بهتر:‌ يك سايت معتبر رتبه بهتري بدون در نظرگرفتن محتواي آن دارد

دو – عناوين لينك ها و برچسبهاي alt
عنوان لينكها و برچسبهاي alt براي استانداردهاي دسترسي و براي بهبود سئو از طريق كلمات كليدي استفاده مي شوند. برچسب عنوان در هر لينك توضيحي در مورد لينك مي باشد اما بايد كلمه كليدي هم به آن اضافه شود. براي نمونه لينك به صفحه اصلي سايت asp.net مي تواند عنواني بصورت صفحه اصلي سايت طراحي و توسعه برنامه هاي تحت وب، آموزش و نمونه كدها  و يا هر كلمه كليدي كه بيانگر اهداف مورد نظر سايت هست داشته باشد. اين مطالب براي برچسبهاي alt براي عكسها نيز صادق است.  در هر صورت براي اعتبارسنجي به آنها نياز داريد، بنابراين از كلمات كليدي خوبي در آنها استفاده كنيد

سه – برچسب هاي عنوان سايت
برچسب هاي عنوان سايت، برچسب هايي هست كه در مرورگر در برگه ها و بالاي پنجره مرورگر مشاهده مي‌كنيد. اين مورد در رتبه بندي گوگل نقش مهمي دارد، بنابراين بايد از مهمترين كلمات كليدي و همچنين عناوين منحصر به فردي در هر صفحه استفاده كنيد

چهار – جايگزيني فلش با جي كوئري
سايتهاي فلش خيلي زيبا و جذاب هستند ولي گوگل از آنها چشم پوشي مي كند، اگر شما يك شركت بزرگ تجاري يا يك برند معتبر هستيد كه نيازي به رتبه بندي براي ترافيك بهتر نداريد از اين روش رد شويد. اگر شما سايت فلشتان را با جي كوئري جايگزين كنيد، نه تنها محتواي سايت توسط موتورهاي جستجو قابل خواندن خواهد بود بلكه محتواي صفحاتي كه از جي كوئري استفاده شده نيز در نظر گرفته خواهند شد. اين روش براي افرادي كه از برگه هاي جي كوئري براي سوئيج بين بلوك و محتواي متني بلند استفاده مي كنند، مفيد است.

پنج – بهينه سازي فايلهاي جاوا اسكريپت و CSS
بهينه سازي اين فايلها مي تواند تا حد زيادي به كاهش زمان بارگزاري و بار سرور منجر شود. چندين بهينه ساز رايگان در وب همانند JSO وجود دارد. همچنين فايلهاي JS بايد به چند فايل تقسيم شود، در اينصورت در هر صفحه فايلهايي  كه در آن صفحه استفاده نشده است، بارگيري نمي شود

شش – پيوند به كتابخانه جي كوئري گوگل
اين روش باعث كاهش بار بر روي سرور شما و كاهش زمان بارگيري سايت مي شود. همچنين كتابخانه جي كوئري گوگل بهينه شده است و از كتابخانه عادي جي كوئري كم حجم تر است. آدرس كتابخانه جي كوئري گوگل

هفت – رفع خرابي لينك ها و خطاهاي جاوا اسكريپت
تلاش مرورگر براي بارگيري فايلها و اسكريپتهايي كه وجود ندارند زمان بارگزاري را افزايش مي دهد.

هشت – برچسب هاي سربرگ
برچسب هاي سربرگ از نظر اهميت همچوم برچسب هاي عنوان محل بسيارخوبي براي افزودن كلمات كليدي هستند. سربرگ ها بايد بصورت ترتيبي استفاده شوند. بنابراين برچسب <h1> بايد شامل نام سايت و يا عنوان بخش و برچسب <h2> نشانگر نام صفحه و همچنين برچسب <h3> نمايانگر نام بخش هاي فرعي باشد.

نه – بهينه سازي كدهاي PHP
راههاي مختلفي برباي بهينه سازي كدهاي PHP بويژه براي كاهش زمان بارگزاري سايت وجود دارد:

متغيرها: اعلان متغيرها بيرون از حلقه ها كه باعث يكبار اعلان شده و تكرار نمي شوند

توابع: ارسال متغيرها با ارجاع به توابع به جاي ارسال كپي آنها

اشاره گر هاي فايل: هميشه آنها را ببنديد

ده – استفاده از فايلهاي htaccess
از فايلهاي htaccess براي تغيير نام صفحات استفاده كنيد(بويژه اگر از متغيرهاي PHP استفاده مي كنيد). كلمات كليدي مهم را كه با – جدا شده اند در آن قرار دهيد. شما همچنين مي توانيد براي هدايت كاربران به صفحات ديگر

سئو فقط كلمات كليدي نيست
در آخر بايد اشاره كرد كه سئوي خوب علاوه بر كلمات كليدي و لينك ها به پارامترهاي مختلفي بستگي دارد. زماني كه شما كدتان را تغيير مي دهيد، حقيقتا به سايتي با محتواي كم و بي ارزش كمكي نخواهيد كرد، زماني آن سايت يا وبلاگ بهبود خواهد يافت كه آنرا از ابتدا شروع كنيد.
روشهايي وجود دارد كه شما با تغيير در كد به ترافيك بهتر رسيده باشيد؟ شما از چه روشهايي استفاده مي كنيد؟

منبع: ترجمه اي آزاد از اينجا

Vote on iDevCenter