نحوه سئو کردن فایل robots.txt

یعنی شما اگر قسمتی از صفحات سایتتون را برای موتورهای جستجو و کاربران مناسب نمی بینید،باید در این فایل مشخص کنید که موتورهای جستجو به این بخش راه پیدا نکنند.البته با متاتگ NOINDEX و همچنین پسورد گذاری پوشه ها در فایل .htaccess هم میشه این کارو کرد!

حالا چرا فایل robots.txt برای سئو مهم و ضروری می باشد؟

به دلیل این که برای ربات های گوگل و بینگ robots.txt مهم است. این فایل به دلیل این که اجازه می دهد سایت های جستجو مانند : گوگل و یاهو و یا بینگ محتویات سایت شما را ایندکس کند یا ایندکس نکند حائز اهمیت می باشد.

آیا واقعا به فایل robots.txt نیاز داریم؟

بله سایت شما برای این که گوگل یا … بتوانند این صفحه را ایندکس کنند نیاز به فایل Robots.txt دارد تا فایل روبات نباشد گوگل یا … نمی توانند به صفحه اصلی یا ایندکس سایت شما دسترسی داشته باشند و معمولآ اگر که در هاست خود فایل robots.txt نداشتید باید یک فایل جدید بسازید و نام آن را روبات بگذارید.

چگونه از فایل robots.txt استفاده کنیم ؟

قالب بندی این فایل در واقع بسیار ساده است .در اولین خط معمولا نام یک user agent قرار دارد .  user agent در واقع نامی است که روبات جستجوگر میخواهد با سایت شما ارتباط برقرار کند ، برای مثال روبات گوگل یا روبات بینگ که با نام های botgoogle , botbing مشخص است . شما میتوانید برای اینکه شامل تمامی روبات ها شود ریسک کنید و از * استفاده کنید .

خطوط بعدی مربوط به اجازه دادن یا ندادن به موتورهای جستجوگر جهت بررسی پوشه های سایت است .

تمامی موتورهای جستجو با مشاهده علامت * دیگه به پوشه هایی که شما مشخص کردید وارد نمیشن.البته شما میتونید این محدودیت را فقط برای یک یا چند روبوت جستجوگر بزارید.کد زیر نمونه ای از فایل robots.txt هستش:

[codesyntax lang=”php”]

[/codesyntax]

در این فایل همه روبوتهای جستجوگر از دسترسی به پوشه ی wp-admin و صفحه wp-content و… منع شده اند.

شما اگه در خط اول بجای * اسم روبوت مربوطه را بنویسید،اون روبوت از ورود منع میشه.

البته دوستانی که با برنامه نویسی آشنایی ندارند،لازم نیست این فایل را دستکاری کنند و میتونند از طریق فرم سفارش سئو سایت  در خواست فایل روبات مربوط به سایت خود را ثبت کنید تا به صورت اختصاصی این فایل برای شما نوشته شود تا به رتبه شما صدمه ای وارد نشود.