فایل robots.txt چیست و چگونه عمل می کند؟

4 / 10
از 2 کاربر

در این قسمت از طراحی سایت ، شما را با ربات های گوگل و فایل robots.txt آشنا می کنیم. ربات های وب (که به نام های سرگردانان وب، خزندگان یا عنکبوت ها نیز شناخته می شوند) به برنامه هایی می گویند که به صورت خودکار سراسر وب را می گردند و جستجو می کنند. موتورهای جستجویی نظیر گوگل از آنها برای محتوای درون وب استفاده می کنند و اسپمرها برای به دست آوردن ایمیل آدرس ها. آنها کارایی های بی شماری دارد.

توضیحات واضح در مورد فایل robots.txt

دارندگان سایت ها از robots.txt جهت معرفی ساختار سایتشان به ربات های سراسر وب استفاده می کنند.

یک مثال در ارتباط با چگونگی کارکرد این فایل: یک ربات جستجوگر مثل ربات گوگل قصد ورود به سایت شما را دارد تا موارد مورد نظرش چون خطاها، صفحات، محتوا، تصاویر و غیره را ایندکس کند. 

عبارت User-agent: * به معنای این است که این سایت و این دستور برای همۀ ربات ها یکسان است. و قسمت Disallow: / حاوی این پیام است که هیچ رباتی نباید هیچ قسمتی از این سایت را بررسی و مشاهده نماید.

دو نوع نگرش نسبت به استفاده کنندگان از robots.txt وجود دارد:

1.       ربات ها می توانند robots.txt شما را نادیده بگیرند! به خصوص آنکه ربات های مخرب، کارشان اسکن نمودن سراسر وب برای یافتن نقص های امنیتی، ایمیل آدرس ها و غیره است، کوچکترین توجهی به محتویات robots.txt ندارند.

2.       فایل robots.txt یک فایل در دسترس عموم می باشد. هرکسی می تواند ببیند که شما کدام قسمت را تمایل ندارید که ربات های دیگر ببینند.

*پس برای مخفی نمودن اطلاعاتتان با استفاده از robots.txt تلاش نکنید.

نحوۀ ساخت یک فایل robots.txt

کجا آن را قرار دهیم؟

پاسخ کوتاه: در بالاترین سطح دایرکتوری سرور سایتتان

پاسخ کامل: زمانیکه یک روبات به دنبال فایل robots.txt برای نشانی URL شما می گردد، به دنبال اولین اسلش پس از اکستنشن شما می رود و به صورت اتوماتیک عبارت robots.txt را قرار می دهد.

به همین خاطر شما به عنوان دارنده سایت می بایست این فایل را در مکان صحیح و جایی قرار دهید که در نتایج جستجو دیده شده و عمل نماید. معمولا این فایل را در جایی مشابه همان صفحه اصلی سایت (index.html) یا همان صفحۀ به اصطلاح خوشامدگویی قرار می دهند.

*فراموش نکنید که تمام حروف این فایل کوچک نوشته می شوند: صحیح: robots.txt ؛ غلط: Robots.TXT

چه چیزی در آن بنویسیم؟

فایل robots.txt یک فایل متنی است که از یک یا تعداد بیشتری از دستورات ساخته شده است. به صورت معمول شامل یک دستور شبیه به این می شود:

در مثال فوق شاهد 3 دایرکتوری محروم شده هستید که با استفاده از این 3 دستور، پیامی به ربات های سراسر وب ارسال می کند که به معنی عدم دسترسی ایشان به فایل های مشخص شده است.

توجه داشته باشید که برای محروم نمودن ربات ها به یک URL خاص، باید در هر خط مجزا یک دستور جدید را وارد نمایید. شما نمی توانید دستور Disallow: /cgi-bin/ /tmp/ را در یک خط وارد نمایید. همچنین نباید در مقابل یک دستور، خط را خالی بگذارید چراکه برای ربات این تصور می شود که دستور مورد نظر برای تمام وبسایت شما قابل اجرا است.

ضمنا شما نمی توانید به صورت منظم و نامنظم دستورات داخل فایل را با یکدیگر ادغام نمایید. برای مثال علامت "*" در فیلد User-agent به معنای آن است که دستورات وارد شده در مقابل این عبارت برای تمامی ربات ها لازم الاجراست. به طور مشخص و عینی شما نمی توانید دستوراتی چون User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif را در کنار همدیگر وارد نمایید.

بررسی دقیق نمایید که چه چیزهایی را نمی خواهید ربات ها ببینند. هرچیزی را که نمی خواهید آنها ببینند را به راحتی می توانید از دیدشان مخفی کنید. به مثال های زیر توجه بفرمایید:

خط فرمان به تمام ربات ها برای عدم دسترسی به کل سایت شما

خط فرمان به تمام ربات ها برای دسترسی به کل سایت شما

برای اجرای دستور فوق همچنین می توانید یک فایل robots.txt بدون متن بسازید و هیچوقت به سراغش نروید.

خط فرمان به تمام ربات ها برای عدم دسترسی به بخشی از سایت شما

خط فرمان به یک ربات خاص برای عدم دسترسی اش به کل سایت (برای مثال نام ربات "BadBot" است)

خط فرمان به تنها یک ربات خاص جهت دسترسی به کل سایت شما و عدم دسترسی سایر ربات ها:

خط فرمان به تمام ربات ها برای عدم دسترسی به تمام فایل ها به جز برخی از آنها:

یا برای مشخص نمودن دقیق یک نشانی و یا فایل می توانید از این دستورات استفاده کنید و نشانی دقیق را در باکس robots.txt وارد نمایید.

ارسال نظر و نظرات ثبت شده
امین :
11 1
خیلیییییی مفید ممنون
آموزش سئو مقدماتی
مقاله تاثیر سرعت بارگزاری وب پیج در سئو
مقاله افزایش سرعت وب سایت
مقاله نکات آموزش سئو
مقاله نحوه ثبت سایت در موتورهای جستجو
مقاله پیج رنک گوگل (Google PageRank) چیست؟
مقاله روش آشنا کردن مشتری با سئو
مقاله تکنیک های آسان و بدون هزینه سئو
مقاله چگونه در موتورهای جستجو رتبه بالاتری داشته باشیم
مقاله لیست سیاه موتورهای جستجوگر
مقاله دلایل مهم بودن بهینه سازی سایت
مقاله بهینه سازی تصاویر در طراحی سایت
مقاله راه های افزایش رتبه Author Rank
مقاله آیا ترافیک وب سایت در موفقیت وب سایت موثر است؟
مقاله اشتباهات رایج در بهینه سازی وب سایت
مقاله سرانجام پیج رنک گوگل
مقاله نگاه گوگل به تعداد صفحات سایت
مقاله "واکنش دستی" در گوگل وبمستر چیست؟
مقاله تاثیر محتوای تکراری بر سئو
مقاله چه لینک هایی از نظر گوگل غیر واقعی هستند؟
مقاله عدم دسترسی گوگل به سایت
مقاله الکسا، سئو و تولبار اختصاصی
مقاله حدود یکسال گذشت؛ تولبار پیج رنک به کجا رسید؟
مقاله کدام را انتخاب کنیم: سئو یا طراحی و بهینه سازی؟
مقاله نحوۀ جلوگیری از کپی تصاویر و مطالب سایت
مقاله انقلاب شبکه های اجتماعی
مقاله مراحل انتخاب کلمات کلیدی
مقاله چرا تنها داشتن گفتگوی مستقیم در سایتها کافی نیست؟
مقاله چرا وجود وبلاگ برای سایت مفید است؟
مقاله وبلاگ با بلاگفا فرق می کند
مقاله چگونه سایت خود را پر بازدید کنیم؟
مقاله چگونه بر چالش های پیش رو در وبلاگ نویسی غلبه کنیم؟
مقاله چرا باید صفحه اول گوگل باشیم؟
مقاله توجه گوگل به محتوای تازه
مقاله نکاتی برای سئوی صفحات بی پایان
مقاله روند تغییرات سئو در سال 2015
مقاله چگونه متوجه شویم چه کسی برای اولین بار مقاله ای را در اینترنت منتشر کرده است و کدام منبع اصلیست؟
مقاله تغییر در جایگاه رتبه در نتایج جستجوی گوگل
مقاله استفاده از https باعث بهبود رنکینگ سایت می شود
مقاله بهینه سازی سایت های چند زبانه
مقاله هاست ایران بهتر است یا هاست خارج از ایران؟
مقاله پاپ آپ چیست و چه تاثیری بر سئو دارد؟
مقاله آیا هر چه میزان بازدیدکننده از سایت بیشتر باشد گوگل رتبه ی بالاتری به سایت میدهد؟
مقاله چه کلمات کلیدی نیاز به سئو ندارند؟
مقاله تاثیر قدمت دامنه بر نتایج جستجو
مقاله Bold کردن کلمات کلیدی و تاثیر آن بر سئو
مقاله چگونه تگ گذاری کنیم؟
مقاله کلمات کلیدی و تاثیر آن سئو
مقاله چند سایت پربازدید که میتوانیم از آن ها بک لینک رایگان بگیریم
مقاله سئو داخلی سایت یا On Page Seo
مقاله راه های بهبود رتبه بندی سایت (Rank) در موتور جستجوی گوگل
مقاله اصطلاحات سئو
مقاله تاثیر وایبر بر بازاریابی و سئو
مقاله سئو چیست ؟
مقاله نقش robots.txt در سئو
مقاله سئو در طراحی سایت
مقاله روش های ساده انجام سئو
مقاله سئو در گذر زمان
مقاله مقدمه ای از سئو برای مبتدیان
مقاله صنعت سئو
آموزش سئو پیشرفته
مقاله اهمیت کلمات کلیدی در سئو
مقاله رتبه الکسا (Alexa Rank) چیست؟
مقاله لینک های nofollow و dofollow
مقاله قفل کردن www در آدرس url دومین
مقاله روش های ارتقا رنکینگ سایت
مقاله خطر سئوی زیاد برای سایت
مقاله افزایش رتبه سایت در الکسا چگونه است ؟
مقاله نکاتی برای پیشگیری از ایجاد اشتباه در بهینه سازی سایت
مقاله بک لینک چیست و در بهینه سازی سایت چقدر مهم است؟
مقاله روش های جلوگیری از کاهش رتبه سایت
مقاله Anchor Text در بهینه سازی سایت چه نقشی دارد
مقاله نکات قبل از ایجاد شبکه های اجتماعی
مقاله SMO چیست؟
مقاله نحوه عملکرد الگوریتم های گوگل
مقاله الگوریتم گوگل در نحوۀ ارائۀ موتور جستجو
مقاله اهمیت توضیحات متا در بهینه سازی سایت
مقاله خطای 404 از نگاهی دیگر
مقاله راهکارهایی برای بهینه سازی و سئوی سایت برای موبایل
مقاله چگونه از کپی شدن مطالبمان با کمک گوگل جلوگیری کنیم؟
مقاله وبمستر تولز به زبان ساده
مقاله فایل robots.txt چیست و چگونه عمل می کند؟
مقاله Captcha چیست؟
مقاله بخش Removal URL چیست و چه کاربردی دارد؟
مقاله همه آنچه که برای آنالیز آنلاین سئو نیاز داریم
مقاله چک لیست اصولی سئو: 4 مرحله برای بهینه سازی وبسایت
مقاله 10 وبسایتی که واکنشگرا نیستند (و احتمالا باید باشند!)
مقاله 10 راهکار مفید و مورد استفاده در گوگل آنالیتیکس
مقاله مراحل پیشرفت در کلمات کلیدی
مقاله شارپ وان چیست؟ چگونه شارپ وان شویم؟
مقاله آیا تحلیل سایت لازم است؟
مقاله نویسنده مهمان یا اسپمر پنهان؟
مقاله Exact Match Domain چیست؟
مقاله پینگ بک
مقاله تکنیک های سئو سیاه : کلوکینگ
مقاله رابطه سئو و AJAX
مقاله مهمترین روش های سئو سیاه که هرگز نباید استفاده کرد
مقاله CTR چیست؟ و چه تاثیری بر سئو دارد؟
مقاله تاثیر تغییر آدرس URL بر سئو
مقاله بهینه سازی فایل های CSS
مقاله تفاوت لینک طبیعی و غیرطبیعی چیست؟
مقاله سیاست های جدید لینک بیلدینگ
مقاله استفاده از iframe و تاثیر آن بر سئو
مقاله کلیک بر روی لینک و تاثیر آن بر سئو
مقاله تولید محتوا برای سایت های ریسپانسیو
مقاله اهمیت دیتابیس در سئو
مقاله کلمات کلیدی مخفی چیست؟
مقاله سئو در وب سایت های واکنش گرا
مقاله نکات سئو برای جذب ترافیک بیشتر سایت
مقاله ارتباط وب سایت های فلش با سئو
مقاله الگوریتم کبوتر گوگل
مقاله قوانین طلایی سئو محتوا شاه است
مقاله چگونه SEO و SEM برای ارائه نتایج با یکدیگر همکاری می کنند!
مقاله چرا محتوا برای سئو "شاه" است؟
مقاله آیا کلمات کلیدی و متا تگ ها هنوز مهم هستند؟
مقاله فاکتور های نوین در مدیریت محتوا
مقاله چگونه بک لینک های با کیفیت بالا و به روش مقیاس پذیر بسازیم
مقاله چگونه از بهینه سازی بیش از حد سایت خود جلوگیری کنیم
مقاله تعداد زیادی لینک بدون بازدید به رتبه بندی گوگل سایت شما آسیب نخواهد زد !
مقاله نرخ خروج و جهش سایت خود را کاهش دهید
مقاله بازدید مصنوعی و تاثیر آن بر رتبه بندیی سایت شما
مقاله سن وب سایت
مقاله 11 روش برتر برای ساخت URL به منظور بهبود سئو
مقاله چگونه فیلتر گوگل را در هنگام جستجو حذف کنیم
مقاله حذف فیلتر "سطح خواندن" گوگل
مقاله گوگل سایت های ناسازگار با تلفن همراه را مجازات می کند
مقاله راهنمای سئو 2015
مقاله چگونه از سایت ویکی پدیا و سایر سایت های ویکی بک لینک دریافت کنیم؟
مقاله جوانب مثبت و منفی صفحات اسپلش
مقاله الگوریتم دزدان دریایی گوگل (Google’ Pirate) چه تغییراتی کرده است؟
مقاله الگوریتم مرغ مگس خوار گوگل و ارتباط آن با سئو
مقاله بینگ در حال راه اندازی الگوریتم mobile-friendly
مقاله چگونه یک محتوای مناسب برای سئو بنویسیم
مقاله مقایسه سئو و ppc
مقاله به روز رسانی گوگل فاکتور جدید رتبه بندی Trustworthiness
مقاله سئو برای وب سایت های پارالاکس
مقاله بهینه سازی وب سایت های تک صفحه ای
مقاله سئو در یوتیوب
مقاله بهینه سازی موتورهای جستجو برای Yandex
مقاله به روز رسانی گراف دانش گوگل (Knowledge Graph) برای پروفایل رویدادها و رسانه های اجتماعی
مقاله HTTPS یکی از فاکتورهای رتبه بندی سئو است
مقاله گزارش جدید سئو در Google Webmaster Tools: تجزیه و تحلیل جستجو
مقاله بهینه سازی ترافیک حاصل از شبکه های اجتماعی
مقاله تاثیر گوگل پلاس بر سئو
مقاله گوگل برای داده های واقعی عمومی، منبع ارائه نمی دهد
مقاله 11 ابزار رایگان سئو برای بهبود موقعیت رتبه بندی سایت شما
مقاله دامنه های سطح بالای جدید چگونه بر رتبه بندی سئو سایت شما اثر می گذارند؟
مقاله نمایه سازی برنامه موبایل گوگل (Google Mobile App)
مقاله مطالعه بر روی ترافیک موتورهای جستجو
مقاله سئو عالی = بازدید بالا
مقاله علائم نشانه گذاری: فاکتور جدید رتبه بندی
مقاله اشتباهات رایج در شبکه های اجتماعی و راه های رفع آن
مقاله مقایسه سئو کلاه سیاه و کلاه سفید
مقاله چرا سئو باید در قلب هر استراتژی بازاریابی حضور داشته باشد؟
مقاله چه تگ هایی برای سئو مفید هستند؟
مقاله سئو و UX در طراحی سایت
مقاله 6 قانون سئو در سال 2016
مقاله تاثیر کلمه کلیدی بر سئو در سال 2016
مقاله ترفندهای ساده برای بهبود سئو در سال 2016
مقاله چگونه از ویکی‌ پدیا بک لینک بگیریم؟
مقاله 10 تله برای اجتناب در سئو سال 2016
مقاله تغییرات گوگل در سئو سایت شما موثر است
مقاله اهمیت سئو در طراحی سایت
مقاله عوامل تاثیرگذار بر رتبه بندی وب سایت ها در موتورهای جستجوگر
مقاله کمپین لینک سازی چیست
مقاله اشتباهات رایج در انتخاب عنوان مناسب برای سایت
مقاله بهینه سازی عناوین وب سایت
مقاله بونس ریت یا Bounce Rate
مقاله راهنمای گام به گام لینک سازی ( قسمت اول )
مقاله راهنمای گام به گام لینک سازی (قسمت دوم)
مقاله تاثیر لینک سازی بر سودآوری کسب و کار
مقاله معیارهای لینک سازی
مقاله ترفند های لینک سازی
مقاله عوامل موثر بر زمان تاثیر گذاری لینک سازی بر رتبه بندی
مقاله روش های ساده برای لینک سازی هدفمند
مقاله افزایش ترافیک وب سایت بدون لینک سازی
مقاله 5 اشتباه سئو که افراد باهوش مرتکب می شوند
مقاله 5 دلیل برای اینکه محتوای شما بک لینک نمی گیرد
مقاله ترفندهایی برای سئو قدرتمند
مقاله تاثیر نظرات بر سئو سایت
مقاله محتوا در سئو
مقاله نکاتی در مورد محتوا در سئو
مقاله اینفوگرافیک تاثیر سئو بر کسب و کار
مقاله اینفوگرافیک تاثیر شبکه اجتماعی بر سئو
مقاله روش های سئو سایت به صورت حرفه ای
مقاله ده نکته ی مهم سئو
مقاله قیمت سئو
مقاله چک لیست سئو
مقاله سئو کلاه خاکستری
مقاله ویژگی های سئو کار حرفه ای
مقاله سئو در سال 2017
مقاله سئو off page و تاثیر آن بر موفقیت طراحی سایت
مقاله نکات کلیدی سئو سایت برای یک استارت آپ
مقاله متا تگ های موثر در سئو
مقاله تغییرات سئو در فوریه سال 2017
مقاله راهنمای کامل سئو داخلی
مقاله چهار نکته مهم در سئو برای کسب و کارها
مقاله سئو مناسبتی
مقاله سئو تضمینی : شعار یا واقعیت
مقاله سئو در نقشه ی گوگل
مقاله سئو در طراحی فروشگاه اینترنتی
مقاله 4 نکته اساسی سئو 2017