تكنولوجيا وتقنية

كيفية إنشاء ملف Robots.txt مخصص بالتفصيل لتصدر نتائج البحث

تعرف علي كيفية إنشاء ملف Robots.txt مخصص لبرامج الزحف التابعة لمحركات البحث للوصول إليها علي موقعك الإلكتروني، وغالبا مايستخدم ملف روبورت لتجنب تحميل عبء زائد علي موقعك الإلكتروني من خلال طلبات الزحف.
حيث ملف جوجل روبورت يحدد الصفحات التي تريد ظهورها أو إخفائها في نتائج البحث علي جوجل.

ماهو ملف Robots.txt ؟

ملف Robots Txt هو ملف يتم إنشائة علي المجلد الرئيسي لموقعك والملف بدوره يقوم بإعطاء تعليمات وتوجيهات وأوامر لعناب البحث لتنظيم أرشفة الصفحات المهمة عبر موقعك أو الصفحات التي سيتم أرشفتها ويسمي بـRobots Exclusion Protocol.

حيث وظيفته الأساسية هي توجيه عناكب البحث للصفحات الأهم علي موقعك والتي سيتم أرشفتها، وكذلك أبعادهم عن الملفات الحساسة في موقعك والتي لاتريد أن تقوم محركات البحث بأرشفتها مثل صفحات الأدارة والأرشيف.

وملف جوجل روبورت يكون عام ويمكن لأي شخص مشاهدته ويكون علي المسار التالي “www.yourdoman.com/robots.txt”.

ويمكنك مشاهدة ملف robots.txt للموقع على الرابط https://mobilystore.net/robots.txt.

كيفية إنشاء ملف Robots txt

يمكنك إنشاء ملف روبورت وستقوم بتعيين جميع الصفحات التي لاتريد أرشفتها وتضع قبلها Disallow، حيث تختلف روابط الادارة في حال كنت تستخدم بلوغر أو منتدى.

حيث وضيفة العناكب الأن تدخل إلى موقعك بشكل سليم ولكن لا تقوم بأرشفة الصفحات التي قمت بمنعها لنفهم أن ملف robots.txt وظيفته الأولى هي منع العناكب من الدخول للصفحات الحساسة.

  • تقوم بإنشاء ملف نصي بصيغة txt على المجلد الرئيسي لموقعك بإسم robots ليكون اسم الملف الكامل هو robots.txt.
  • نقوم بمليء الملف بالأوامر التي نريد اعطائها لمحركات البحث.

تعرف أيضا علي طريقة تحميل برنامج ولفرام الفا رياضيات مجانا

كتابة أوامر ملف جوجل روبوت

كتابة أوامر ملف جوجل روبوت
كتابة أوامر ملف جوجل روبوت

بعد إنشاء ملف روبوت يمكنك حظر محركات البحث من الدخول إلي الصحفة وأرشفه محتوياتها وكذلك إعطاء تعليمات بالدخول وذلك عبر الملف.

User-agent: Googlebot

Disallow: /blog

السطر الأول نخبر محرك البحث جوجل بعدم ارشفة الصفحة blog او محتوياتها الفرعية من خلال تعليمة Disallow

يمكنك أيضاً إستخدام علامة النجمة (*) للدلالة عن “الكل” فمثلاً تريد ان يتم تطبيق هذه التعليمات على جميع محركات البحث سوف تستخدم هذه العلامة بدل كلمة Googlebotليصبح كالتالي:

User-agent: *

Disallow: /blog

تعرف أيضا أفضل 5 برامج معرفة اسم المتصل

تحميل ملف robots.txt جاهز

يمكنك تحميل ملف روبوت جاهز لموقعك وماعليك سوي تعديل أسم موقعك وتحميله للموقع فورا.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-includes/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /privacy-policy

Sitemap: https://www.yourdomain.com/sitemap_index.xml

طريقة تقديم ملفات Sitemap

يمكنك أيضا معرفة طريقة تقديم ملفات خرائط الموقع لتضمن أرشفة محتوي موقعك وذلك كالأتي:

  • قم بالدخول الي موقع Google search console.
  • من الشريط الجانبي اختر ملفات sitemap.
  • إدخل هذه الملفات كل ملف منفصل بنفس الترتيب مع تغيير www.example.com اللي رابط موقعك او مدونتك.

لا تنسي مشاهدة :   انهيار البتكوين أكبر العملات الرقمية إلي أدني مستوياتها أسفل 35 ألف دولار

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

زر الذهاب إلى الأعلى