عبارة عن برمجية تعمل في محرك البحث تقوم بتنزيل وفهرسة المحتوى من جميع أنحاء الإنترنت. الهدف منها معرفة ما تدور حوله كل صفحة على الإنترنت، بحيث يمكن استرداد المعلومات عند الحاجة إليها أي عند تنفيذ عملية استعلام أو بحث.
يُعرف الإنترنت، أو على الأقل الجزء الذي يصل إليه معظم المستخدمين، أيضاً باسم الشبكة العنكبوتية العالمية، حيث يأتي الجزء "www" في معظم عناوين الروابط على الإنترنت من هذه التسمية. وتمت تسمية روبوتات محرك البحث "العناكب"، لأنها تزحف في جميع أنحاء الويب، تماماً كما تزحف العناكب الحقيقية على شبكات العنكبوت.
يعد زحف العناكب إلى موقعك بشكل صحيح ضرورياً لتحسين محركات البحث. بالإضافة إلى تشخيص أخطاء الموقع، تشمل مزايا استخدام عناكب الويب ما يلي:
ترتبط عناكب الويب بتحسين محركات البحث بشكل وثيق. إذا لم تزحف العناكب على موقع ويب ما، فلا يمكن فهرسته ولن يظهر في نتائج البحث.
لهذا السبب، إذا أراد مالك موقع ويب الحصول على حركة مرور أصلية من نتائج البحث، فمن المهم جداً ألا يقوم بحظر عناكب الويب.
