$User->is_logged_in:  bool(false)
$User->user_info:  NULL
$User->check_post:  object(stdClass)#6925 (18) {
  ["is_valid"]=>
  int(1)
  ["global_remaining_posts_to_view"]=>
  int(0)
  ["remaining_posts_to_view"]=>
  int(0)
  ["number_all_post"]=>
  int(0)
  ["number_post_read"]=>
  int(0)
  ["is_from_gifts_balance"]=>
  int(0)
  ["gifts_articles_balance"]=>
  int(0)
  ["all_gifts_articles_balance"]=>
  int(0)
  ["gifts_read_articles"]=>
  int(0)
  ["exceeded_daily_limit"]=>
  int(0)
  ["is_watched_before"]=>
  int(0)
  ["sso_id"]=>
  int(42639)
  ["user_agent"]=>
  string(9) "claudebot"
  ["user_ip"]=>
  string(13) "3.236.111.234"
  ["user_header"]=>
  object(stdClass)#7061 (41) {
    ["SERVER_SOFTWARE"]=>
    string(22) "Apache/2.4.57 (Debian)"
    ["REQUEST_URI"]=>
    string(73) "/technodad/%D8%B9%D9%86%D8%A7%D9%83%D8%A8-%D8%A7%D9%84%D9%88%D9%8A%D8%A8/"
    ["REDIRECT_HTTP_AUTHORIZATION"]=>
    NULL
    ["REDIRECT_STATUS"]=>
    string(3) "200"
    ["HTTP_AUTHORIZATION"]=>
    NULL
    ["HTTP_X_FORWARDED_PROTO"]=>
    string(5) "https"
    ["HTTP_CONNECTION"]=>
    string(7) "upgrade"
    ["HTTP_HOST"]=>
    string(19) "technologyreview.ae"
    ["HTTP_CDN_LOOP"]=>
    string(10) "cloudflare"
    ["HTTP_CF_IPCOUNTRY"]=>
    string(2) "US"
    ["HTTP_ACCEPT_ENCODING"]=>
    string(8) "gzip, br"
    ["HTTP_CF_RAY"]=>
    string(20) "866a73f83afb17b8-IAD"
    ["HTTP_CF_VISITOR"]=>
    string(22) "{\"scheme\":\"https\"}"
    ["HTTP_ACCEPT"]=>
    string(3) "*/*"
    ["HTTP_USER_AGENT"]=>
    string(9) "claudebot"
    ["HTTP_CF_CONNECTING_IP"]=>
    string(13) "3.236.111.234"
    ["PATH"]=>
    string(60) "/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
    ["SERVER_SIGNATURE"]=>
    string(79) "
Apache/2.4.57 (Debian) Server at technologyreview.ae Port 80
" ["SERVER_NAME"]=> string(19) "technologyreview.ae" ["SERVER_ADDR"]=> string(11) "172.18.0.18" ["SERVER_PORT"]=> string(2) "80" ["REMOTE_ADDR"]=> string(13) "3.236.111.234" ["DOCUMENT_ROOT"]=> string(13) "/var/www/html" ["REQUEST_SCHEME"]=> string(4) "http" ["CONTEXT_PREFIX"]=> NULL ["CONTEXT_DOCUMENT_ROOT"]=> string(13) "/var/www/html" ["SERVER_ADMIN"]=> string(19) "webmaster@localhost" ["SCRIPT_FILENAME"]=> string(23) "/var/www/html/index.php" ["REMOTE_PORT"]=> string(5) "58260" ["REDIRECT_URL"]=> string(33) "/technodad/عناكب-الويب/" ["GATEWAY_INTERFACE"]=> string(7) "CGI/1.1" ["SERVER_PROTOCOL"]=> string(8) "HTTP/1.1" ["REQUEST_METHOD"]=> string(3) "GET" ["QUERY_STRING"]=> NULL ["SCRIPT_NAME"]=> string(10) "/index.php" ["PHP_SELF"]=> string(10) "/index.php" ["REQUEST_TIME_FLOAT"]=> float(1710819751.954735) ["REQUEST_TIME"]=> int(1710819751) ["argv"]=> array(0) { } ["argc"]=> int(0) ["HTTPS"]=> string(2) "on" } ["content_user_category"]=> string(4) "paid" ["content_cookies"]=> object(stdClass)#7060 (3) { ["status"]=> int(0) ["sso"]=> object(stdClass)#7059 (2) { ["content_id"]=> int(42639) ["client_id"]=> string(36) "1d1883f4-87d0-4156-8903-e6ceb0cb4224" } ["count_read"]=> NULL } ["is_agent_bot"]=> int(1) }
$User->gift_id:  NULL

عناكب الويب Web Crawler (Spiders)

1 دقيقة

ما هي عناكب الويب؟

عبارة عن برمجية تعمل في محرك البحث تقوم بتنزيل وفهرسة المحتوى من جميع أنحاء الإنترنت. الهدف منها معرفة ما تدور حوله كل صفحة على الإنترنت، بحيث يمكن استرداد المعلومات عند الحاجة إليها أي عند تنفيذ عملية استعلام أو بحث. 

لماذا تسمى العناكب؟

يُعرف الإنترنت، أو على الأقل الجزء الذي يصل إليه معظم المستخدمين، أيضاً باسم الشبكة العنكبوتية العالمية، حيث يأتي الجزء “www” في معظم عناوين الروابط على الإنترنت من هذه التسمية. وتمت تسمية روبوتات محرك البحث “العناكب”، لأنها تزحف في جميع أنحاء الويب، تماماً كما تزحف العناكب الحقيقية على شبكات العنكبوت.

مزايا استخدام عناكب الويب

يعد زحف العناكب إلى موقعك بشكل صحيح ضرورياً لتحسين محركات البحث. بالإضافة إلى تشخيص أخطاء الموقع، تشمل مزايا استخدام عناكب الويب ما يلي:

  • عدم تأثيرها على أداء الموقع: تعمل برامج زحف الموقع في الخلفية ولن تبطئ موقعك عند الاستخدام، إذ لن تتدخل العناكب في مهامك اليومية ولن يكون لها تأثير على زوار الموقع.
  • إعداد التقارير المضمنة: تحتوي معظم برامج الزحف على ميزات إعداد التقارير أو التحليلات المضمنة، وتسمح لك بتصدير هذه التقارير إلى جدول بيانات إكسل أو تنسيقات أخرى.
  • قابلة للأتمتة: من الميزات الرائعة لبرمجيات عناكب الويب أنها تسمح باستخدام أدوات لأتمتة العمل والتقارير، ما يتيح لك تتبع أداء الموقع بانتظام دون الحاجة إلى سحب تقرير العناكب يدوياً في كل مرة.

عناكب الويب وتحسين محركات البحث SEO

ترتبط عناكب الويب بتحسين محركات البحث بشكل وثيق. إذا لم تزحف العناكب على موقع ويب ما، فلا يمكن فهرسته ولن يظهر في نتائج البحث.

لهذا السبب، إذا أراد مالك موقع ويب الحصول على حركة مرور أصلية من نتائج البحث، فمن المهم جداً ألا يقوم بحظر عناكب الويب.

Content is protected !!