چطور از ترافیک ناخواسته و ربات ها در وبسایت جلوگیری کنیم؟

جلوگیری از ترافیک ناخواسته یعنی فیلتر کردن بازدیدهای غیرواقعی و مزاحم — مثل ربات های مخرب، خزنده های تهاجمی و درخواست های اسپم — قبل از اینکه منابع سرور شما را مصرف کنند. اگر متوجه شده اید که پهنای باند یا مصرف CPU سرورتان بی دلیل بالا رفته یا آمار بازدیدتان غیرطبیعی شده، به احتمال زیاد با ترافیک ناخواسته روبرو هستید.

در این مقاله یک رویکرد لایه ای و به روز برای مقابله با این مشکل را مرور میکنیم: از کلادفلر به عنوان سپر اول در لبهٔ شبکه، تا قوانین فایروال و ریت لیمیتینگ، و در نهایت محافظت در سطح سرور و وردپرس. هدف این است که ترافیک بد را متوقف کنید بدون اینکه به کاربران واقعی یا رتبهٔ سئوی سایت آسیبی بزنید.

ترافیک ناخواسته چیست و چرا خطرناک است؟

ترافیک ناخواسته به هر بازدیدی گفته میشود که از کاربر واقعی نمی آید و ارزشی برای سایت شما ندارد. این ترافیک انواع مختلفی دارد: ربات های اسکرپر که محتوای شما را کپی میکنند، ربات های اسپم که فرم ها و بخش نظرات را پر میکنند، خزنده های تهاجمی سئو که منابع را می بلعند، و در بدترین حالت حملات brute-force و DDoS.

خطر این ترافیک فقط مصرف بیهودهٔ منابع نیست. ترافیک ناخواسته پهنای باند و CPU سرور را هدر میدهد، سرعت سایت را برای کاربران واقعی پایین می آورد، آمار تحلیلی شما را مخدوش میکند و در موارد جدی تر دروازه ای برای نفوذ و هک میشود. برای همین جلوگیری از آن هم به عملکرد و هم به امنیت سایت کمک میکند.

این موضوع به سئو هم گره میخورد؛ کندی ناشی از مصرف منابع توسط ربات ها میتواند تجربهٔ صفحه و در نتیجه رتبهٔ سایت را پایین بیاورد. اگر میخواهید بدانید سرعت و زیرساخت چطور بر رتبه اثر میگذارد، مطلب تاثیر هاست بر سئو کمک کننده است.

لایهٔ اول: کلادفلر به عنوان سپر لبه

موثرترین و به صرفه ترین راه، استفاده از یک شبکهٔ توزیع محتوا مثل کلادفلر است که به عنوان یک پروکسی معکوس جلوی سرور شما می ایستد. در این حالت همهٔ ترافیک اول به شبکهٔ کلادفلر میرسد و فقط درخواست های مجاز به سرور شما فرستاده میشوند؛ یعنی بخش بزرگی از ترافیک بد قبل از رسیدن به هاست فیلتر میشود.

حالت مقابله با ربات و بلاک ربات های هوش مصنوعی

کلادفلر در پلن رایگان قابلیت Bot Fight Mode را دارد که با یک کلید ساده، ترافیک منطبق بر الگوهای ربات های شناخته شده را به چالش میکشد. در پلن های Pro و Business نسخهٔ Super Bot Fight Mode کنترل بیشتری میدهد و میتوانید برای دسته های مختلف ربات (قطعا خودکار، احتمالا خودکار، ربات های تاییدشده) رفتار جداگانه تعریف کنید. یک گزینهٔ مفید تازه هم Block AI Bots است که جلوی خزنده های هوش مصنوعی را برای اسکرپ محتوای شما میگیرد.

قوانین WAF و ریت لیمیتینگ

برای کنترل دقیق تر، از قوانین سفارشی فایروال (WAF) و ریت لیمیتینگ استفاده کنید. ریت لیمیتینگ آی پی هایی را که بیش از حد طبیعی درخواست میفرستند به صورت خودکار کند یا مسدود میکند؛ این کار مخصوصا برای محافظت از صفحهٔ ورود در برابر حملات حدس رمز عالی است. یک نمونهٔ رایج برای وردپرس این است:

# مثال قانون ریت لیمیتینگ برای صفحه ورود وردپرس
Expression: http.request.uri.path eq "/wp-login.php" and http.request.method eq "POST"
When rate exceeds: 5 requests / 1 minute
Action: Managed Challenge

در سطح WAF هم میتوانید مسیرهای حساس مثل xmlrpc.php را که هدف رایج حملات است مسدود یا به چالش بکشید و برای مشتریان Enterprise، بر اساس امتیاز ربات (bot score) قانون بنویسید؛ مثلا درخواست های با امتیاز کمتر از 30 که ربات تاییدشده نیستند را بلاک کنید.

اجازه به ربات های خوب برای حفظ سئو

مهم ترین نکته هنگام مسدودسازی ربات ها این است که ربات های خوب را به اشتباه بلاک نکنید. خزنده های موتور جستجو مثل گوگل بات و بینگ بات و ابزارهای مانیتورینگ باید در فهرست مجاز (allowlist) باشند تا ایندکس و سئوی سایت آسیب نبیند. کلادفلر فهرستی از ربات های تاییدشده دارد که میتوانید به آن ها اجازهٔ عبور بدهید.

توصیهٔ عملی: از دستهٔ «قطعا خودکار» شروع کنید تا کمترین خطای مثبت کاذب را داشته باشید، چند روز اول لاگ ها را بررسی کنید تا مطمئن شوید موتورهای جستجو مسدود نشده اند، و ابزارهای مانیتورینگ و سرویس های شخص ثالث خودتان را هم در فهرست مجاز بگذارید.

لایهٔ دوم: محافظت در سطح سرور و وردپرس

کلادفلر سپر اول است، اما جایگزین امنیت سمت سرور نیست. حتی با یک لبهٔ قوی، باید سرور و سایت خودتان را هم محکم کنید تا اگر ترافیکی از سپر عبور کرد، مقاوم باشید. برای این کار چند لایهٔ مکمل وجود دارد.

در سطح سرور، یک فایروال برنامهٔ وب مثل ModSecurity یا ابزارهایی مثل Imunify360 درخواست های مخرب را فیلتر میکنند. در وردپرس هم یک افزونهٔ امنیتی معتبر مثل Wordfence میتواند فایروال، محدودسازی تلاش ورود و مسدودسازی آی پی های مخرب را فراهم کند. غیرفعال کردن یا مسدود کردن xmlrpc.php هم یکی از موثرترین کارها برای بستن یک مسیر پرخطر است. برای تنظیمات پایهٔ امنیتی سرور هم میتوانید چک لیست امن سازی اولیهٔ سرور را دنبال کنید.

مسدود کردن بر اساس کشور یا آی پی

اگر مخاطب سایت شما فقط از یک منطقهٔ جغرافیایی مشخص است، میتوانید ترافیک از کشورهایی که هیچ وقت از آن ها کاربر واقعی ندارید را به چالش بکشید یا مسدود کنید. همچنین اگر یک آی پی یا رنج آی پی خاص به صورت مکرر مزاحم شده، میتوانید آن را مستقیم بلاک کنید. این روش را با احتیاط به کار ببرید تا کاربر واقعی را از دست ندهید؛ بهتر است اول چند روز لاگ ترافیک را بررسی کنید و بعد تصمیم بگیرید کدام کشور یا آی پی واقعا منبع مزاحمت است، نه اینکه از ابتدا مناطق زیادی را ببندید.

وقتی ترافیک زیاد واقعی است: هاست مناسب

همهٔ ترافیک زیاد بد نیست. گاهی افزایش بازدید نشانهٔ رشد واقعی سایت شماست، نه حملهٔ ربات. تشخیص این تفاوت مهم است: ترافیک ناخواسته را باید فیلتر کنید، اما برای ترافیک واقعی و زیاد باید زیرساخت مناسب داشته باشید تا سایت کند یا از دسترس خارج نشود.

اگر سایت شما به صورت واقعی پربازدید است یا کمپین و فروش فصلی دارید، یک هاست پرقدرت مخصوص سایت های پربازدید انتخاب درستی است که منابع کافی برای پاسخگویی به کاربران واقعی را فراهم میکند. ترکیب درست این است: ترافیک بد را با کلادفلر و WAF ببندید و برای ترافیک خوب، هاست را به اندازهٔ کافی قوی نگه دارید.

از کجا شروع کنیم؟

برای پیاده سازی یک دفاع لایه ای موثر، این ترتیب ساده را دنبال کنید تا هم سریع نتیجه بگیرید و هم کاربر واقعی را از دست ندهید.

برای مطالعهٔ عمیق تر تنظیمات ربات و فایروال هم میتوانید به مستندات رسمی کلادفلر مراجعه کنید.

جمع بندی: جلوگیری از ترافیک ناخواسته یک کار یک باره نیست، یک دفاع لایه ای است: کلادفلر ترافیک بد را در لبه فیلتر میکند، قوانین WAF و ریت لیمیتینگ مسیرهای حساس را محافظت میکنند، و امنیت سطح سرور خط آخر دفاع است. با رعایت این لایه ها، منابع سرور شما برای کاربران واقعی آزاد میماند و امنیت سایت هم بالا میرود.

یادتان باشد ربات های خوب را مسدود نکنید تا سئو آسیب نبیند، و ترافیک واقعی و زیاد را با یک هاست مناسب پاسخ دهید، نه با بلاک کردن. تعادل بین امنیت و در دسترس بودن، کلید یک سایت سالم است.