5-і 1 веб-сайтты қорғау: боттардан, талдаушылардан, SEO боттарынан, басу және осалдық сканерлерінен

Бүгінгі таңда іздеу жүйелері сайт иесінен тек сәйкес мазмұн мен жылдам сервер жауабын ғана күтеді. Маңыздысызаңды трафик  - жаппай «бос» кірулер, жалған бас тартулар және бұрмаланған мінез-құлық сигналдары болмайтын кірулер ағыны - сенімді қорғалған сайт.

Бірақ боттар, талдаушылар, агрессивті SEO боттары, кликтер және автоматты сканерлер сайтқа кіріп жатқанда, аналитика және іздеу жүйелері нақты пайдаланушыларды көрсетпейтін суретті көреді. Қайта шығу жылдамдығы өсуде, мінез-құлық факторлары нашарлауда, ал SEO және жарнамалық жұмыс әлсіз немесе теріс әсер етеді, тіпті жақсы мазмұн мен жарнамаға инвестициялар болса да.

Сайтты осы қызмет түрлерінен қорғамай, өсуорганикалық трафик төбеге жетеді: жүйе сіздің сайтыңызды адамдар үшін емес, адамдар мен автоматтандыру қоспасын бағалайды. Кейбір сарапшылар жүйенің сайтты бағалауды мүлдем тоқтатып, иесі іздеу нәтижелеріне әсер етуге тырысады деп есептейді немесе, негізінен, мүдделі сайттың трафигін сенімді түрде түсіну мүмкін еместігіне байланысты. Екінші жағынан, боттың жүктелуі серверді шамадан тыс жүктейді: PHP, дерекқор, диск, сеанстар. Мәселе хостингте емес, ресурстардың заңсыз немесе үздіксіз трафикке жұмсалуында болса да, кідірістерді, тайм-ауттарды және «сайт үнемі ілулі тұрғанын» сезінеді.

Егер сайт өспесе, сайтты қорғаусыз жасай алмайсыз. Сайт іздеу нәтижелерінде өсе бастағанда, олбірден өсуіңізді тоқтататын көптеген боттарды кездестіресіз.

Кешенді қорғау екі тарапты да қамтиды: таза аналитика және SEO сигналдары, сонымен қатар жүктелген кезде сайттың тұрақты жұмысы.

Төменде бір шешімдегі бес аймақ бар Талозияға қарсы қорғаныс және панельдің қауіпсіз өнімдері.

1. Сайтты боттардан қорғау

Түрлі ережелерге сәйкес блокталған боттардың журналы бар Talozion скриншоты.

«Боттар» автоматтандырылған келушілердің кең ауқымын білдіреді: қарапайым сценарийлер, басы жоқ браузерлер, алдау қызметтері, спам тіркеулері, форма brute force, каталог пен API-ге жаппай сұраулар.

Талозия бір белгіге сүйенбейді. Назарға алынды:

• жиілік пен белсенділік шектеулері - секундына, минутына, сағатына, күніне сұраулар; асып кетсе - уақытша тыйым салу, тексеру (CAPTCHA / JS-challenge) немесе қатаң блоктау;
• беттегі мінез-құлық - "адамгершілік" индексі, тінтуірдің қозғалысы, айналдыру, кешігулер (JS трекер арқылы);
• ішкі желілерді талдау - бір /24-тен аномальды белсенділік болса, бір IP ғана емес, бүкіл ішкі желі кесіледі;
• IP беделі, қара және ақ тізімдер, сұрау қолтаңбаларына негізделген эвристика.

Нәтижесінде, бот не сайттың ауыр логикасына жете алмайды, не серверде шексіз жүктемесіз «күдікті» сынақтан өтеді.

2. Талдаушылардан қорғау

Каталогты, бағаларды, сипаттамаларды және медианы талдау бір реттік сапар емес, мыңдаған сұраулар ағыны болып табылады. Тіпті үзілістері бар «ақылды» талдаушылар ұзақ мерзімді шектеулер мен тыйымдарға ұшырайды.

Talosion мақсаты – деректерді жинауды үнемді етумағынасыз:

• жылдам талдаушылар шектеулер мен тыйымдар арқылы кесіледі;
• баяу – ұзақ шектеулер (сағат/күн/апта) және қайталанатын тексерулер;
• CAPTCHA және блоктауды айналып өтуге тырысқанда, тану қызметтерінсіз автоматтандыру арзан масштабталмайды.

Сайтты талдауға болады, бірақ қымбат және баяу  - басқа дереккөзді іздеу оңайырақ. Бизнес иесі үшін бұл ассортиментті, бағаларды және бірегей мазмұнды қорғау.

3. SEO боттарынан (және мінез-құлық бұрмаларынан) қорғау

Иә. Metrica скриншоты және жыл бойына сайттың шығу жылдамдығыSeo-боттардан

қорғалған

Іздеу ауысуларына еліктейтін боттар бөлек сынып болып табылады: олар кіріп, бірден кетіп қалды, бас тартулар жасады және Metrica және алгоритмдердегі суретті бұзды.

Мұндағы жұмыс логикасы мұнараға ұқсас “Көрінбейтін қамқоршы”: аналитикалық сценарийлер (Yandex.Metrica және басқа есептегіштер) әр бару үшін бірден жүктелмейді . Алдымен келушілердің белсенділігі бағаланады- тірі пайдаланушының белгілері бар ма. Осыдан кейін ғана метрика қосылады.

«Жылтылдаған» және кетіп қалған боттар есептер бас тартумен толыққанды сапарлар ретінде кірмейді. Яндекс және сіз мінез-құлықты шынайы аудиторияға жақынырақ көресіз - бас тартулар аз, мінез-құлық факторлары таза, іздеу нәтижелерінде төмендететін жалған сигналдар аз.

Бұл SEO-ны алмастыру емес, бірақ  шарт, онда SEO және мазмұнды бәсекелестер мен сұр схемалардың фондық автоматтандыруы емес, адамдар бағалайды.

4. Басудан қорғау

<бstyle="text-align: center;"> Тарифті реттеу үшін Ya.Metrica/Ya.Direct-ке жүктеп салуға үміткерлер бар Talozion скриншоты. Скриншот көптеген келушілердің жоғары адамгершілікті көрсететінін көрсетеді. Ал бір күнде олар ондаған рет кіре алады. Бұл үміткерлерді өз бетінше анықтау мүмкін емес. Көрсеткіште олар қателермен көрінуі немесе «нашар» жұмыс істейтін жарнама белгілері болуы мүмкін.

Yandex.Direct және басқа арналардағы жарнама үшін сайтқа кіру ғана емес, сонымен қатар Metrica аудиториясының тазалығы да маңызды.

Talosion ережелерге сәйкес күдікті келушілерді анықтайды (агрессивті шертулер, «лезде» кетулер, сәтсіз тексерулер, жиі келулер және т.б.), оларды кезекте жинайды.және Yandex.Metrica -ке Direct-те минус үшін сегменттерге жүктейді. Режимдер: қолмен, кестеге сәйкес немесе ережелерге сәйкес (параметрлерге байланысты).

Бюджет заңсыз деп белгіленген адамдар үшін қайта сайлау өткізуді тоқтатады. Жарнаманы қорғау және аналитиканы қорғау бірге жұмыс істейді.

5. Осалдық сканерлері мен жұқтырғыштардан қорғау

Орнатылған клиенттің веб-сайтында вирустарды орналастыру үшін «саңылауларды» іздейтін лезде блокталған сканерлері бар Talozion скриншотыТалозион

Боттармен және талдаушылармен қатар осалдық сканерлерібар: URL дөрекі күші, GET/POST-тағы қауіпті параметрлер, RFI/RCE әрекеттері, күңгірттеу, сүзгіні айналып өту. Олардың мақсаты - бұзуға немесе зиянды кодты енгізуге есік табу.

Эвристика мұнаралары (IDS), шектеулер, қара тізімдер және қолтаңбаны блоктау іске қосылады. Күдікті IP кіре берісте, CMS және дүкен алдында кесіледі - сұраулар журналдарды толтырмайды және сайт механизмін мыңдаған пайдасыз сұраулармен жүктемейді.

Иесі үшін бұл қауіпсіздік және өнімділік: "сайттың артта қалуының" бірдей белгілері көбінесе сканерлеу толқынымен сәйкес келеді.серверге кесуге болады.

Talosion - бұл бір ғана "басқару тақтасындағы қолданбалы белгі" емес, бірақ ең жақсы тәжірибелер мен шектеулер: мінез-құлық, ішкі желілер, кейінге қалдырылған аналитика, басуға қарсы Metrica-мен интеграция, сканерлерге қарсы эвристика. Шешім өндірісте бір жылдан астам, оның ішінде жоғары жүктелген жобаларда - күніне жүздеген мың хит, сервер мен команда кірісте сүзгісіз шуға батып жатқанда.

Ауыр кәсіпорын WAF/CDN стектерімен салыстырғанда бюджет айырмашылығы жиі боладыЖылына он мыңдаған рубль мен өлшенеді, әдеттегі интернет-дүкен, каталог немесе PHP корпоративтік веб-сайты үшін салыстырмалы тапсырмамен: заңсыз трафикті өшіріңіз, заңды трафикті сақтаңыз және күн сайын миллиондаған трафикпен «базар алаңы сияқты» қорғаныс үшін төлем жасамаңыз.

Жалпы бес қауіп – оларды ең заманауи деңгейде жоятын бір жүйелік қолданба