Prolog.

Привіт...
Довго тримав в собі дану статтю, в основному вивчаючи людську психологію, переглядаючи можливості всіляких фільтрів та антиспам сервісів, а також читаючи коментарі до різноманітних антиспам флешмобів в інтернеті...

Отже - спам. Що це - розповідати було б смішно і п-а-д-о-н-к-і написали б - архі-б-а-я-н.
А розповім я про технології, так би мовити spam inside.

Знаю, що глянувши на лічильники даного веблогу можна одразу почати недовіряти тексту і Ваше право робити з цією інформаціює все, що Вам захочеться.

Вернусь до наших баранів.
На цю статтю частина людей буде дивитись із боку боротьби проти спаму, а частина - спамери.
І тих і тих я поважаю, Ви обрали свою позицію усвідомлено.
Враховуючи це - буду описувати методи спаму і методи антиспаму, хоча я особисто рахую, що найкращий метод антиспаму - премодерація+постмодерація одночасно.

Рiзновиди спаму.

• поштовий спам
• спам в трекбеках
• спам в пінгбеках
• referrer спам
• спам в коментарях
• блогспам
• пошуковий спам
• спам в рейтингах(TOP спам)
• спам в месенджерах
• javascript спам
• антиантиспам
• клоакінг
• rss спам (для пошуковиків)
• будь-які модифікації всіх вищеназваних

Список неповний і буду радий, якщо мені допоможуть його "наповнити".
Загалом можна переозначити поняття спаму... Це вже не тільки електронна пошта... Це щось небажане...

Почтовий спам - email-spam

Думаю з цим терміном знайомі всі користувачі інтернету... Просто небажана пошта, реклама, яку не замовляли, вкладення з вірусами. Особліво небезпечні варіанти ті, які втираються в довіру до користувача - в ідеальних випадках, якщо лист приходить наче від Вашого друга, або знайомого, іноді навіть із реальною електронною адресою друга... З цим я зустрічався в англомовному сегменті, де спамери набагато досвідченіші за наших і формують бази електронних адрес та зв'язки між ними.

Метод 1 - spyware

• Простий - Генерується електронний лист в основному автоматом, з використанням лівих електронних адрес, іноді з посиланням "Unsubscribe", яке приводить на якусь сторінку, що для спамера відображає факт - електронна адреса активна... Ніхто звичайно Вас не відпише, більше того - про Вас з допомогою спеціальніх скріптів можуть дізнатись додаткову інформацію(в основному GEO).

Росзилається такий спам в основному на дуже велику кількість електронних адрес з метою збору статистики.

• Складний - з метою збору цільової аудиторії та викрадання інформації. В даному випадку розсилаються сторінки, що мають характер троянських коней. Можуть повністю імітувати роботу відомих вебсервісів (Paypal, MSN, MySpace etcetera). В цьому випадку Вас намагаються "взяти на понт" і заставити Вас ввести персональні дані після переходу по посиланню...

• Листи щастя. Одна із методик збору реальних електронних адрес. В такому листі може бути зовсім безневинна інформація в вигляді набору класних картинок, анекдотів etcetera. Спамер відсилає таке повідомлення в надії, що його будуть багато разів пересилати (Forward) багатьом отримувачам, в результаті йому(спамеру), завжди будуть приходити копії з достатньою кількістю реальних електронних адрес.

• Спам-антиантиспам - лист складається з двох частин - текстової та графічної. Текстова частина може бути прихована методами HTML із розміром шрифта в 1 пункт, а головну інформацію несе відповідно картинка.

Відмічати дане повідомлення як спам в фільтрах необхідно лише після перевірки текстової частини... В основному там текст, який ніколи не вважається спамом і відмітивши цей лист як спам Ви послабите фільтруючі властивості Вашого антиспам фільтра.

• Антифільтр - спам, який пробиває ваш фільтр різноманітними методами. Один з них - наведений прикладом више, інші:
  • Некоректне вказування кодування в листі, щоб ваш фільтр не знайшов "спам" слів
  • Приховування тексту методами html
  
  • Використання в тексті популярних слів (Google, Microsoft, Compaq) англійською та подальший текст - Російською.
  • Навчання спамерами відомих фільтрів з метою зараження центрального репозиторія (Akismet, httpbl etcetera).

Метод 2(доброякісний) - adware

• Реклама цільових продуктів. Спамери, заробляючи гроші, знаходять клієнтів, що присилають Вам банальну рекламу. В основному проблем із такими листами немає.
• Спам повідомлення через Сервіси коротких повідомлень. Думаю кожен власник одного з ICQ, YahooIM. MSN IM, Jabber IM etcetera хоч один раз в житті зустрічався із повідомленням, яке неслов собі спам.
• Спам-посилання - приходить лист із Одним реченням-посиланням, що намагається привернути увагу цільової аудиторії.

Метод 3(комбінований) - spyware+adware

Тут вже спамери роблять різноманітні комбінації скажімо безневинної реклами та вірусу, або Листи щастя із словом-реченням, яке точно має характер спаму(воно візуально може навіть не відобразитись у Вас, приховане методами HTML) і націлене не пробій Вашого антиспам фільтру задля того, щоб наступне - реально спам повідомлення проскочило та відобразилось у Вас.

Як генерується spam

• Через недосвідченість деяких адмінів, що залишають відкритими почтові сервери, спамери можуть використовувати їхні сервери для розсилання ( Мав практику аналізу такого сервера )
• Використовуючи віруси трояни, а також rootkit-и спамери встановлюють на клієнстські машини(Windows) почтові сервери і з цих машин розсилають почту (Сам був нещодавно свідком такого взлому, безпосередньо в себе в офісі).
• Використовуючи помилки в відомому програмному забезпеченні вебсерверів та вебпрограм можуть ламати їх та записувати на сайт спеціальні скрипти, з допомогою яких можуть відправляти спам прямо з Вашого вебсайту. ( Мав практику безпосередньо на своєму вебхостінгу в минулому, коли зловмисник через дірку в відомому cms залив на вебсайт php скрипт)
• Купляється якийсь пробний і дешевий хостінг, через який розчисається спам аж до моменту, поки його не закриють.

Спам в Інтернет - internet-spam

Я спеціально відділив окремим пунктом цей спам, бо НМД - він проходить найбільш активну стадію розвитку зараз в Українському сегменті(і не тільки). Враховуючи доступну монетизацію інтернету, кожен більш-менш обізнаний з комп'ютерним світом починає оптимізацію своїх ресурсів, з яких заробляє гроші.

Спам в коментарях, trackback spam

Думаю кожен вебсервіс, в ядрі якого присутня вільна можливість дописування інформації відвідувачами, мав практику отримання такого спаму.

Мета спаму

Перша Мета - Посилання на сторінку, рейтинг якої спамер намагається підвищити.
Останнім часом з'явились дуже складні методи спаму, в результаті яких додається коментар дуже схожої тематики, в основному вручну, іноді дуже навіть по темі в розрахунку на те, що модератор не забанить даний допис і посилання буде працювати. Іноді посилання публікується звичайним текстом, в розрахунку на те, що користувачі перейдуть по ньому вручну.
Як боротись з таким спамом? Нажаль лише постмодерація + чорний список посилань та ключових слів.
Інша мета - антиантиспам. Якщо Ви натиснете на такому повідомленні - "помітити як спам", Ваш фільтр послабить свою пильність.

Заборонено використання автоматичних фільтрів типу Akismet, httpbl, bayesian базованих а також інших роботів, які аналізують контент та складають імовірність спаму. Якщо ви на такому повідомленні натиснете спам - Ваш фільтр почне ловити нормальні повідомлення.
Якщо ж Ви все-таки хочете покластись на "розум" робота - вмикайте премодерацію для повідомлень, впізнаних роботом і у випадку, якщо корисне повідомлення впізнано як спам - вчіть робота відповідним алгоритмом - "не спам", а повідомлення, що несе в собі характер спаму - просто видаляйте, або якщо воно несе в собі корисну інформацію - видаляйте ту його частину, що є безпосередньо спамом

Referer spam та спам в pingback-ах

Даний вид спаму розрахований на цільову аудиторію - власників вебсервісів, що мають доступ до статистики... В цьому випадку спамер відсилає в заголовках свого інтернет браузера поле Referer в якому вказує рекламне посилання з надією, що Ви, як користувач, що переглядає статистику, перейдете по посиланню.
Боротись з даним методом можна аналогічно - робити перенаправлення на вебсайт рекламодавця 8))). Хоча в більшості випадків такий спам генерується роботом і швидше за все на Ваше перенаправлення не буде жодної реакції.

Спам в trackback-ах

Даний вид спаму розповсюджений в основному в англомовному сегменті, через необізнаність користувачів - що таке трекбеки. Що воно є - можете прочитати на сторінках даного веблогу, а я продовжу розповідь про спам.
Спамери сканують роботами підряд всі вебсторінки на наявність rdf тегів і колекціонують їх у відповідні бази даних. Після цього відкритим методом посилають trackback ping POST пакет з надією, що модератор не побачить спам повідомлення і розмістить посилання на своєму ресурсі.
Боротьба - виключна премодерація + алгоритм Bayesian підключаєм в випадку з'явлення великої кількості корисних trackback-ів, але разом із режимом nofollow або redirect до моменту approve (дозволу на повноцінне публікування)

Блогспам - blogspam

Даний метод спаму націлений на пошуковиків та власників блогів та вебсервісів з присутніми коментарями. Ну пошуковики хай розбираються самі, а блогери практично в 100% потрапляють в пастки. Спамер досить часто - майже нормальна людина, що намагається замилити очі іншим, створивши, як правило, паразитуючий блог(агрегатор постів популярних блогів), або блог-клоакінг, який відображається Вам, як аналізуючому посилання(із відповідним referer) із відповідною тематикою та рекламою, дуже схожою до Вашої, але пошуковим сервісам він представляється як набір sape -подібних адрес, для рекламування та заробітку.

Як боротись?

• В обов'язковому порядку перевіряйте посилання в новому вікні браузера, вводячи адресу вручну, або копіюючи її з іншої сторінки. Таким чином на маленький відсоток зменшиться ймовірність підміни сайту в залежності від referer. Можна спробувати також замінити User-Agent заголовки на один з відомих роботів ( Google, Yahoo, ia_archiver тощо ), тоді ймовірність покращиться.
• Використовуючи spam-notspam фільтри натискаєте на правильних повідомленнях notspam

Як не боротись!

• Не вмикайте автоматичне видалення повідомлень, якщо воно впізнане як спам - ризикуєте потрапити в повну тишу, через старання зловмисників, які навчать Ваш фільтр видаляти все. Прикладом є блог http://ribel.org.ua, в базу фільтра BadBehavior  якого потрапила моя робоча IP адреса (через вірус на одній з машин корпоративної підмережі, що розсилав спам) і всі повідомлення банально не отримуються власником. Завжди давайте шанс повідомленням бути переглянутим перед ручним видаленням, бо існує ймовірність помилкового спрацьовування.
• Не розповсюджуйте глобально Вашу антиспам базу даних, як це роблять Akismet, httpbl, BadBehavior - Ви можете згарячу рубанути одне неспам повідомлення, а в результаті тисячу користувачів одного з інтернет провайдерів не будуть мати доступ до Вашого сайту і до великої кількості вебсайтів, які повірили глобальній базі даних, що не була перевірена англомовними адміністраторами.
• Не пишіть відкрито списки спам сайтів, які зустрічаються на Вашому сайті - зловмисники можуть відповісти Вам, написавши тисячі повідомлень від імені Вашого вебсайту на інших блогах і в результаті Ваш сайт потрапить в спамерську базу.

Як спамити?

• Коментуючи текст статті - пишіть нормальні коментарі, Нічого ж не вартує реально відповісти по темі так, щоб ніхто не запідозрив, що Ви - спамер. В результаті всі будуть довольні.
• Не намагайтесь Вписувати в поле імені користувача текст для розкрутки - в 99% його сприймуть як спам. Пишіть реальні або віртуальні дані - Скажімо Василь Іванович. Тоді Вас можуть не запідозрити, а пошуковики сприймуть Ваше посилання нормально.
• Не вкладайте в саме повідомлення посилання більше чим 1 - Запідозрять однозначно! Навіть одне - сприймається людиною дуже негативно.

Гм... Після прочитання Сам почав розуміти, що результатом виконання цих трьох правил буде Нормальне і живе повідомлення, що по суті своїй не буде спамом.

Spam в рейтингах

Маловивчений вид, але ним користуються багато людей... Скажімо

• Партнерські обміни лінками, в яких список формується в залежності від переходів від сайтів партнерів..

В цьому випадку спамери намагаються наклікати переходи до достатнього рівня, щоб відображатись в списку.

• TOP коментаторів.

Якщо у Вас на блозі присутній такий блок, то після попадання в нього спамер "заспокоюється" і перестає коментувати.

• ТОР вебсайтів.

Каталоги, рейтинги, голосування без реєстрацій - всі ці технології компрометували себе через можливість накручування різноманітними методами та скриптами, а також помилками і дірами в програмному забезпеченні, що підраховує голоси.

Як боротись?

Якщо аналізувати статистику переходів - то вони зроблені на протязі короткого часу і після досягнення результату закінчуються на весь наступний період до оновлення лічильників.
Взагалі будь-яка боротьба - полягає на human-базованому вивченні технології накруток, спаму, антиспаму, антиантиспаму тощо.
В Українському сегменті боротьба із глобальним спамом закінчується на банальній логічній україномовній Captcha, в зв'язку із малорозвинутістю  спеціальних спам-мереж та сервісів, в яких взломом алгоритмів займаються люди, отримуючи малесенький цент за розшифровування Captcha картинок.
Але не пройде і 1-2 роки, як і ми будемо заражені від нашого Молодшого Брата - Росії, які хоч і прикидуються, що не розуміють Української, але все ж вміють гарно спамити.

Коротко Epilog

Якщо хочете, щоб відкидались спамери, що полюють за посиланнями - зробіть посилання з Вашого вебсайту в частинах, до яких мають доступ користувачі без Вашого відома - неефективними (redirect), тоді Ви будете мати справу лише з цільовою аудиторію.
Крім того ведіть білий список, заохочуйте тих коментаторів, що коментують не тільки заради Власної вигоди та розкрутки власного сервісу - ставте на їхніх посиланнях rel="follow index".
Успіху Вам і сподіваюсь отримати українські неспам трекбеки