RBL – шкода або користь?

Гірше спаму – тільки боротьба зі спамом
Народна мудрість

Що таке RBL

Сервіси RBL (Realtime Blackhole List) були першим ефективним
засобом боротьби зі спамом. Перший такий сервіс з'явився в 1997
році і досить швидко став популярним. Всі ці сервіси влаштовані
практично однаково – є список "поганих" IP-адрес, доступ
до якого здійснюється в реальному часі за протоколом DNS.
Використовують RBL поштові сервери в момент прийому чергового повідомлення
запитують сервіс (або кілька RBL-сервісів) про те, чи є IP-адреса
відправника листа "поганим", і, на підставі відповіді RBL, або приймають, або
відкидають лист. Більшість серверних поштових програм в даний
час можуть працювати з сервісами RBL.

Простота ідеї має і очевидний недолік – повідомлення
приймається або відкидається тільки на підставі IP-адреси
посилаєш боку (користувача або іншого поштового сервера).
У результаті, якщо якийсь поштовий сервер потрапив в
RBL-список, то пошта з цього сервера не приймається всіма поштовими службами,
використовують даний RBL. Хочеться ще раз підкреслити – не приймається
вся пошта з такого IP-адреси, як спам, так і "не спам" (звичайно ж,
можливі і більш м'які налаштування на приймаючій стороні, але на практиці
в більшості випадків повідомлення відкидається, якщо відправник потрапив
у використовуваний RBL-список
).

В даний час існує безліч різноманітних RBL-сервісів, що відрізняються,
в першу чергу, політикою їх адміністраторів. Існують як
"Екстремістські" сервіси (наприклад, blars.org, який обіцяє
поміщати в свій чорний список, зокрема, через загрозу судового переслідування),
так і більш помірковані – з добре визначеними правилами попадання
в чорний список і виходу звідти.

RBL-сервіси в даний час широко використовуються інтернет-провайдерами,
поштовими службами та організаціями. У багатьох випадках
якість RBL оцінюється за єдиним параметром – кількістю
спаму, який проходить через поштовий сервер. Якщо кількість спаму
вдається зменшити, даний RBL-сервіс вважається "хорошим". У той же час
є й інша, не менш важлива характеристика – скільки "Нормальних" листів
не потрапило до одержувачів.

Проблема помилкових спрацьовувань

Помилковим спрацьовуванням (False Positive) прийнято вважати той випадок, коли
нормальне лист (яке одержувач не вважала б спамом) до
одержувача не дійшло. Сам одержувач про це зазвичай не дізнається,
або дізнається по інших каналах зв'язку ("я тобі писав" – "а я нічого
не отримав "), тому проблему в багатьох випадках не помічає.

Вперше я зіткнувся з проблемою помилкових спрацьовувань влітку 2001 року,
коли чекав дуже важливого для мене E-mail повідомлення, але так його і не отримав.
Так як було відомо, що відправник його точно відправив, то я став читати лог-файли
своєї поштової системи і, до свого жаху, виявив, що лист було відкинуто,
так як поштова система відправника (поштовий сервер інтернет-провайдера)
перебувала в RBL-списку сервісу ORDB. Очевидно, що всі поштові системи,
використовували у той момент ORDB для фільтрації спаму, одночасно
не брали пошту від всіх клієнтів цього провайдера (не найменшого –
"Росія Он-Лайн"). Починаючи з цього дня, я не використовую сервіси RBL
для неприйняття пошти
– Втрати одного важливого для мене листи мені вистачило.

У той же час, багато інтернет-провайдери використовують RBL для неприйняття
(Шкідливою) пошти. В інтернет-співтоваристві поширена думка, що,
якщо не використовувати "екстремістських" RBL-сервісів, частка помилкових
спрацьовувань буде нікчемно мала (є й інші думки, наприклад "якщо хто-то
шле пошту з машини, що знаходиться в RBL, то це його проблеми ").
Одночасно автору доводилося чути, що "RBL у нас ловлять весь
спам. Ну, майже весь ". Обидва твердження потребують виваженої оцінки.

Як оцінити ефективність RBL і частку помилкових спрацьовувань

Як вже згадувалося вище, оцінити частку помилкових спрацьовувань RBL-сервісів
важко, тому що та пошта, на якій RBL хибно спрацював,
до одержувача не дійшла. Щоб оцінити ефективність у боротьбі зі
спамом, потрібно порівняти кількість відкинутого по RBL спаму
(Це відкинута пошта мінус помилкові спрацьовування) з кількістю
спаму пропущеного до одержувачів.

Таким чином, краще всього мати великі підбірки
пошти, відсортованої якимись іншими методами на "спам" і "не-спам".
Так вийшло, що у автора є подібний архів за досить
тривалий період, що й дало можливість провести оцінку.

У дослідженні використовувалися три групи повідомлень:

З усіх цих листів були витягнуті IP-адреси серверів, з яких
вони прийшли на мої системи, і перевірені по ряду списків
RBL. Дослідження проводилося 1 вересня 2003

Необхідно відзначити, що RBL – динамічні бази даних; IP-адреси,
які були у списку на момент прийому конкретного листа, можуть там вже не
перебувати, так само як адреси, які є зараз, могли не бути
в RBL на момент прийому листа. У той же час, варто очікувати,
що на порядок величини ефективності і помилкових спрацьовувань НЕ
змінилися.

У дослідженні брали участь два списки RBL з реальних
поштових систем. Ці списки були люб'язно надані учасниками розсилки
antispam@ofisp.org. Зміст цих списків і детальна
інформація про результати наведена в додатках.

Результати тестування

Ефективність лову спаму.

У добірці спаму було 17077 повідомлень, що прийшли з 9557
різних IP-адрес.

Ефективність лову IP-адрес вище, ніж повідомлень –
тобто IP-адреси, з яких йде багато спаму, мають більше шансів
потрапити в RBL. Ефективність по фільтрації спам-повідомлень не дуже висока –
трохи більше половини і трохи менше половини, відповідно.

Помилкові спрацьовування на "важливою" поштою.

У добірці важливою пошти було 6537 повідомлень, що прийшли
з 685 IP-адрес.

Іншими словами, при використанні цих списків RBL автор втратив
б кожне 40-60-е листа. З моїм обсягом листування – це два
важливих листи в день, що дуже багато.

Помилкові спрацьовування на всій не-спам поштою.

Вся вхідна пошта більш різноманітна, у збірці було
18928 повідомлень, що прийшли з 1401 IP-адреси.

Перший список RBL відсіяв 783 повідомлення (4.1%), другий – 440 повідомлень (2.3%).

Як бачимо, що ефективно працює проти спаму перший список
одночасно вбиває кожне 25-е легальне лист.

Висновок

Отримані автором цифри – не догма. Очевидно, що якщо ви отримуєте
пошту від невеликого кола адресатів, то ймовірність попадання їх
в чорні списки – мала. Чим ширше коло спілкування і чим далі він від
інтернет-спільноти, тим більше шансів у вашого кореспондента
опинитися в RBL-списках. Наведені в даному тексті цифри
потрібно розглядати тільки як зразкові – втрати легальної
пошти в середньому можуть сягати кількох відсотків.

У той же час, можливий і різке зростання числа втрат у вашому
конкретному випадку. Чим більш "екстремістські" RBL-сервіси
використовує системний адміністратор вашої поштової системи,
тим більше легальної пошти ви втрачаєте. Правда, спаму теж
приходить менше.

Для автора очевидно, що одиниці відсотків помилкових спрацьовувань
і лише близько половини відловленої спаму – це неприйнятні
на сьогодні характеристики для спам-фільтра. Прийнятні – це
частки відсотка (а краще – соті частки) помилкових спрацьовувань
і 80-90-95-98% виявленого спаму.

Додаток 1. Ефективність обраних RBL-сервісів

Як видно з наведених нижче таблиць, ефективність
RBL з ловлі спаму і кількість помилкових спрацьовувань пов'язані
безпосередньо. Чим ефективніше ловимо спам, тим "ефективніше"
ловимо нормальну пошту.

Ефективність лову спаму різними RBL-службами

RBL-сервіс Виявлено
IP-адрес
Виявлено
спам-повідомлень
t1.bl.reynolds.net.au 3025 4578
bl.spamcop.net 685 1298
blackholes.easynet.nl 2826 4236
dnsbl.njabl.org 2847 4207
list.dsbl.org 2968 4374
proxies.blackholes.easynet.nl 2553 3803
cbl.abuseat.org 2141 3408
proxies.relays.monkeys.com 1737 2613
dynablock.easynet.nl 1602 2445
sbl.spamhaus.org 285 666
comcast.blackholes.us 345 552
att.blackholes.us 199 314
relays.ordb.org 81 154
dul.ru 48 94
interbusiness.blackholes.us 61 80
bellsouth.blackholes.us 57 71
rogers.blackholes.us 35 50
qwest.blackholes.us 21 36
swbell.blackholes.us 0 0

Помилкові спрацьовування на "важливою поштою"

RBL-сервіс Виявлено
IP-адрес
Виявлено
повідомлень
t1.bl.reynolds.net.au 109 134
proxies.relays.monkeys.com 4 71
dynablock.easynet.nl 22 30
dul.ru 17 25
att.blackholes.us 7 13
dnsbl.njabl.org 7 8
list.dsbl.org 4 5
relays.ordb.org 2 3
bl.spamcop.net 2 2
blackholes.easynet.nl 2 2
proxies.blackholes.easynet.nl 2 2
interbusiness.blackholes.us 1 1
cbl.abuseat.org 1 1

Помилкові спрацьовування на всій не-спам поштою

RBL-сервіс Виявлено
IP-адрес
Виявлено
повідомлень
blackholes.easynet.nl 49 350
proxies.relays.monkeys.com 25 327
t1.bl.reynolds.net.au 121 170
dynablock.easynet.nl 79 128
dnsbl.njabl.org 56 122
list.dsbl.org 65 89
dul.ru 73 83
att.blackholes.us 14 67
proxies.blackholes.easynet.nl 43 49
sbl.spamhaus.org 12 45
relays.ordb.org 5 21
comcast.blackholes.us 2 16
cbl.abuseat.org 7 7
interbusiness.blackholes.us 4 6
bl.spamcop.net 5 5
qwest.blackholes.us 4 4
bellsouth.blackholes.us 1 1

Додаток 2. Використані списки RBL

Список RBL 1

lds.net.au
bl.spamcop.net
blackholes.easynet.nl
dnsbl.njabl.org
list.dsbl.org
proxies.blackholes.easynet.nl
dynablock.easynet.nl
sbl.spamhaus.org
comcast.blackholes.us
att.blackholes.us
qwest.blackholes.us
bellsouth.blackholes.us
rogers.blackholes.us
interbusiness.blackholes.us
swbell.blackholes.us
dul.ru
relays.ordb.org

Список RBL 2

bl.spamcop.net
proxies.relays.monkeys.com
blackholes.easynet.nl
list.dsbl.org
cbl.abuseat.org
+ Список IP-адрес і мереж наданий окремо

Обидва списки використовуються реальними інтернет-сервісами

 

Схожі статті:


Сподобалася стаття? Ви можете залишити відгук або підписатися на RSS , щоб автоматично отримувати інформацію про нові статтях.

Коментарів поки що немає.

Ваш отзыв

Поділ на параграфи відбувається автоматично, адреса електронної пошти ніколи не буде опублікований, допустимий HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

*

*