| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
 Добавлено: Вс Авг 26, 2007 1:59 am Заголовок сообщения: |
 |
|
| nospam писал(а): |
Это правило срабатывает у меня на половину -
при условии что в поле "кому" не мой адрес , а в поле "адрес" тоже что-то написоно- то срабатывает (если смотреть по журналу фильтрации),
а если в поле "кому" не мой адрес , а в поле "адрес" пусто то не срабатывает ! пробовал на v2607 и v2502....
и вообще мой спамер может слать такие письма что вообще нет строки to в заголовке письма - это можно увидеть в текстовом просмотре если нажать F9 на принятом пмсьме... |
Если в журнале фильтрации в поле "Адрес" пусто, значит в заголовках письма нет информации в какой конкретно почтовый ящик пришло данное письмо. Так что в общем логично что правило на таких письмах не срабатывало.
В последней версии 2.6.0.9 плагин самостоятельно добавляет в заголовок письма адрес почтового ящика в виде поля "Received: for <mailbox@domain.ru>". Адрес берется из настроек учетной записи в плагине. В случае если домен сервера в настройках отличается от домена в адресе почтового ящика (например адрес mailbox@yandex.ru, POP3 сервер - pop.yandex.ru, логин - mailbox), то нужно прописать и в TheBat и в плагине полный адрес почтового ящика в качестве логина. Т.е. нужно к логину добавить домен. Если логин был mailbox, то будет mailbox@domain.ru. Тогда плагин будет добавлять в заголовок письма правильный адрес mailbox@domain.ru, а не логин@сервер. Если в письме уже указан адрес почтового ящика в поле Received, то оно будет использовано в правиле. Иначе будет использоваться поле которое добавил плагин.
Кстати если поля TO или CC пустые или в них нет адресов, то правило тоже должно срабатывать, т.к. указанного в условии адреса не найдено. |
|
| Вернуться к началу |
|
 |
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Вс Авг 26, 2007 2:03 am Заголовок сообщения: |
|
|
| NapA писал(а): | nospam
Сделай так:
Создай правило в черном списке и внутри этого правила создай условия.
not Header {To} =~ adress1@domain\.com
not Header {To} =~ adress2@domain\.com
not Header {To} =~ adress3@domain\.com
not Header {To} =~ adress4@domain\.com
not Header {To} =~ adress5@domain\.com
not Header {To} =~ adress6@domain\.com
и т.д для всех адресов.
Если не захочешь получать письма, например, на адрес adress4@domain\.com, то просто сними с этого условия галку. |
Это опасное правило. Все письма будут удаляться из постового ящика если забыть добавить его адрес в список. Кроме этого удалятся письма с правильным адресом в CC. |
|
| Вернуться к началу |
|
|
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Вс Авг 26, 2007 2:05 am Заголовок сообщения: |
|
|
| NapA писал(а): | | Цитата: | | Это правило срабатывает у меня на половину |
Все правильно. Правило срабатывает когда удовлетворены все условия или одно условие сильное.
Чтобы правило работало всегда, создай одно условие для заголовка "To" или отметь это условие как сильное. |
Ни в коем случае не надо так делать. Правило удаляет только те письма, которые пришли на определенный адрес, но не содержат его в полях To и CC. Если фильтровать только по полю To, то удалятся все письма из других почтовых ящиков и письма с правильным адресом в поле CC. |
|
| Вернуться к началу |
|
|
nospam
Зарегистрирован: 14.08.2007
Сообщения: 20
|
| Добавлено: Чт Авг 30, 2007 2:03 pm Заголовок сообщения: |
|
|
Теперь  |
|
| Вернуться к началу |
|
|
pivasik
Зарегистрирован: 30.10.2007
Сообщения: 4
|
| Добавлено: Вт Окт 30, 2007 1:15 am Заголовок сообщения: |
|
|
Добавьте в окошко ввода правил поле для тестирования активной совокупности или отдельного правила - это намного упростит составление. А по поводу внешней утилиты (RegExpCheck) - или выкинуть ее или хотя бы добавить обработку модификаторов для регулярного выражения: не понимает она, если написать /viagra/i, например.
Как вариант сделать на сервере базу регулярных выражений, которая будет пополняться разработчиками или желающими (тыкнуть кнопку после создания правила, чтоб расшарить правило с другими пользователями). Вновь закачанные с сервера правила изначально неактивны. Плюс так можно апдейтить старые правила. |
|
| Вернуться к началу |
|
|
pivasik
Зарегистрирован: 30.10.2007
Сообщения: 4
|
| Добавлено: Вт Окт 30, 2007 1:25 am Заголовок сообщения: |
|
|
Сделать для тестового режима возможность показывать коэффициент для письма, на которое наведен "прицел" или активного. А также дополнительую информацию - какое правило сработало, например.
Кстати, при импорте правил сделайте проверку на дубликаты, а то получается что плаг поставляется с набором правил + проимпортились частично те же самые правила. |
|
| Вернуться к началу |
|
|
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Вт Окт 30, 2007 10:25 am Заголовок сообщения: |
|
|
| pivasik писал(а): | | Добавьте в окошко ввода правил поле для тестирования активной совокупности или отдельного правила - это намного упростит составление. |
Для тестирования правил в плагине предусмотрен режим тестирования. В этом режиме плагин классифицирует письма письма отправляемые на обучение (реального обучения не происходит) и записывает результаты в журнал.
| pivasik писал(а): |
А по поводу внешней утилиты (RegExpCheck) - или выкинуть ее или хотя бы добавить обработку модификаторов для регулярного выражения: не понимает она, если написать /viagra/i, например.
|
Уберите из выражения элементы синтаксиса Perl - //i. Они не относятся к самому регулярному выражению, и не используются ни плагинами ни RegExpCheck. Сравнения всегда происходят с игнорированием регистра символов строк выражения и текста писем.
| pivasik писал(а): |
Как вариант сделать на сервере базу регулярных выражений, которая будет пополняться разработчиками или желающими (тыкнуть кнопку после создания правила, чтоб расшарить правило с другими пользователями). Вновь закачанные с сервера правила изначально неактивны. Плюс так можно апдейтить старые правила. |
Правила предусмотрены только для продвинутых пользователей. Плагин неплохо работает и без них, поэтому добавлять какие-то новые правила имеет смысл для "тонкого тюнинга", когда например хочется чтобы с сервера удалось больше спама с определенными особенностями. |
|
| Вернуться к началу |
|
|
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Вт Окт 30, 2007 10:26 am Заголовок сообщения: |
|
|
| pivasik писал(а): | Сделать для тестового режима возможность показывать коэффициент для письма, на которое наведен "прицел" или активного. А также дополнительую информацию - какое правило сработало, например.
|
Эта информация есть в журнале фильтрации.
| pivasik писал(а): |
Кстати, при импорте правил сделайте проверку на дубликаты, а то получается что плаг поставляется с набором правил + проимпортились частично те же самые правила. |
При импортировании правила сверяются по имени. |
|
| Вернуться к началу |
|
|
pivasik
Зарегистрирован: 30.10.2007
Сообщения: 4
|
| Добавлено: Вт Окт 30, 2007 1:25 pm Заголовок сообщения: |
|
|
| Цитата: | | Эта информация есть в журнале фильтрации. |
Для этого должен быть открыт журнал фильтрации, который занимает достаточно места на экране. Кстати, как его открыть в немодальном режиме? И раз уж эта информация все-равно есть, то отобразить ее в хинте не составит труда. User-friendly, так сказать.
| Цитата: | | При импортировании правила сверяются по имени. |
Поскольку урлы запрещены в любом виде, то по хттп здесь картинка:
img87.imageshack.us/my.php?image=40671744bm8.png
Версия плага: 2.7.1.1 - Free
Версия бата: 3.99.4
Environment: xp pro sp2 (+all updates, exept ie7), ie6
| Цитата: | | Для тестирования правил в плагине предусмотрен режим тестирования. В этом режиме плагин классифицирует письма письма отправляемые на обучение (реального обучения не происходит) и записывает результаты в журнал. |
Для использования журнала мне необходимо:
- Открыть конфигурацию
- Открыть окно правил
- Создать правило
- Заполнить его, пока держится в голове
- Сохранить
- Закрыть окно правил
- Включить тестовый режим
- Закрыть окно настроек
- Проестировать несколько писем, под которые писалось это правило
- Открыть конфигурацию
- Посмотреть лог
- Повторить операцию
При наличии дополнительной строчки в окне формирования правила для тестирования регулярного выражения список сокращается втрое.
А если добавить еще и подобное поле в манагер правил, для тестирования совокупности - это вообще рай был бы. И не надо никаких утилит.
| Цитата: | | Уберите из выражения элементы синтаксиса Perl - //i. Они не относятся к самому регулярному выражению, и не используются ни плагинами ни RegExpCheck. |
Они относятся к самому регулярному выражению и являются как раз строкой, используемой в функциях php, например, на которые вы даете ссылки в статье. Собственно, не страшно, но могли бы и написать о том, что они не используются где-то на видном месте.
| Цитата: | | Правила предусмотрены только для продвинутых пользователей. Плагин неплохо работает и без них, поэтому добавлять какие-то новые правила имеет смысл для "тонкого тюнинга", когда например хочется чтобы с сервера удалось больше спама с определенными особенностями. |
Во-первых, я самодовольно причисляю себя к продвинутым пользователям. Во-вторых, плагин после обработки 1.3к сообщений с обучением отлавливает только 5% спама на текущий момент. Как прокоментировали на другом форуме, что такое возможно если я "сломал базу": неправильно хотя бы один раз отметил спам, например как хам. И как решение - очистить базу и начать все сначала.
Я, пока, не владелец коммерческой лицензии, но при такой устойчивости к ошибкам пользователя (если это действительно причина) я им вряд ли стану. |
|
| Вернуться к началу |
|
|
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Вт Окт 30, 2007 1:56 pm Заголовок сообщения: |
|
|
| pivasik писал(а): | | Цитата: | | Эта информация есть в журнале фильтрации. |
Для этого должен быть открыт журнал фильтрации, который занимает достаточно места на экране. Кстати, как его открыть в немодальном режиме? И раз уж эта информация все-равно есть, то отобразить ее в хинте не составит труда. User-friendly, так сказать.
|
Окно журнала фильтрации не модальное. Его можно сворачивать в таскбар и отображать при необходимости. В плагине для показа журнала можно назначить комбинацию клавиш, на вкладке Настройки.
| pivasik писал(а): |
| Цитата: | | При импортировании правила сверяются по имени. |
Поскольку урлы запрещены в любом виде, то по хттп здесь картинка:
img87.imageshack.us/my.php?image=40671744bm8.png
Версия плага: 2.7.1.1 - Free
Версия бата: 3.99.4
Environment: xp pro sp2 (+all updates, exept ie7), ie6
|
Действительно, проверка перестала работать. Это будет исправлено в следующей версии, спасибо.
| pivasik писал(а): |
| Цитата: | | Для тестирования правил в плагине предусмотрен режим тестирования. В этом режиме плагин классифицирует письма письма отправляемые на обучение (реального обучения не происходит) и записывает результаты в журнал. |
Для использования журнала мне необходимо:
- Открыть конфигурацию
- Открыть окно правил
- Создать правило
- Заполнить его, пока держится в голове
- Сохранить
- Закрыть окно правил
- Включить тестовый режим
- Закрыть окно настроек
- Проестировать несколько писем, под которые писалось это правило
- Открыть конфигурацию
- Посмотреть лог
- Повторить операцию
При наличии дополнительной строчки в окне формирования правила для тестирования регулярного выражения список сокращается втрое.
А если добавить еще и подобное поле в манагер правил, для тестирования совокупности - это вообще рай был бы. И не надо никаких утилит.
|
В общем случае правило - это одно или несколько условий, которые применяются к разным частям письма. Поэтому полноценно протестировать правило можно только применив его к некоторому письму. Проверить одной строкой можно определенное условие, и для этого есть RegExpCheck.
| pivasik писал(а): |
| Цитата: | | Уберите из выражения элементы синтаксиса Perl - //i. Они не относятся к самому регулярному выражению, и не используются ни плагинами ни RegExpCheck. |
Они относятся к самому регулярному выражению и являются как раз строкой, используемой в функциях php, например, на которые вы даете ссылки в статье. Собственно, не страшно, но могли бы и написать о том, что они не используются где-то на видном месте.
|
К синтаксису регулярного выражения не относятся управляющие конструкции // и модификаторы. Они используются в языках программирования, но во всех остальных случаях в них нет необходимости.
| pivasik писал(а): |
| Цитата: | | Правила предусмотрены только для продвинутых пользователей. Плагин неплохо работает и без них, поэтому добавлять какие-то новые правила имеет смысл для "тонкого тюнинга", когда например хочется чтобы с сервера удалось больше спама с определенными особенностями. |
Во-первых, я самодовольно причисляю себя к продвинутым пользователям. Во-вторых, плагин после обработки 1.3к сообщений с обучением отлавливает только 5% спама на текущий момент. Как прокоментировали на другом форуме, что такое возможно если я "сломал базу": неправильно хотя бы один раз отметил спам, например как хам. И как решение - очистить базу и начать все сначала.
Я, пока, не владелец коммерческой лицензии, но при такой устойчивости к ошибкам пользователя (если это действительно причина) я им вряд ли стану. |
Чтобы добиться такого результата нужно было совершить очень много ошибок при обучении, т.е. пометить как не спам большое количество спама. В этом случае поможет только полная очистка базы классификации и обучение плагина заново. |
|
| Вернуться к началу |
|
|
pivasik
Зарегистрирован: 30.10.2007
Сообщения: 4
|
| Добавлено: Вт Окт 30, 2007 5:49 pm Заголовок сообщения: |
|
|
Окно журнала действительно не модальное, но про горячие клавиши не знал - неочевидно это.
| Цитата: | | В общем случае правило - это одно или несколько условий, которые применяются к разным частям письма. Поэтому полноценно протестировать правило можно только применив его к некоторому письму. Проверить одной строкой можно определенное условие, и для этого есть RegExpCheck. |
Это разговор слепого с глухим. Я вам предлагаю ввести фичу (возможно, только для коммерческой версии), чтоб продукт лучше покупали - а вы мне говорите, что вас фичи не интересуют.
Представьте себе Word у которого печать документов вынесли во внешнюю утилиту, которую дополнительно нужно скачивать черт знает откуда.
Без проблем - на нет и суда нет.
+ для корпоративных клиентов было бы интересно иметь или общие настройки на сервере или возможность их импорта/экспорта/синхронизации
| Цитата: | | Чтобы добиться такого результата нужно было совершить очень много ошибок при обучении, т.е. пометить как не спам большое количество спама. |
Вот здесь типовой кусок лога, на котором видно, что все что попадает в spam - это следствие процесса обучения.
img99.imageshack.us/my.php?image=89792475nm4.png
А вот здесь видна статистика, но! Нужно учесть, что из 993 сообщений задетекченых как спам 591 сообщение - результат обучения. Эффективность работы плага получается максимум 5%.
img504.imageshack.us/my.php?image=74452156oh6.png |
|
| Вернуться к началу |
|
|
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Вт Окт 30, 2007 6:24 pm Заголовок сообщения: |
|
|
| pivasik писал(а): |
| Цитата: | | Чтобы добиться такого результата нужно было совершить очень много ошибок при обучении, т.е. пометить как не спам большое количество спама. |
Вот здесь типовой кусок лога, на котором видно, что все что попадает в spam - это следствие процесса обучения.
img99.imageshack.us/my.php?image=89792475nm4.png
А вот здесь видна статистика, но! Нужно учесть, что из 993 сообщений задетекченых как спам 591 сообщение - результат обучения. Эффективность работы плага получается максимум 5%.
img504.imageshack.us/my.php?image=74452156oh6.png |
Судя по скриншоту с качеством классификации все в порядке. Эффективность фильтрации можно оценить по первому параметру из списка: Error rate = False positives + False negatives. Значение 3.68% означает процент неправильно распознанных писем от общего количества принятой почты. "Неправильно распознанных" здесь означает что спам классифицировался с рейтингом ниже 85%, а не-спам с рейтингом выше 15%. Таким образом из 591 письма отправленных на обучение как спам, реально распознавались с рейтингом ниже 85% только 591 * 3.61 / 1330 = 1.6% писем. Плагин классифицирует письма перед обучением, и правильно распознанные письма в базу не попадают.
Проверьте рейтинговый порог в TheBat (Настройка The Bat! | Защита от спама). Параметр "Перемещать в папку для спама, если рейтинг более" не должен быть слишком высоким. Нормальное значение по умолчанию для рейтингового порога - 60. Чтобы уменьшить вероятность ошибок типа false positive (распознавание не-спама как спам) можно увеличить порог до 80-85. Устанавливать более высокие значения не стоит, т.к. перестанет перемещаться в папку для спама явный спам с более низким рейтингом.
Не устанавливайте вместе несколько антиспам плагинов. Качество классификации от этого только уменьшается, независимо от способа подсчета общего рейтинга для писем. |
|
| Вернуться к началу |
|
|
Владимир Коротков
Зарегистрирован: 09.11.2007
Сообщения: 5
|
| Добавлено: Пт Ноя 09, 2007 12:08 pm Заголовок сообщения: |
|
|
У меня много доменов и более 30 ящиков и спама приходить несколько сотен в день. Можно ли сделать, чтобы если писем много с одним и тем же содержанием, то он их удалял, а если только 1 то сохранил, или на крайняк в спам. Просто по слову "заявка" столько спама, что он сразу удаляет, и сегодня увидел, что 1 письмо в спаме, а это клиент. Т.е. удалять надо когда письма повторяются и на других почт. ящиках, если не повторяются то проходят.
Надеюсь смысл понятен?[/list] |
|
| Вернуться к началу |
|
|
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Пт Ноя 09, 2007 1:02 pm Заголовок сообщения: |
|
|
| Владимир Коротков писал(а): | У меня много доменов и более 30 ящиков и спама приходить несколько сотен в день. Можно ли сделать, чтобы если писем много с одним и тем же содержанием, то он их удалял, а если только 1 то сохранил, или на крайняк в спам. Просто по слову "заявка" столько спама, что он сразу удаляет, и сегодня увидел, что 1 письмо в спаме, а это клиент. Т.е. удалять надо когда письма повторяются и на других почт. ящиках, если не повторяются то проходят.
Надеюсь смысл понятен? |
Плагин получает сообщения для классификации от почтового клиента в порядке их загрузки по очереди, и должен обязательно выдать рейтинг для каждого письма. Т.е. получить сначала все письма, найти дубликаты и уже после этого выдать рейтинги используя существующий API TheBat невозможно. В принципе можно было бы классифицировать первое письмо из повторяющихся как обычно, а остальные уже сравнивать с предыдущими и удалять похожие. Но этот метод позволяет совсем немного улучшить распознавание спама в одном конкретном случае - когда все дубликаты загружены одновременно, за одну проверку почты. Если дубликаты приходят не одновременно, они и так в дальнейшем распознаются классификатором после обучения на первом из них.
В вашем случае как я понял письмо было распознано как спам по стоп-слову в теме. Если такое происходит часто даже после обучения плагина на большом количестве не-спама, есть смысл отключить фильтр по стоп-словам или изменить его настройки. Конкретно можно увеличить минимально необходимый рейтинг слова (значение можно подобрать ориентируясь по рейтингам слов в вашем списке) и минимальное количество стоп-слов для блокировки письма. Когда плагин ищет 2 стоп-слова вместо одного, вероятность ошибки снижается на порядок. Процент распознанного спама по стоп-словам при этом тоже снизится, но с хорошо обученным классификатором это не должно заметно сказаться на качестве фильтрации спама. |
|
| Вернуться к началу |
|
|
Elenhil
Зарегистрирован: 13.11.2006
Сообщения: 42
|
| Добавлено: Сб Ноя 24, 2007 4:04 pm Заголовок сообщения: |
|
|
Хотелось бы иметь возможность раздельно включать фильтрацию по IP, ключевым словам и черным правилам для разных ящиков. В идеале - еще и выборочно устанавливать необходимое для удаления число и вес спамных ключевых слов в заголовке и число вхождений в DNSBL.
Потому что есть ящики разной заспамленности - к ним хотелось бы применять разной "жесткости" меры.
Я, например, наиболее махровый спам (среди уже положительно оцененного спамообороной Яндекса) перенаправляю на отдельный ящик, который скачиваю с довольно жесткими правилами на удаление - в результате у меня почти половина спама удаляется при скачивании (а всего спама почти 70% от общего числа писем).
Вероятность суммарного false positive и у спамообороны Яндекса, и у моих правил для перенаправления, и у самого плагина весьма мала (меня вполне устраивает), поэтому это намного более безопасный способ не только определения, но и удаления спама (это ведь тоже актуальная задача - удалять спам надо, делать это по жестким одинарным условиям небезопасно, а вручную перед удалением проверять на false positive при больших объемах нереально).
Единственная проблема - такие жесткие условия не позволяют включать проверку по заголовкам для других, менее заспамленных щиков. Между тем, и на них тоже иногда проходит спам, который можно было бы безопасно отфильтровать менее жесткими условиями (скажем, четыре вхождения в DNSBL, два черных слова с высоким весом в заголовке). Вот сделать это раздельно для разных ящиков мне бы и хотелось |
|
| Вернуться к началу |
|
|
|
|
Ты не можешь начинать темы
Ты не можешь отвечать на сообщения
Ты не можешь редактировать свои сообщения
Ты не можешь удалять свои сообщения
Ты не можешь голосовать в опросах
|
Powered by phpBB © 2001, 2005 phpBB Group
|
FAQ
Поиск
Профиль
Вход
Регистрация
