| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
Elenhil
Зарегистрирован: 13.11.2006
Сообщения: 42
|
 Добавлено: Пн Ноя 13, 2006 10:50 pm Заголовок сообщения: не работает удаление по заголовкам с серверов |
 |
|
Почему-то автоматическая проверка серверов при получении новой почты не запускается, хотя и галочка стоит, и даже сами аккаунты вручную введены. Работает только принудительная ручная проверка. Не пойму, почему.
И связанный с этим другой вопрос: а черный список слов почему так странно формируется? Там у всех слов только два варианта спамности - 0 или 1. Зачем тогда устанавливается параметр минимальной спамности? Или программа хочет сказать, что все слова из черного списка у меня пока среди спама встретились только однажды? Тогда непонятно, как плагин формирует этот список, потому что по моему спаму он уже хотя бы одно какое-нибудь слово должен был встретить в заголовках спама по нескольку раз.
Написано, что он автоматически формирует этот список при обучении. Или он хочет сказать, что обучение спаму происходит только на вручную помеченных как спам письмах?.. |
|
| Вернуться к началу |
|
 |
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Вт Ноя 14, 2006 2:55 am Заголовок сообщения: Re: не работает удаление по заголовкам с серверов |
|
|
| Elenhil писал(а): | Почему-то автоматическая проверка серверов при получении новой почты не запускается, хотя и галочка стоит, и даже сами аккаунты вручную введены. Работает только принудительная ручная проверка. Не пойму, почему.
|
- Какую версию плагина используете?
- Установлены ли какие либо антивирусы, файрвол?
- Совпадают ли имена серверов в настройках плагина и в настройках учетных записей TheBat? Также должны совпадать номера портов и типы соединений.
- Какой установлен режим фильтрации для учетных записей?
- Когда проверяете заголовки вручную работает ли фильтрация (т.е. возникает ли соответствующее окно с прогрессом операции)?
| Elenhil писал(а): | И связанный с этим другой вопрос: а черный список слов почему так странно формируется? Там у всех слов только два варианта спамности - 0 или 1. Зачем тогда устанавливается параметр минимальной спамности? Или программа хочет сказать, что все слова из черного списка у меня пока среди спама встретились только однажды? Тогда непонятно, как плагин формирует этот список, потому что по моему спаму он уже хотя бы одно какое-нибудь слово должен был встретить в заголовках спама по нескольку раз.
Написано, что он автоматически формирует этот список при обучении. Или он хочет сказать, что обучение спаму происходит только на вручную помеченных как спам письмах?.. |
И список стоп-слов и база классификатора обновляются при помечании писем как спам. Те письма, которые классифицируются как спам самим фильтром для обучения не используются. Чтобы заполнить список стоп-слов нужно во-первых обучить фильтр на достаточно большом количестве спама. А во-вторых после этого обучить на сохраненных нормальных сообщениях, чтобы из списка стоп-слов были исключены те слова, которые хоть раз встретились в нормальной почте. Или просто проверить как распознаются нормальные сохраненные сообщения в режиме тестирования и удалить из списка вручную ненужные слова. |
|
| Вернуться к началу |
|
|
Elenhil
Зарегистрирован: 13.11.2006
Сообщения: 42
|
| Добавлено: Вт Ноя 14, 2006 11:24 am Заголовок сообщения: Re: не работает удаление по заголовкам с серверов |
|
|
| admin писал(а): | | Elenhil писал(а): | Почему-то автоматическая проверка серверов при получении новой почты не запускается, хотя и галочка стоит, и даже сами аккаунты вручную введены. Работает только принудительная ручная проверка. Не пойму, почему.
|
- Какую версию плагина используете?
- Установлены ли какие либо антивирусы, файрвол?
- Совпадают ли имена серверов в настройках плагина и в настройках учетных записей TheBat? Также должны совпадать номера портов и типы соединений.
- Какой установлен режим фильтрации для учетных записей?
- Когда проверяете заголовки вручную работает ли фильтрация (т.е. возникает ли соответствующее окно с прогрессом операции)?
|
- v1.6.7.3
- Только DrWeb, но без модуля проверки почты.
- Совпадают по всем пунктам.
- Включено "проверять автоматически при получении новой почты" и остальные галочки.
- Работает, окно возникает.
| Цитата: | | И список стоп-слов и база классификатора обновляются при помечании писем как спам. Те письма, которые классифицируются как спам самим фильтром для обучения не используются. |
Вот это весьма досадно. В таком случае, у меня серьезное предложение по улучшению плагина: включить возможность автоматического обучения по распознанному спаму и не-спаму, как в BayesIt! - иначе для обучения вручную требуется слишком много усилий:
1) весь распознаваемый спам нужно еще и вручную помечать как спам - это неинтуитивно;
2) спам не статичен, поэтому и обучение должно быть по определению динамическим, постоянным (а не только в начале - обучил на базе спама/неспама и пусть работает);
3) тем более, во избежание false positive при удалении почты по заголовкам нужно постоянно пересматривать список черных слов на основе не-спама (для чего недостаточно автоматического обучения на исходящих письмам, а вручную обучаться на каждом новом не-спамном письме просто нереально).
4) ручное обучение по спаму и неспаму даже самим плагином в статистике учитывается неправильно - как исправление false positive и false negative. |
|
| Вернуться к началу |
|
|
Elenhil
Зарегистрирован: 13.11.2006
Сообщения: 42
|
| Добавлено: Вт Ноя 14, 2006 11:24 am Заголовок сообщения: Re: не работает удаление по заголовкам с серверов |
|
|
| admin писал(а): | | Elenhil писал(а): | Почему-то автоматическая проверка серверов при получении новой почты не запускается, хотя и галочка стоит, и даже сами аккаунты вручную введены. Работает только принудительная ручная проверка. Не пойму, почему.
|
- Какую версию плагина используете?
- Установлены ли какие либо антивирусы, файрвол?
- Совпадают ли имена серверов в настройках плагина и в настройках учетных записей TheBat? Также должны совпадать номера портов и типы соединений.
- Какой установлен режим фильтрации для учетных записей?
- Когда проверяете заголовки вручную работает ли фильтрация (т.е. возникает ли соответствующее окно с прогрессом операции)?
|
- v1.6.7.3
- Только DrWeb, но без модуля проверки почты.
- Совпадают по всем пунктам.
- Включено "проверять автоматически при получении новой почты" и остальные галочки.
- Работает, окно возникает.
| Цитата: | | И список стоп-слов и база классификатора обновляются при помечании писем как спам. Те письма, которые классифицируются как спам самим фильтром для обучения не используются. |
Вот это весьма досадно. В таком случае, у меня серьезное предложение по улучшению плагина: включить возможность автоматического обучения по распознанному спаму и не-спаму, как в BayesIt! - иначе для обучения вручную требуется слишком много усилий:
1) весь распознаваемый спам нужно еще и вручную помечать как спам - это неинтуитивно;
2) спам не статичен, поэтому и обучение должно быть по определению динамическим, постоянным (а не только в начале - обучил на базе спама/неспама и пусть работает);
3) тем более, во избежание false positive при удалении почты по заголовкам нужно постоянно пересматривать список черных слов на основе не-спама (для чего недостаточно автоматического обучения на исходящих письмам, а вручную обучаться на каждом новом не-спамном письме просто нереально).
4) ручное обучение по спаму и неспаму даже самим плагином в статистике учитывается неправильно - как исправление false positive и false negative. |
|
| Вернуться к началу |
|
|
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Вт Ноя 14, 2006 2:21 pm Заголовок сообщения: Re: не работает удаление по заголовкам с серверов |
|
|
В этом вопросе
| Цитата: | | - Какой установлен режим фильтрации для учетных записей? |
подразумевался режим фильтрации из свойств учетной записи. Там есть четыре режима:
- Фильтровать заголовки на сервере, затем содержимое на клиенте
- Фильтровать только по заголовкам
- Фильтровать только на клиенте
- Не фильтровать сообщения данного сервера
Какой именно из них используется для учетных записей, которые автоматически не фильтруются?
| Цитата: | | Цитата: | | И список стоп-слов и база классификатора обновляются при помечании писем как спам. Те письма, которые классифицируются как спам самим фильтром для обучения не используются. |
Вот это весьма досадно. В таком случае, у меня серьезное предложение по улучшению плагина: включить возможность автоматического обучения по распознанному спаму и не-спаму, как в BayesIt! - иначе для обучения вручную требуется слишком много усилий:
|
Автоматическое обучение предусмотрено только для не-спама. Плагин обучается автоматически на письмах от контактов из списка друзей и на отправляемой почте. Автообучение на классифицированном спаме опасно, т.к. это повышает вероятность возникновения ошибок типа false positive. Достаточно один раз ошибиться отправив не-спам на обучение как спам и дальше это может вызвать цепную реакцию обучения на нормальных письмах как на спаме. Обучать фильтр нужно только когда он ошибается. Отправление вообще всех приходящих писем на обучение в общем случае не только не улучшит качество классификации, но может привести к его ухудшению из-за более высокой вероятности ошибочных обучений.
| Цитата: |
1) весь распознаваемый спам нужно еще и вручную помечать как спам - это неинтуитивно;
|
Весь спам помечать не нужно. Для улучшения фильтрации на клиенте достаточно помечать только нераспознанный спам, который попадает в папки для нормальной почты. Чтобы фильтровалось больше спама по стоп-словам действительно можно один раз обучить плагин на большом количестве писем, а потом периодически обновлять список таким же образом. Фильтрация по стоп-словам это дополнительный метод для увеличения процента писем фильтруемых по заголовкам и не стоит ждать от него высоких показателей. Уже хорошо если этот метод фильтрует 20-30% спама. Если стоп-слов будет слишком много, то повышается вероятность возникновения ошибок типа false positive.
| Цитата: |
2) спам не статичен, поэтому и обучение должно быть по определению динамическим, постоянным (а не только в начале - обучил на базе спама/неспама и пусть работает);
|
Наиболее удачная стратегия обучения изложена выше - обучать фильтр только на его ошибках. Автообучения на не-спаме вполне достаточно в общем случае. Автообучение на спаме добавлено не будет из-за высокой вероятности возникновения цепных ошибок при недостаточно хорошо обученном фильтре.
| Цитата: |
3) тем более, во избежание false positive при удалении почты по заголовкам нужно постоянно пересматривать список черных слов на основе не-спама (для чего недостаточно автоматического обучения на исходящих письмам, а вручную обучаться на каждом новом не-спамном письме просто нереально).
|
Большинство нормальных писем должно отправляться на обучение автоматически как письма от друзей. Если у вас белый список адресов еще не заполнен, то стоит обучить фильтр на сохраненном не-спаме и плагин добавит адреса в список самостоятельно.
| Цитата: |
4) ручное обучение по спаму и неспаму даже самим плагином в статистике учитывается неправильно - как исправление false positive и false negative. |
До версии 1.7b4 количество отправленных на обучение писем вообще в статистике напрямую не учитывалось. Вместо этого фильтр классифицирует отправленные на обучение письма, и если они распознаются по базе классификации неверно, то считает это своей ошибкой, обучается на письмах и обновляет соответствующие поля в статистике. |
|
| Вернуться к началу |
|
|
Elenhil
Зарегистрирован: 13.11.2006
Сообщения: 42
|
| Добавлено: Вт Ноя 14, 2006 2:44 pm Заголовок сообщения: Re: не работает удаление по заголовкам с серверов |
|
|
| admin писал(а): | В этом вопросе
| Цитата: | | - Какой установлен режим фильтрации для учетных записей? |
подразумевался режим фильтрации из свойств учетной записи. Там есть четыре режима:
- Фильтровать заголовки на сервере, затем содержимое на клиенте
|
Я использую этот режим.
| Цитата: | Автообучение на классифицированном спаме опасно, т.к. это повышает вероятность возникновения ошибок типа false positive. Достаточно один раз ошибиться отправив не-спам на обучение как спам и дальше это может вызвать цепную реакцию обучения на нормальных письмах как на спаме.
|
ОК, тогда можно сделать не автообучение, а автопополнение черного списка слов на классифицируемом спаме. Здесь одна ошибка ничего не решит, т.к. требуется, по умолчанию, двадцать таких ошибок для присвоения слову необходимого для удаления по заголовкам рейтинга спамности. То есть ошибочное включение слова в черный список не создаст ни цепной реакции, ни радикально увеличит вероятность false positive по заголовкам.
| Цитата: |
Чтобы фильтровалось больше спама по стоп-словам действительно можно один раз обучить плагин на большом количестве писем, а потом периодически обновлять список таким же образом.
|
Но это затруднительно (т.к. мало кто хранит архив спамных писем) и не очень эффективно (т.к. спам меняется, и любые антиспамовые меры - в т.ч. блокирование по заголовкам - должны постоянно обновляться, более постоянно, чем регулярное ручное вмешательство).
| Цитата: | Фильтрация по стоп-словам это дополнительный метод для увеличения процента писем фильтруемых по заголовкам и не стоит ждать от него высоких показателей. Уже хорошо если этот метод фильтрует 20-30% спама. Если стоп-слов будет слишком много, то повышается вероятность возникновения ошибок типа false positive.
|
Не совсем понимаю, почему. Ведь false positive при определении по заголовкам случается не от величины черного списка, а от параметра спамности его составляющих. Он для false positive должен быть достаточно велик. А вероятность того, что какое-то слово при автообучении по исходящим письмам и по друзьям умудрится двадцать раз попасться как спамное не очень велика.
Если же в качестве меры осторожности пополнять список черных слов только иногда вручную, то вообще непонятно, как можно будет в разумные сроки набрать спамность 20 и достичь хотя бы 20% фильтрации? |
|
| Вернуться к началу |
|
|
Elenhil
Зарегистрирован: 13.11.2006
Сообщения: 42
|
| Добавлено: Сб Ноя 18, 2006 3:55 pm Заголовок сообщения: |
|
|
| Ну так как, есть какие-нибудь еще догадки, почему не работает автоматическая проверка заголовков на сервере при скачивании почты? |
|
| Вернуться к началу |
|
|
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Ср Ноя 22, 2006 4:40 pm Заголовок сообщения: |
|
|
| Elenhil писал(а): | | Ну так как, есть какие-нибудь еще догадки, почему не работает автоматическая проверка заголовков на сервере при скачивании почты? |
Проверьте, пожалуйста, последнюю версию плагина:
http://dl.antispamsniper.com/download/1.7/sniper-mui-1.7b5.exe |
|
| Вернуться к началу |
|
|
Elenhil
Зарегистрирован: 13.11.2006
Сообщения: 42
|
| Добавлено: Ср Ноя 22, 2006 5:26 pm Заголовок сообщения: |
|
|
Не помогло. |
|
| Вернуться к началу |
|
|
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Чт Ноя 30, 2006 1:47 pm Заголовок сообщения: |
|
|
| Исправлено в 1.7.0.6 |
|
| Вернуться к началу |
|
|
|
|
Ты не можешь начинать темы
Ты не можешь отвечать на сообщения
Ты не можешь редактировать свои сообщения
Ты не можешь удалять свои сообщения
Ты не можешь голосовать в опросах
|
Powered by phpBB © 2001, 2005 phpBB Group
|
FAQ
Поиск
Профиль
Вход
Регистрация
