Предыдущая тема :: Следующая тема |
Автор |
Сообщение |
edlab
Зарегистрирован: 28.02.2006 Сообщения: 28
|
Добавлено: Ср Мая 24, 2006 8:30 pm Заголовок сообщения: Список друзей... |
|
|
Адреса в список друзей добавляются только при пометке письма - не спам, хотя опция автоматически добавлять включена. Хотелось бы, чтобы фильтр автоматически добавлял адреса в список друзей при приеме почты - не спама. |
|
Вернуться к началу |
|
|
admin Автор
Зарегистрирован: 10.02.2006 Сообщения: 816
|
Добавлено: Чт Мая 25, 2006 1:31 am Заголовок сообщения: |
|
|
Самая главная причина того что опция не реализована - при включенном автодобавлении в белый список адресов отправителя писем классифицированных как не-спам существует ненулевая вероятность попадения в список спамерских адресов. При слабо обученном классификаторе это особенно актуально.
Классификатор обучается на письмах от дружественных адресов, поэтому даже один спамерский адрес в дружественном списке может сильно испортить качество классификации. Если внимательно следить за логом и всегда переобучать фильтр на спаме, пришедшем от адреса из белого списка, то проблем конечно не будет. Ошибочно добавленные адреса будут автоматически удаляться и база классификатора будет так же автоматически корректироваться. Только это "если" как раз и может оказаться слабым местом. Стоит раз нечаянно пропустить такую ситуацию и получить как результат резкое ухудшение классификации.
Белый список сейчас пополняется не только при обучении плагина на не-спаме. Если ответить на принятое письмо, то адрес контакта так же попадет в белый список (в версии 1.5). Это в общем такая дополнительная перестраховка, т.к. на спамерские письма обычно не отвечают. И плюс если вы отправляете кому-то письмо, то можно быть уверенным что ответ уже не пофильтруется (если конечно отвечать будут с того же адреса).
В любом случае, спасибо за хорошее предложение. В одной из будущих версий скорее всего будет такая опция, только с определенными дополнительными проверками чтобы уменьшить вероятность ошибок. |
|
Вернуться к началу |
|
|
edlab
Зарегистрирован: 28.02.2006 Сообщения: 28
|
Добавлено: Чт Мая 25, 2006 6:01 am Заголовок сообщения: |
|
|
А разве нельзя спрашивать пользователя, когда он помечает письмо как спам, что данный адрес есть в белом списке? |
|
Вернуться к началу |
|
|
admin Автор
Зарегистрирован: 10.02.2006 Сообщения: 816
|
Добавлено: Чт Мая 25, 2006 8:28 am Заголовок сообщения: |
|
|
Так основная проблема то не в этом. Когда пользователь помечает письмо как спам в принципе и спрашивать то не обязательно. И так понятно что если с дружественного адреса пришел спам, то этот адрес уже нельзя использовать как дружественный и надо его обязательно удалить из списка. Просто сам фильтр не может распознать эту ситуацию. Он считает что раз письмо пришло от дружественного адреса, то это точно не спам, письмо не надо классифицировать и даже нужно на нем обучиться как на нормальном. Пользователю нужно самому отлавливать такие ситуации и обязательно переобучать фильтр на таком спаме. А если еще в белый список иногда будут добавляться по ошибке спамерские адреса, то вероятность появления таких ситуаций увеличивается.
В общем это может выглядеть на первый взгляд как паранойя, но на самом деле логика тут простая. Не стоит увеличивать вероятность ошибок, даже если в большинстве случаев она будет мала. Не так уж редко люди жалуются на ухудшение качества фильтрации. А причина простая - нечаянно обучили фильтр на нескольких письмах спама как на нормальных или наоборот. Или пришел спам с адресом отправителя, который есть в белом списке, а переобучить плагин на таком письме забыли. Классификатор фильтра чувствителен к ошибкам обучения, и если их вовремя не исправлять, то для восстановления качества классификации придется только удалять базу и переобучать фильтр заново. Думается лучше уж пусть белый список будет создаваться в полуавтоматическом режиме. И кстати хорошо обученный классификатор можно использовать даже вообще без белого списка всех остальных возможностей, он будет распознавать письма правильно. |
|
Вернуться к началу |
|
|
edlab
Зарегистрирован: 28.02.2006 Сообщения: 28
|
Добавлено: Чт Мая 25, 2006 7:42 pm Заголовок сообщения: |
|
|
Когда пользователь помечает письмо как спам в принципе и спрашивать то не обязательно.
Согласен
И так понятно что если с дружественного адреса пришел спам, то этот адрес уже нельзя использовать как дружественный и надо его обязательно удалить из списка.
Не согласен. Например действия вируса.
А если еще в белый список иногда будут добавляться по ошибке спамерские адреса, то вероятность появления таких ситуаций увеличивается.
Я это и имел ввиду, что получив письмо со спамом от дружественного адреса пользователь сам решает к какому статусу отнести адрес - спамерский или нет. А если спамерский, то фильтр должен спросить об удалении из списка друзей, и соответственно обучиться как на спаме.
В общем это может выглядеть на первый взгляд как паранойя
Ну спам сам по себе может у пользователя вызвать параною
И кстати хорошо обученный классификатор можно использовать даже вообще без белого списка всех остальных возможностей, он будет распознавать письма правильно.
А вот без белого списка фильтр удалил рассылку с сервера, посчитав её за спам. |
|
Вернуться к началу |
|
|
edlab
Зарегистрирован: 28.02.2006 Сообщения: 28
|
Добавлено: Чт Мая 25, 2006 7:51 pm Заголовок сообщения: |
|
|
И как продолжение цитата из соседней темы:
Фильтр удаляет только те письма, которые не распознались ни одним из "белых" условий. Это:
- Белый список адресов отправителей (друзей)
- Белые правила
- Исключения
- Белые сервера (учетные записи, для которых отключена фильтрация).
|
|
Вернуться к началу |
|
|
admin Автор
Зарегистрирован: 10.02.2006 Сообщения: 816
|
Добавлено: Сб Мая 27, 2006 6:10 am Заголовок сообщения: |
|
|
Цитата: | И так понятно что если с дружественного адреса пришел спам, то этот адрес уже нельзя использовать как дружественный и надо его обязательно удалить из списка.
Не согласен. Например действия вируса.
|
Тут соображение такое - если уж начал с определенного адреса приходить спам, то лучше такой адрес все таки удалить из списка чтобы плагин не обучался на спаме. Вместо адреса в белом списке в таких случаях можно использовать белые правила. Например для рассылок можно создать правило, которое учитывает не только адрес отправителя, но и другие характерные признаки писем из этой рассылки. Например дополнительно можно проверять что письмо пришло с определенного сервера (условие по заголовку Return-Path, например Return-Path ~= sender@ambar.mail.ru для рассылок mail.ru и т.п.), проверять наличие полей заголовка которые есть только в письмах из этой рассылки (List-Unsubscribe ~= mailto:mailer@list.ru?subject=unsubscribe), проверять дополнительно поле To.
Цитата: | А если еще в белый список иногда будут добавляться по ошибке спамерские адреса, то вероятность появления таких ситуаций увеличивается.
Я это и имел ввиду, что получив письмо со спамом от дружественного адреса пользователь сам решает к какому статусу отнести адрес - спамерский или нет. А если спамерский, то фильтр должен спросить об удалении из списка друзей, и соответственно обучиться как на спаме.
|
Все таки лучше в таком случае перейти на правила. Диалоги при принятии почты будут тормозить скачивание остальных сообщений. Особенно неприятно если почта будет скачиваться автоматически, во время отсутствия пользователя.
Цитата: |
И кстати хорошо обученный классификатор можно использовать даже вообще без белого списка всех остальных возможностей, он будет распознавать письма правильно.
А вот без белого списка фильтр удалил рассылку с сервера, посчитав её за спам. |
Ну автодобавление адресов отправителя в белый список тут врядли бы помогло. Раз адрес рассылки оказался в нескольких списках DNSBL, то ни одно письмо и так бы не дошло до почтового клиента. Поэтому в справочной системе рекомендуется в первую очередь обязательно обучить плагин на всех своих неспамных сообщениях чтобы заполнить список дружественных адресов. И плюс к этому желательно сразу вручную прописать правила для таких сложных случаев, когда с определенного адреса могут приходить и нормальные письма и спам. Если все равно остаются какие то сомнения, то стоит на какое то время отключить удаление писем на сервере и посмотреть как будут фильтроваться письма по логу. Когда уже и контентный классификатор начнет выдавать стабильно хорошие результаты и белые списки окажутся правильно заполненными, то можно включить и удаление. |
|
Вернуться к началу |
|
|
admin Автор
Зарегистрирован: 10.02.2006 Сообщения: 816
|
Добавлено: Сб Мая 27, 2006 6:11 am Заголовок сообщения: |
|
|
edlab писал(а): | И как продолжение цитата из соседней темы:
Фильтр удаляет только те письма, которые не распознались ни одним из "белых" условий. Это:
- Белый список адресов отправителей (друзей)
- Белые правила
- Исключения
- Белые сервера (учетные записи, для которых отключена фильтрация).
|
Именно. И случае если белый список отправителей вдруг начал сбоить на определенном адресе, то есть и другие варианты фильтрации |
|
Вернуться к началу |
|
|
edlab
Зарегистрирован: 28.02.2006 Сообщения: 28
|
Добавлено: Чт Июн 01, 2006 3:32 am Заголовок сообщения: |
|
|
Это все понятно. Но это хорошо только для случая обработки почты на клиенте. Разные алгоритмы и правила, обучение во время приёма почты и другие методы анализа хороши, но опять таки когда анализ почты идет на клиенте.
В случае обработки почты на сервере без нормального белого списка пользователь может потерять почту. Поэтому и хотелось бы по умолчанию иметь режим оработки почты на клиенте, а не на сервере (в противном случае пользователь теряет почту не успев обучить фильтр) и как писал в начале - атоматическое добавление адресов из не-спам писем в белый список при приеме почты (ведь после анализа письма фильтром понятно спам это или нет, и не трудно после этого пополнить белый список).
Или опишите для каких случаев срабатывает пункт "Пополнять список автоматически" |
|
Вернуться к началу |
|
|
ambassador
Зарегистрирован: 07.11.2006 Сообщения: 14
|
Добавлено: Вт Ноя 07, 2006 8:08 am Заголовок сообщения: |
|
|
Только установил программу. Сразу солнечный удар. В список друзей не могу автоматически импортировать все адреса из адресной книги!
Это что ещё за чудо?
Это что, сейчас вручную требуется обучение и внесение в список друзей? Ха-ха. Или вручную надо выполнять импорт нескольких сотен адресов из адресной книги?!?
Или адреса из адресной книги не фильтруются?
Нигде не вижу точной информации. Ответьте пожалуйста. Плагин сразу отключил. Теперь стоит вопрос - использовать программу дальше или нет. Поскольку даже если чисто теоретически программа может случайно отфильтровать хоть одно письмо от адресата из адресной книги, то сразу удалю sniper без сожалений.
Мне нужна полная гарантия, что письма со адресов, указанных в адресной книге не будут фильтроваться ни при каких обстоятельствах. Независимо ни от чего, даже если я их случайно помечу в списке как спам, я уже не говорю про sniper. |
|
Вернуться к началу |
|
|
admin Автор
Зарегистрирован: 10.02.2006 Сообщения: 816
|
Добавлено: Вт Ноя 07, 2006 12:40 pm Заголовок сообщения: |
|
|
ambassador писал(а): | Только установил программу. Сразу солнечный удар. В список друзей не могу автоматически импортировать все адреса из адресной книги! |
Откройте адресную книгу в TheBat, выберите пункт меню Файл->Экспорт в->Список адресов (текст) и сохраните адресную книгу в текстовый файл. Затем откройте список друзей в настройках плагина, нажмите кнопку Импорт... и импортируйте список. Автоматическое импортирование записей из книги TheBat не поддерживается, т.к. отсутствует соответствующий программный интерфейс.
Кроме этого при обучении плагина на не-спаме белый список адресов пополняется автоматически. Можно просто выделить все сохраненные нормальные письма и пометить их как не-спам. Плагин обучится на их содержимом и добавит адреса в белый список. |
|
Вернуться к началу |
|
|
ambassador
Зарегистрирован: 07.11.2006 Сообщения: 14
|
Добавлено: Вт Ноя 07, 2006 5:40 pm Заголовок сообщения: |
|
|
Благодарю вас за ответ. Действительно, я совсем упустил из вида, что в адресной книге есть экспорт. Спасибо!
Теперь очередной вопрос: при фильтрации будет проверяться точное соответствие имени И адреса из списка друзей? Потому, что адреса постоянны, а поле имя может меняться. Что будет при этом, если адрес прежний, а имя в поле письма - другое? Письмо может быть отфильтровано как спам?
И я понял никакого предохранения нет. То есть если случайно любое письмо из списка друзей пометить как спам, то программа так его и станет воспринимать. Или появится окно предупреждения, если пометить как спам письмо из списка друзей? |
|
Вернуться к началу |
|
|
admin Автор
Зарегистрирован: 10.02.2006 Сообщения: 816
|
Добавлено: Вт Ноя 07, 2006 6:06 pm Заголовок сообщения: |
|
|
ambassador писал(а): |
Теперь очередной вопрос: при фильтрации будет проверяться точное соответствие имени И адреса из списка друзей? Потому, что адреса постоянны, а поле имя может меняться. Что будет при этом, если адрес прежний, а имя в поле письма - другое? Письмо может быть отфильтровано как спам?
|
Чтобы обратный адрес распознался как дружественный должны совпасть и электронный адрес и имя. Бывает что спамеры указывают в качестве обратного адреса существующие почтовые адреса с поддельными именами, поэтому сделана проверка и для имен. Чтобы отключить проверку имени для определенной записи можно ввести в соответствующем поле звездочку (*).
ambassador писал(а): |
И я понял никакого предохранения нет. То есть если случайно любое письмо из списка друзей пометить как спам, то программа так его и станет воспринимать. Или появится окно предупреждения, если пометить как спам письмо из списка друзей? |
Если какое то нормальное письмо было случайно помечено как спам, то соответствующие записи из белого списка будут удалены и классификатор само собой обучится на этом письме как на спаме. Предупреждений не предусмотрено. Просто нужно внимательно следить за тем чтобы при обучении не происходило ошибок когда письма помечаются неправильным классом. Классификатор в плагине чувствителен к ошибкам обучения и несколько неверно помеченных писем могут ощутимо испортить качество классификации. Если вы заметили например по логу что какое то письмо по ошибке ушло на обучение в неверный класс, то просто пометьте такое письмо еще раз, только правильно. Записи в белом списке восстановятся и база алгоритма классификации будет исправлена. |
|
Вернуться к началу |
|
|
ambassador
Зарегистрирован: 07.11.2006 Сообщения: 14
|
Добавлено: Ср Ноя 08, 2006 7:22 am Заголовок сообщения: |
|
|
Цитата: |
Бывает что спамеры указывают в качестве обратного адреса существующие почтовые адреса с поддельными именами
|
Но также верно и то, что к сожалению исходя из своей практики наблюдаю, что некоторые адресаты периодически исходя из разных причин меняют имя - то там имя и фамилия по-русски, то имя только, то только фамилия, то сокращённое имя и фамилия, то кличка, то переход к англоязычности. Я это предвидеть никак заранее не могу, поэтому остаётся только ставить везде звёздочку.
Цитата: |
Если какое то нормальное письмо было случайно помечено как спам, то соответствующие записи из белого списка будут удалены и классификатор само собой обучится на этом письме как на спаме. Предупреждений не предусмотрено. Просто нужно внимательно следить за тем чтобы при обучении не происходило ошибок когда письма помечаются неправильным классом |
Это нехорошо. Это означает, что программа пока в зачаточном состоянии и ориентирована на единицы писем в день. Ну невозможно исключить ошибки при обработке нескольких сотен или тысяч писем в день - чтоб совсем уж исключить ошибки нужно тратить кучу времени внимательно просматривая список. Ошибки были, есть и будут, совершенства нет ни в чём. И мерседесы ломаются и боинги падают, что уж тут про людей говорить.
Простое хотя бы предупреждение остановило бы вовремя от ошибки. Это уж сделать нетрудно - галочку в настройки - кому надо использует, кому не надо - нет. |
|
Вернуться к началу |
|
|
admin Автор
Зарегистрирован: 10.02.2006 Сообщения: 816
|
Добавлено: Ср Ноя 08, 2006 1:16 pm Заголовок сообщения: |
|
|
ambassador писал(а): | Цитата: |
Бывает что спамеры указывают в качестве обратного адреса существующие почтовые адреса с поддельными именами
|
Но также верно и то, что к сожалению исходя из своей практики наблюдаю, что некоторые адресаты периодически исходя из разных причин меняют имя - то там имя и фамилия по-русски, то имя только, то только фамилия, то сокращённое имя и фамилия, то кличка, то переход к англоязычности. Я это предвидеть никак заранее не могу, поэтому остаётся только ставить везде звёздочку.
|
Если у вас конкретно такая сложная ситуация, то конечно, ставьте звездочку вместо имени всегда.
ambassador писал(а): | Цитата: |
Если какое то нормальное письмо было случайно помечено как спам, то соответствующие записи из белого списка будут удалены и классификатор само собой обучится на этом письме как на спаме. Предупреждений не предусмотрено. Просто нужно внимательно следить за тем чтобы при обучении не происходило ошибок когда письма помечаются неправильным классом |
Это нехорошо. Это означает, что программа пока в зачаточном состоянии и ориентирована на единицы писем в день. Ну невозможно исключить ошибки при обработке нескольких сотен или тысяч писем в день - чтоб совсем уж исключить ошибки нужно тратить кучу времени внимательно просматривая список. Ошибки были, есть и будут, совершенства нет ни в чём. И мерседесы ломаются и боинги падают, что уж тут про людей говорить.
Простое хотя бы предупреждение остановило бы вовремя от ошибки. Это уж сделать нетрудно - галочку в настройки - кому надо использует, кому не надо - нет. |
По-моему вы путаете обучение с классификацией. Классификатор легко обрабатывает десятки тысяч писем в день у некоторых пользователей. О каких предупреждениях при обучении вы пишете? Предупреждение о том, что вы собираетесь пометить как спам письмо от адресата из белого списка? С какой стати у вас может быть много подобных ошибок? Перед помечанием нормального письма как спам вы его в любом случае доложны будете прочесть, т.к. письмо не отфильтровалось в спамную папку и распозналось как нормальное. Приведите пример случая, когда вы пометите только что прочтенное нормальное письмо как спам.
Подобных предупреждений не предусмотрено сознательно, потому что они не требуются большинству пользователей, а не потому что программа "в зачаточном состоянии". |
|
Вернуться к началу |
|
|
|
|
Ты не можешь начинать темы Ты не можешь отвечать на сообщения Ты не можешь редактировать свои сообщения Ты не можешь удалять свои сообщения Ты не можешь голосовать в опросах
|
Powered by phpBB © 2001, 2005 phpBB Group
|