| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
DiRTy_GaRRy
Зарегистрирован: 29.06.2006
Сообщения: 10
|
 Добавлено: Чт Июн 29, 2006 2:12 pm Заголовок сообщения: The Bat! на время прдвисает после пометки писем как спам |
 |
|
Собственно subj. Сценарий примерно такой: принимаем почту; видим, что одно спамное сообщение проскочило; помечаем его как спам; видим появления колёсика, что, типа фильтр обучается; секунд 10 ещё можно ходить по папкам; далее TB подвисает на минуту-две.
AntispaSniper v1.5 Trial
The Bat v3.81.03 Beta
Плагин после установки ручками обучался примерно на 20-30 тысячах не спамных сообщений и примерно на 25 тысячах спамных.
Кстати, по поводу процесса обучения:
- Неплохо было бы ввести хоть какой-нибудь прогресс, как, допустим, сделано во фриварном The Bayes Filter Plugin
- При обучении на не спаме иногда не с того ни с сего показывался прогресс перемещения файлов, хотя ни какие файлы не перемещались.
- Таки подвисания после пометки, вроде, были и в процессе обучения, так что это скорее всего связано с неоптимальным обновлением базы (в The Bayes Filter Plugin это сделано гораздо лучше, т.е. база обновляется в фоновом потоке).
|
|
| Вернуться к началу |
|
 |
DiRTy_GaRRy
Зарегистрирован: 29.06.2006
Сообщения: 10
|
| Добавлено: Чт Июн 29, 2006 2:14 pm Заголовок сообщения: |
|
|
Да, ещё, вот размеры файлов даных плагина: | Код: | Directory of C:\Program Files\The Bat!\Mail\AntispamSniper
20.06.2006 15:38 <DIR> .
20.06.2006 15:38 <DIR> ..
29.06.2006 15:07 4 acct.bin
29.06.2006 15:07 722 brules.bin
28.06.2006 18:55 522 bw.ndx
29.06.2006 15:07 412 bwdata.bin
28.06.2006 18:55 261 510 filterlog.bin
29.06.2006 15:07 247 293 friends.bin
29.06.2006 14:15 54 318 572 histdata.bin
29.06.2006 14:15 1 554 954 histdata.bin.x
29.06.2006 15:07 1 629 options.bin
29.06.2006 15:07 14 075 rbl.bin
29.06.2006 14:15 110 090 sahdata.bin
29.06.2006 14:15 4 007 434 statdata.bin
29.06.2006 15:07 295 wrules.bin
13 File(s) 60 517 512 bytes
2 Dir(s) 22 577 496 064 bytes free |
|
|
| Вернуться к началу |
|
|
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Чт Июн 29, 2006 4:16 pm Заголовок сообщения: Re: The Bat! на время прдвисает после пометки писем как спам |
|
|
| DiRTy_GaRRy писал(а): | Собственно subj. Сценарий примерно такой: принимаем почту; видим, что одно спамное сообщение проскочило; помечаем его как спам; видим появления колёсика, что, типа фильтр обучается; секунд 10 ещё можно ходить по папкам; далее TB подвисает на минуту-две.
AntispaSniper v1.5 Trial
The Bat v3.81.03 Beta
Плагин после установки ручками обучался примерно на 20-30 тысячах не спамных сообщений и примерно на 25 тысячах спамных.
|
Не так уж много писем для минуты-двух работы даже на не слишком сильной машине. Скорее всего в этих наборах писем оказались очень похожие сообщения, помещенные в разные классы. На таких письмах фильтр может при обучении задуматься, потому как старается сделать все возможное чтобы определить чем же эти письма отличаются. При этом он следит чтобы классификация других писем не испортилась, а это довольно трудоемкая операция. По поводу того как исправить ситуацию - в следующем посте.
| DiRTy_GaRRy писал(а): |
Кстати, по поводу процесса обучения:
Неплохо было бы ввести хоть какой-нибудь прогресс, как, допустим, сделано во фриварном The Bayes Filter Plugin
|
Прогресс выводится сейчас пока в виде иконки без индикатора статуса процесса. Вообще говоря если исправить вашу ситуацию, то иконка будет появляться на несколько секунд, и это более стандартная ситуация чем для большинства аналогичных плагинов 
В TODO листе эта возможность есть, так что появится обязательно.
| DiRTy_GaRRy писал(а): | При обучении на не спаме иногда не с того ни с сего показывался прогресс перемещения файлов, хотя ни какие файлы не перемещались.
|
Могу сказать только одно - плагин тут однозначно нипричем.
| DiRTy_GaRRy писал(а): | | Таки подвисания после пометки, вроде, были и в процессе обучения, так что это скорее всего связано с неоптимальным обновлением базы (в The Bayes Filter Plugin это сделано гораздо лучше, т.е. база обновляется в фоновом потоке). |
В AntispamSniper все обновления базы делаются в фоне, иначе бы невозможно было ничего делать с интерфейсом почтового клиента в процесс обучения. По поводу загрузки процессора вот пара соображений:
- Не стоит обучать фильтр на таком большом количестве сообщений сразу. Во-первых это черевато ошибками обучения (письмо из другого класса), что приводит к тому что плагин обучается гораздо дольше. Во-вторых среди писем одного класса скорее всего очень большой процент похожих. Вы просто таким образом "перекармливаете" алгоритм излишней информацией и он естественно тратит больше времени чтоб ее переварить.
- Используемый классификационный алгоритм в плагине мощнее большинства аналогов в плане возможностей и потребляет несколько больше процессорного времени. Это компенсируется более качественной фильтрацией.
|
|
| Вернуться к началу |
|
|
admin
Автор
Зарегистрирован: 10.02.2006
Сообщения: 816
|
| Добавлено: Чт Июн 29, 2006 4:16 pm Заголовок сообщения: |
|
|
| DiRTy_GaRRy писал(а): | Да, ещё, вот размеры файлов даных плагина: | Код: | Directory of C:\Program Files\The Bat!\Mail\AntispamSniper
20.06.2006 15:38 <DIR> .
20.06.2006 15:38 <DIR> ..
29.06.2006 15:07 4 acct.bin
29.06.2006 15:07 722 brules.bin
28.06.2006 18:55 522 bw.ndx
29.06.2006 15:07 412 bwdata.bin
28.06.2006 18:55 261 510 filterlog.bin
29.06.2006 15:07 247 293 friends.bin
29.06.2006 14:15 54 318 572 histdata.bin
29.06.2006 14:15 1 554 954 histdata.bin.x
29.06.2006 15:07 1 629 options.bin
29.06.2006 15:07 14 075 rbl.bin
29.06.2006 14:15 110 090 sahdata.bin
29.06.2006 14:15 4 007 434 statdata.bin
29.06.2006 15:07 295 wrules.bin
13 File(s) 60 517 512 bytes
2 Dir(s) 22 577 496 064 bytes free |
|
Вполне нормальные размеры. Чтобы все работало быстрее удалите вручную два файла:
1)histdata.bin
2)histdata.bin.x
Из-за их пухлого размера все и тормозит. Что в свою очередь является следствием количества отправленных на обучение сообщений. На качество классификации это уже сильно не повлияет. Но иконка индикатора при обучении после этого должна появляться на милисекунды, не больше
Автоматическое слежение за переобучением это сейчас один из high priority пунктов в TODO. Так что в будущих версиях в таких случаях ничего вручную делать не придется. |
|
| Вернуться к началу |
|
|
DiRTy_GaRRy
Зарегистрирован: 29.06.2006
Сообщения: 10
|
| Добавлено: Чт Июн 29, 2006 4:44 pm Заголовок сообщения: |
|
|
| Ок. Спасибо. Удалю файлы и посмотим что из этого выйдет. |
|
| Вернуться к началу |
|
|
DiRTy_GaRRy
Зарегистрирован: 29.06.2006
Сообщения: 10
|
| Добавлено: Пт Июн 30, 2006 11:28 am Заголовок сообщения: |
|
|
| Спасибо. Ваш совет помог. Надеюсь, что в следующих версиях это будет исправлено. |
|
| Вернуться к началу |
|
|
|
|
Ты не можешь начинать темы
Ты не можешь отвечать на сообщения
Ты не можешь редактировать свои сообщения
Ты не можешь удалять свои сообщения
Ты не можешь голосовать в опросах
|
Powered by phpBB © 2001, 2005 phpBB Group
|
FAQ
Поиск
Профиль
Вход
Регистрация
