Поисковая система doodle.vfose.ru

[Костик]

И кого он задосил, поименно, пожалуйста.

раз ZK сказал что изуверски дерёт сайты значит так оно и есть
плюс есть Find64

одумайтесь госпадин гловарь линуксоидоф

[NowhereMan]

А когда бот находится на сайте, у него нет имени, например Google [Bot] ?

Он не логинится.
А в User-Agent у него написано - doodleBot.

[Exet]

Ты давай настрой своего бота
и выложи настройки для форумов


Название бота:
Язык для бота:
Соответствие агенту:
Строка, полностью или частично совпадающая с агентом (User-Agent) бота.
IP-адрес бота:
Разрешены частичные соответствия. Отделяйте адреса запятыми.


Для чего мне Это:

Боты, «пауки» или «ползуны» — это автоматические агенты, обычно используемые поисковыми системам для обновления своих баз данных. Поскольку они редко должным образом работают с сессиями, они могут исказить счётчики посещений, увеличить нагрузку на сервер и иногда неправильно проиндексировать сайт.

[NowhereMan]

Ты давай настрой своего бота
и выложи настройки для форумов

User-Agent: doodleBot (+http://doodle.vfose.ru)
Accept-Language: ru, en

А, кстати, robots.txt никто не отменял...

http://robotstxt.org.ru/

[Exet]

Ты давай настрой своего бота
и выложи настройки для форумов

User-Agent: doodleBot (+http://doodle.vfose.ru)
Accept-Language: ru, en

А, кстати, robots.txt никто не отменял...

http://robotstxt.org.ru/

Спасибо

[NowhereMan]

Поиск допилен словоформами. Теперь "корова", "коровами", "коровой" и пр. считается одним словом. То же и для аглицкого языка.

Кстати, "корова" прекрасно находится...

В отличии от find64 корректно отображаются результаты поиска для сайтов, выдающих страницы в XML и кодировке UTF-8.

Кеширование страниц в базе отключено для быстродействия.

Наполнение базы продолжается.

upd: В планах бота уже более миллиона ссылок и он над ними работает... Медленно и неторопливо... Режим опроса сайтов - два потока по 12 запросов в минуту с рандомизацией запросов для уменьшения нагрузки на сайты - каждый следующий запрос делается на другой сайт.

[Exet]

да кстати зделай так чтобы при запросе допустим rap выводились не ссылки на 1 сайт на 5 страниц а ссылки на разные сайты как в яндексе

[NowhereMan]

Как бы сделал, но результаты как бы странные... Смотрите...
Это, к слову, настраивается в расширенном поиске...

[zk]

Научи уже своего бота хорошим манерам, и поставь задержку 10 секунд, то что он делает сейчас - это верх неуважения к владельцам ресурсов.

[NowhereMan]

Научи уже своего бота хорошим манерам, и поставь задержку 10 секунд, то что он делает сейчас - это верх неуважения к владельцам ресурсов.

12 запросов в минуту это много? С учетом того, что бот, в отличии от браузера не тащит картинки, css и пр.

Впрочем... Поставил 10.