Если что не так, надеюсь что меня поправят, если что-то "спалил", извиняйте. Я до этого сам дошел, нигде не скопировал, а просто очень многого читал, анализировал, пробовал, нажимал на разные кнопки и в разном порядке. :D Подбирал слова, выражения, цифры, ну и в итоге, как мне кажется, что-то стало получаться.

Итак начнём.

Начну с words_database. Здесь ничего мудреного нет. Я например в одном из своих экспериментов использовал вот какие данные, хотя мне кажется многие и удивятся. С помощью Excel ввел в столбик 1 2 3 А Б В 1 2 3 а б в, и растянул это дело на тысячу штук. Т.е. у меня получилась тысяча "ключевых слов", которые hrefer должен искать на форуме. А почему так много, да дело в том, что за один проход он не парсит всю выдачу, а так он будет с каждым разом собирать дальше. Почему именно буквы и цифры, да просто хотел посмотреть что будет, я же писал до этого про эксперимент. Естественно повторы будут отсеиваться, потому что так стоит в настройках duplicates filtering. Это видно на изображении. Включены оба фильтра. Остальные настройки этой вкладки тоже видно, так что каждый шаг описывать не буду.




Кстати вот первая фотка, как только начался парсинг. Здесь видно и время, и те самые ключевые слова, которые я использовал. И так же виден результат за первые пять минут. А так же видны те самые запросы, по которым все ищется.





Вот те 70 запросов, которые нашел я, конечно их больше, стоит только поискать. У меня на русском, потому что мне нужны были русские форумы. С eng базой будет то же самое. Т.к. эти выражения принадлежат только форумным движкам, то парсятся только форумы. Но sieve filter я все же ставлю. И вылавливаются не какие-то определенные движки - только SMF, или только phpBB. Парсятся все, в том числе и ucoz.



По остальным движкам ничего сказать не могу, не пробовал еще. Скорее всего будет так же, как и с форумами. Чего не далал, про то не пишу.
Ниже видно фильтры, которые были применены при парсинге.



В общем-то вроде все, если что-то не так написал, то уверен, меня поправят. Пытайтесь, эксперементируйте, ничего в этом страшного нет.

А вот кстати и результат, пока писал этот небольшой топик:



Автор:vxzone

Спасибо, буду пробовать.

Вернулся сюда а фотографии исчезли. ТС можно ли поправить топик?