Парсер / граббер постов из групп и профилей ВК

VK Posts Parser — шаблон для программы ZennoPoster, позволяющий спарсить (и при необходимости скачать) посты со стен групп и/или профилей VK. Посты для парсинга (граббинга) отбираются на основе задаваемых вами фильтров (временной период, мин. количество лайков, репостов, комментов, фото, видео, аудио, наличию внешних и внутренних ссылок, стоп-слов и тд).

Результатом работы шаблона является:

1) Excel файл в формате CSV, содержащий информацию об отобранных (прошедших все фильтры) постах и их параметрах ( URL, кол-во лайков, репостов, комментов, количество изображений, анимированных GIF, аудио, видео и прочую информацию).

2) Папки со скаченными постами. Вы можете самостоятельно настроить какие конкретно элементы отобранных постов подлежат скачиванию, а какие нет.

Краткое описание:

  • Умеет работать с постами на стенах сообществ
  • Умеет работать с постами на стенах профилей
  • Имеет множество фильтров для отбора постов
  • Умеет собирать информация об отобранных постах и их параметрах в CSV файл
  • Умеет выкачивать отобранные посты к вам на ПК. Можно настроить какие элементы нужно выкачивать, а какие нет
  • Умеет работать с прокси (IPv4)
  • Может работать в многопоточном режиме
  • Умеет работать с сервисами распознавания капч — rucaptcha и anti-captcha (antigate)
  • Работает на POST/GET запросах через ВК API, не использует браузер.

Входные настройки:

Пример результата:

Дополнительная информация

Для работы шаблона требуется ZennoPoster от 5.10.2.0

Для массового парсинга вам потребуются аккаунты ВК и прокси.

Апдейты / обновления

Багфиксы и обновления бесплатные.

Для тех у кого нет программы ZennoPoster

Если у вас нет программы ZennoPoster и вы не хотите покупать её ради одного шаблона, могу выписать вам шаблон в ZennoBox. Это тот же ZennoPoster, но заточенный на выполнение исключительно купленных вами шаблонов и без возможности разрабатывать собственные шаблоны. ZennoBox обойдется вам в +$10 к стоимости шаблона. Более подробно о ZennoBox можно почитать по одноименной ссылке в меню сайта.

Парсер участников групп ВКонтакте по критериям

Шаблон ZennoPoster для парсинга участников сообществ ВК ( групп, пабликов, встречь ) по различным критериям.

  • Множество критериев для фильтрации участников (пол, возраст, страна, город, наличие контактов в других соцсетях — Instagram, Twitter, Skype, Facebook, возможность постить на стену и писать в ЛС )
  • Возможность самостоятельно указать какие данные необходимо включить в CSV файл результата. Например, можно оставить только имя пол и instagram.
  • Многопоточность
  • Работа с прокси (IPv4), привязка аккаунтов ВК к прокси из файла
  • Поддержка антикапча-сервисов anti-captcha (antigate), rucaptcha .. есть так же ручной ввод и модуль для поддержки capmonster2
  • Работает на POST/GET запросах через ВК API, не использует браузер.
  • Написан на C#

Входные настройки парсера участников сообществ ВК

Дополнительная информация

Для работы шаблона требуется ZennoPoster от 5.10.2.0

Для парсинга потребуются аккаунты ВК и прокси. Сколько? Как всегда — чем больше, тем лучше! Важно что ВКонтакте не банит аккаунты за парсинг, поэтому потом вы можете использовать их для других целей.

От автора: группы до 1.5 млн. человек я паршу без прокси 7 аккаунтами в 3 потока. Больше 3 потоков на один IP ставить не рекомендую, ВК «видит» что идёт массовый парсинг и иногда отдает ответы без необходимых данных (но и без какой-либо ошибки). В этом случае просто спарсятся не все данные!

Скорость парсинга

Скорость зависит от количества потоков! Максимальное количество потоков = количеству аккаунтов ВК.

Стандартные методы работы с VK API позволяют за один запрос к API запросить данные лишь на 1000 участников сообщества. Шаблон же c помощью специального языка VKScript запрашивает за один запрос данные на 10000 участников сообщества. Вообще, VKScript позволяет запросить информацию о 25000 участниках за раз, но ВК просто «захлебывается» от объёма данных и возвращает ошибку (она возвращается когда объем данных ответа более 5Мб). При этом только на формирование ответа для нас (с данными на 10000 юзеров) у ВК уходит примерно 15 секунд + секунд 10-12 секунд уходит у шаблона на то что бы потом распарсить всю эту информацию и прогнать по всем фильтрам. Итого, грубо округляя можем говорить что на получение данных о 10000 участниках уходит 25 секунд. Теперь представим сообщество на 1 млн. участников. Что бы получить все данные нужно сделать 100 запросов к API, а это примерно 2500 сек. или 41 минута. НО, 41 минута это если мы работаем в 1 поток (!). Работая в 4 потока это будет примерно 10 минут. Такая вот арифметика!

Результат

Результатом работы парсера является CSV файл с данными об участниках сообщества. Какие конкретно данные в него будут включены вы настраиваете сами во входных настройках!

Парсер «вторых половинок» пользователей ВК у которых скоро День Рождения

VK Life Partner — шаблон ZennoPoster для поиска партнеров (супругов, возлюбленных, с кем помолвлены или встречаются) людей у которых скоро День Рождения (когда вы задаёте сами).

Для чего это нужно?
Например, молодому человеку (мужу) у девушки (жены) которого скоро День Рождения можно предложить свои товары или услуги в качестве подарка. Самое очевидное — это предложить заказать оригинальный букет цветов или купить какой-то необычный подарок, посетить ресторан со скидкой, приобрести сертификат и тд.

  • Позволяет задать пол именинника
  • Позволяет задать день и месяц рождения именинника
  • Позволяет указать диапазон возраста именинника
  • Позволяет указать страну и конкретный город именинника
  • Позволяет выбрать тип отношений (в браке, встречаются, помолвлены и тд)
  • Расширенный поиск для обхода ограничения в 1000 результатов поиска (поиск ведется по каждому возрасту из диапазона в отдельности)
  • Поддерживает работу с прокси (IPv4), умеет привязывать прокси к аккаунтам
  • Поддержка сервисов анти-капч anti-captcha (antigate) и rucaptcha
  • Однопоточный
  • Работает на POST/GET запросах через ВК API, не использует браузер.
  • Написан на C#

Входные настройки шаблона

Результат
Результат — CSV файл с данными об именинниках и их вторых половинках.

Вам остается лишь сделать интересное предложение партнеру (мужу, возлюбленному, любовнику, ..)! Как это делать решать Вам. Можно настроить таргетированную рекламу в ВК на партнеров, можно проспамить личные сообщения или стену, можно попытаться заманить их к себе на страницу с промопостом.

Ограничения ВК и расширенный поиск

ВКонтакте позволяет получить лишь тысячу результатов поиска. При поиске по малым городам результатов как правило значительно меньше, ведь нас интересуют люди конкретного пола, возраста, рожденные в конкретный день + у них обязательно должен быть указан тип отношений и партнер. В небольших городах таких людей как правило очень мало! Но, например в Москве, таких людей может быть несколько тысяч на каждый указанный день.

Что бы спарсить более 1000 результатов в шаблоне есть опция «Расширенный поиск». При включенной настройке шаблон будет искать не просто людей чей возраст подходит под заданный диапазон (например от 18 до 40), а будет сначала искать всех кому 18, потом всех кому 19, потом всех кому 20 … и так до 40.

Нужно понимать, что при включенной настройке значительно возрастает количество запросов к VK API, поэтому если вы используете данную настройку, то рекомендуется использовать хотя бы несколько разных аккаунтов ВК + желательно прокси!

От автора: при включенной настройке я паршу 3-4 разными аккаунтами ВК без прокси, обычно этого достаточно.

Дополнительная информация

Для работы шаблона требуется ZennoPoster от 5.10.2.0

Для парсинга потребуются несколько аккаунтов ВК и возможно прокси.

Апдейты / обновления

Багфиксы и обновления бесплатные.

Для тех у кого нет программы ZennoPoster

Если у вас нет программы ZennoPoster и вы не хотите покупать её ради одного шаблона, могу выписать вам шаблон в ZennoBox. Это тот же ZennoPoster, но заточенный на выполнение исключительно купленных вами шаблонов и без возможности разрабатывать собственные шаблоны. ZennoBox обойдется вам в +$10 к стоимости шаблона. Более подробно о ZennoBox можно почитать по одноименной ссылке в меню сайта.