На днях удалось провернуть интересную штуку. Для всех групп Вконтакте с числом подписчиков от 5000 до 10 000 (~100 000 групп) был построен полный граф, в котором веса рёбер равнялись пересечению аудиторий групп.

Во-первых, такой граф красиво выглядит:

Во-вторых, с его помощью можно быстро подбирать группы заданой тематики. Например, нужно найти группы про вязание. По ключевому слову «вязание» находим, одну подходящую группу, Knitting -Вязание online- , например. Выводим группы, с которыми она связана:

И повторяем пока не надоест или пока не перестанут появляться новые названия.

Вязание. В этом мире всё связано...:
8.88% Корпорация «ПРЯЖА»
3.06% Мамочкин канал - для творческих мам (КРЮЧКОМ!)
2.58%
2.30% Knitting -Вязание online-
2.14% Интернет-Магазин Пряжи «АЖУР»
1.94%
1.85% Магазин пряжи - ღ ВАША ПРЯЖА ღ
1.76% Пряжа
1.72% Ажурный мир: связано с любовью!
1.55%

«Мадам Вязалкина» Пряжа (товары для рукоделия):
2.49% Пряжа
2.37% Корпорация «ПРЯЖА»
1.42% Магазинчик пряжи Eesti lõng (Kauni, Кауни)
1.39% Пряжа Кауни (Kauni) - легенда Эстонии. Вязание.
1.32% ПРЯЖА ДЁШЕВО.ФЛИС.РЕЗИНКИ ДЛЯ ПЛЕТЕНИЯ БРАСЛЕТОВ
1.26% Магазин пряжи и товаров для рукоделия КУДЕЛЬ
1.24% Вязаные головные уборы и не только.
1.21% HOBBY & HOME | РУКОДЕЛИЕ
1.18% Интернет-Магазин Пряжи «АЖУР»
1.15% Пряжа Spagetti Спагетти

Аналогичного результата можно добиться грамотно подобрав ключевые слова для поиска: «вязание», «пряжа», «рукоделие», «крючком». Но их не всегда просто придумать.

Чтобы построить такой граф было использовано несколько неочевидных технических решений, о которых я хотел бы рассказать.

Чтобы получить полный список групп заданного размера, был прокачан прекрасный сайт allsocial.ru . Интересно как они собирают эти данные? Просто идут по всем индексам: vk.com/club1 , vk.com/club2 , ...? Брались только средние группы с числом подписчиков от 5000 до 10 000 человек по двум причинам: огромные паблики типа МДК чёкнешься прокачивать, но, что важнее, членство в них не несёт особенного сигнала, такие группы связаны со всем на свете.

Чтобы получить список подписчиков групп в АПИ Вконтакта, есть специальный метод. Но он позволяет получать по 1000 пользователей за раз и только 3 раза за секунду. А прокачать надо было порядка 1 000 000 000 пользователей, что дофига. Получается, что надо будет ждать 3-4 суток, если ВК будет отвечать на каждый запрос мгновенно. Это, в целом, терпимо, но смущало следующее замечание в документации:

Помимо ограничений на частоту обращений, существуют и количественные ограничения на вызов однотипных методов. По понятным причинам, мы не предоставляем информацию о точных лимитах.

В нашем случае, это замечание напрягает, потому что нужно будет сделать 1 000 000 запросов. На помощь здесь приходит крутейший метод execute . Большой респект за него ребятам из ВК. Интересно у кого-нибудь ещё есть такая штука? Суть в том, что через execute можно посылать в Контакт программы на специальном языке VKScript, запихивать туда несколько запросов к АПИ и, возможно, какую-то логику. В моём случае программа выглядела примерно так:

Return [ API.groups.getMembers(id=1, offset=0, count=1000), API.groups.getMembers(id=1, offset=1000, count=1000), API.groups.getMembers(id=1, offset=2000, count=1000), API.groups.getMembers(id=1, offset=3000, count=1000), API.groups.getMembers(id=1, offset=4000, count=1000), API.groups.getMembers(id=1, offset=5000, count=1000), ... ];
Внутри программы может быть не больше 25 обращений к АПИ. То есть число запросов сокращается до 40 000, теоретически бан может миновать. Каждый такой запрос выполнялся уже совсем не мгновенно, а примерно 5-6 секунд, поэтому подождать всё равно пришлось. Да, можно было бы запустить скачивание в несколько потоков, но чёт было стрёмно. Через два с половиной дня всё докачалось и заняло примерно 10Гб у меня на диске.

Теперь встаёт вопрос как запихнуть эти 10Гб в оперативную память и как посчитать попарное пересечение аудиторий для 100 000 групп. Спасает тот факт, что каждый пользователь состоит обычно в небольшом количестве групп (99% пользователей состоят менее чем в 15 группах). Можно выписать какие вклады вносит в пересечения каждый пользователь и потом эти вклады сложить. Пускай, например, есть два пользователя: А и Б, и три группы 1, 2 и 3. А состоит во всех трёх, Б - только в 1 и 3. А вносит вклады в три пересечения: (1, 2), (1, 3) и (2, 3), Б - в одно: (1, 3). Складываем, получаем, что 1 и 3 пересекаются по двум пользователя, остальные группы по одному. Если технично проигнорировать пользователей, которые состоят в 15 группах и больше, то придётся выписать примерно 500 000 000 пересечений, что гораздо лучше, чем при решении в лоб, где нужно будет посчитать 100 000 * 100 000 пересений.

Прекрасно, осталась только проблема с оперативной памятью. К счастью, описанный алгоритм хорошо ложится на парадигму мап-редьюс, поэтому был запилен нано-хадуп на 50 строчек и расчёт выглядел так: выписываем группы и пользователей, которые в них состоят в две колонки:

Group user 3953835 10 2065169 100001643 2112714 100001643 ...
Получается файл на ~9Гб, сортируем его юниксовым сортом по второй колонке, смотрим, где состоит Павел Дуров:
group user 2226515 1 37110020 1 38354466 1 43453499 1 60140141 1 60615047 1 64980878 1 1019652 10 ...
Читаем файл, группируем поток по второй колонке, в памяти держим только список групп пользователя, если групп меньше 15, выписываем все паросочетания в ещё один файл:

Source target 10000 10027193 9980615 9997141 9974 9976553 ...
Так как порог подобран грамотно, файл получается не слишком большой - ~9Гб. Сортируем его по двум колонкам:
source target 10000 100000 10000 100000 10000 10009982 10000 100100 10000 100100 10000 10019194 10000 10019194 10000 1002 10000 1002 10000 1002 ...
Дальше файл читается, группируется по двум колонкам и сразу считается пересечение. Для групп 10000 и 100000, например, перечение 2 пользователя. Это можно сказать сразу, ничего хранить в памяти не надо.

Отправить анонимно

В настоящее время в социальной сети ВКонтакте (vk.com) можно найти практически любую информацию по интересующей Вас тематике. Причем эта информация может быть представлена в самых разных форматах – обычный текст, текст и графика, только графика, аудио, видео и т.д. Система сама по себе удобная и интуитивно-понятная.

После того, как Вы зайдете под своим логином и паролем на сайт, Вы увидите, что основное окно поиска расположено в левом верхнем углу страницы. Сюда можно ввести любое слово или словосочетание. После ввода фразы и нажатия на Enter перед Вами откроется страница с результатами поиска (рис. 1). Данная страница состоит из нескольких блоков. Каждый из блоков, в свою очередь, содержит результаты поиска среди контента, состоящего из какого-то одного типа.

Рис. 1 Как устроена система Поиска информации ВКонтакте

К примеру, сначала размещаются результаты поиска

• по аудиозаписям (цифра 2 на рис. 1),
• затем - по видеозаписям (цифра 3 на рис. 1),
• по сообществам (цифра 4 на рис. 1),
• по людям (цифра 5 на рис. 1),
• по новостям и обычным текстовым заметкам (цифра 6 на рис. 1).

В каждом из блоков размещается лишь часть найденных результатов, к примеру, первые 2 человека, первые 3 аудио и видеозаписи. Однако под блоком размещается ссылка, ведущая на страницу просмотра всех найденных результатов («Перейти ко всем найденным …»). Как правило, в конце размещается блок с найденными по запросу текстовыми записями (они выводятся вниз неограниченно долго).

Структура страницы с выдачей сильно зависит от специфики используемого запроса. К примеру, если запрос состоит из имени и / или фамилии, то сначала будет отображен блок с поиском людей. Тут все вполне логично. Если запрос – название популярной песни, то первым будет блок с аудио или видеозаписями (зависит от того, есть ли на данную песню видеоклип). Если запрос содержит слова «видео», «смотреть» или их синонимы, то первым наверняка будет блок с видеозаписями. Надеюсь, принцип понятен.

Кроме основного поиска ВКонтакте есть удобный поиск по конкретным разделам. Список разделов указан в верхней навигационной панели страницы:

Теперь о поиске по сообществам (рис. 3). В основной верхней строке поиска следует указать ключевое слово или фразу, характеризующую ваше сообщество. Также можно указать точное название группы.

Рис. 3 Ищем сообщества и группы ВКонтакте

В правом сайдбаре расположен список сообществ ВКонтакте по тематикам:

Можно посмотреть свои собственные приложения и активность друзей.

Поиск видео ВКонтакте

Что касается поиска по видео, то сначала кликаем по вкладке «Видеозаписи». Затем необходимо в поле «Поиск» ввести ключевое слово или фразу.

Рис. 5 Кто ищет видео Вконтакте, тот его найдет

Кроме того, можно отметить галочкой опцию «высокое качество» (цифра 1 на рис. 5), искать только длинные или короткие ролики (цифры 3 и 4 на рис. 5).

Поиск музыки ВКонтакте

Поиск музыки позволяет быстро найти интересующие Вас аудиозаписи (и прослушать их). Кликаем по вкладке «Музыка». В основное поле «Поиск» введите название композиции / исполнителя (или и то и другое). Ничего нажимать не надо – результаты поиска появятся автоматически. В правом сайдбаре расположено меню, при помощи которого можно посмотреть аудиозаписи друзей, свои аудиозаписи, популярные песни и т.д.

В дополнительном меню есть поиск по новостям и видеозаписям. При поиске новостей используйте соответствующие ключевые слова и фразы. Результаты поиска можно отсортировать по дате и по популярности.

P.S. Еще о поиске информации в Интернете.

Создал сообщество (группу или паблик) ВКонтакте, а оно не отображается в поиске, невозможно найти по названию. В чем причина? Когда оно там появится? Что нужно исправить?

Основная причина

Возможно, в настройках твоей группы или паблика выставлено возрастное ограничение 16+ или 18+, хотя там нет никакого контента «для взрослых». Позднее оказывается, что группа не отображается в безопасном поиске ВКонтакте, а в приложении для Айфона она даже не открывается по ссылке — выдается сообщение:

Вероятно, сообщество содержит недопустимые материалы и недоступно для просмотра.

Дело в том, что Эппл (производитель Айфонов) строго относится к «взрослым» материалам и требует скрывать их в приложениях независимо от возраста пользователя. Поэтому разработчики ВКонтакте вынуждены делать это в своем приложении. А в поиске по сайту ВК такую группу можно найти, только убрав галочку «Безопасный поиск» — ее не каждый заметит, так как она находится в самом конце параметров поиска.

Если ты ставишь в группе ограничение по возрасту, ты добровольно сообщаешь, что твою группу нужно скрыть. Не понимая до конца, что конкретно делаешь, ты не закроешь группу от подростков, а только помешаешь в нее заходить всем нормальным людям.

Как убрать возрастное ограничение в группе

Если в группе нет содержимого «для взрослых», зайди в управление сообществом (через кнопку с тремя точками — ) и в разделе «Дополнительная информация» нажми «Указать возрастные ограничения»:

Затем выбери вариант «До 16 лет», чтобы снять ограничение, и нажми «Сохранить».

Это должно решить проблему. Но учти, что в поиске группа может появиться не сразу, а спустя какое-то время.

Когда группа появится в поиске?

Почему группы ВКонтакте нет в поисковиках — Яндексе, Гугле?

Потому что она попадает в поисковые системы (индексируется) не сразу, а через некоторое время, иногда достаточно продолжительное — две недели, месяц. Это зависит от того, насколько быстро поисковики найдут группу (т.е. от наличия в интернете ссылок на нее), ее содержания и других факторов. Кроме того, Яндекс или Гугл может решить и вовсе не показывать группу в результатах поиска — по своим соображениям.

Бытует поверье, что если здесь внизу в комментариях оставить ссылку на свою группу, то она появится в поиске. Однако это не так. На самом деле надо внимательно прочитать эту статью еще раз и теперь уже на самом деле выполнить рекомендации.

Сегодня социальные сети заняли чрезвычайно важную часть жизни современного человека, здесь можно общаться с друзьями, находить общие интересы и даже найти множество полезной информации, а так же создавать тематические группы в контакте. Безусловным флагманом среди отечественных социальных сетей является «В Контакте». Количество ее участников растет буквально каждый день. Любой зарегистрировавшийся пользователь с помощью данного сервиса может искать своих друзей, одноклассников и знакомых, публиковать статусы и различную интересную информацию и просто общаться, а также многое другое. Особенное внимание стоит уделить множественным группам по интересам, которые существуют «В Контакте». Участники таких групп могут делиться собственными мнениями по определенной проблеме, оперативно получать самую важную, актуальную информацию по интересующим вопросам, а также первыми узнавать все события и новости мира, страны или города.

Поиск группы в ВК

Для зарегистрированных пользователей нужно найти надпись «Сообщества» на странице социальной сети и произвести поиск, воспользовавшись опциями категорий к которым относится интересующая Вас группа.

Каждый пользователь узнает о новых группах с помощью рассылки приглашений, новостей, из сообщений друзей или за счет удобного поиска по запросам. На сервисе «В Контакте» можно найти множество разных групп, однако следует выделить некоторые , пользующиеся особой популярностью. В частности, необходимо выделить следующие группы:

• «Смешно и интересно», «Позитив» и другие подобные им (здесь можно найти смешные цитаты, фотографии, последние интернет-мэмы, картинки, а также другую информацию, которая отлично поднимает настроение).
• Группы поклонников «Comedy Club =)» и КВН.
• Огромное количество групп, объединяющих ценителей кино и мультфильмов. Следует выделить «Интересное кино», «Блог кино», различные группы любителей сериалов, актеров, музыкантов, певцов, фильмов.
• По интересам в определенной сфере. Это могут быть группы для родителей, автолюбителей, студентов, работников компаний и определенных специальностей, фанатов футбола). Здесь следует выделить такие группы, как: «Футбол как стиль жизни», «Наш Зенит».
• Следует добавить к вышеперечисленным еще и несколько групп, которые никого не оставят равнодушным: «Заброшенные города мира» (особенно яркие впечатления остаются от фотографий, выложенных здесь — появляется ощущение таинственности, возникает желание побывать в этих местах), страница «Интересные события в Санкт-Петербурге» (эта страница будет особенно интересной для петербуржцев и гостей города, ведь здесь выкладывается информация об интересных мероприятиях, легендах и достопримечательностях Северной Пальмиры). «В Контакте» зарегистрировано огромное количество групп, поэтому каждый посетитель может найти подходящую для себя. К тому же, есть возможность создать свою группу.

Кроме того, есть и немного странные группы без определенных интересов и целей. Как правило, такие объединения создаются для того, чтобы обмениваться броскими цитатами, шутками и картинками. Например, «Группа людей, которые сначала печатают, а потом врубаются, что печатают на английском и всё набирают заново». группы и приглашать в нее новых участников.