Основы программирования в Python

Алла Тамбовцева, НИУ ВШЭ

Работа с API: пример с API ВКонтакте

Сегодня мы немного поработаем с API. API – программный интерфейс приложения, сокращение от Application Programming Interface. Этот интерфейс позволяет выполнять различные операции автоматически, через приложение. Если API нам нужен исключительно как источник данных, можно писать запросы, позволяющие обратиться к хранилищу информации внутри API. Если мы хотим управлять приложением, которое будет выполнять какие-то действия, удаленно, можно написать код, который будет, например, автоматически отвечать на сообщения, когда мы не онлайн, лайкать новый пост друга через 30 секунд после его появления, пересылать на почту фотографии, которые выложили участники диалога и прочее.

Мы будем работать с API социальной сети ВКонтакте. Использовать API для написания и приема сообщений средствами Python мы не будем, а рассмотрим API как источник данных, позволяющий выгрузить все посты со стены пользователя или сообщества. Для работы нам понадобится библиотека vk, ее нужно установить через pip install vk в Anaconda Command Prompt (см. пример с selenium здесь).

Импортируем библиотеку:

In [1]:
import vk

Теперь нужно авторизоваться: создать приложение и получить токен доступа к нему.

Для авторизации:

  1. Создать приложение ВКонтакте (пройти по ссылке). Дать название, выбрать Standalone-приложение.
  2. Включить приложение, сделать публичным (Настройки - Состояние и выбрать в выпадающем меню Приложение включено и видно всем).
  3. Авторизоваться: скопировать строку ниже в браузер, в client id вместо 1 выставить id своего приложения (первая строка в настроках ‒ ID приложения). Если не хочется ни в чем ограничивать свое приложение, можно оставить scope=all (у приложения будет доступ ко всему, к чему есть доступ у пользователя).

    https://oauth.vk.com/authorize?client_id=1&display=page&redirect_uri=http://oauth.vk.com/blank.html&scope=all&response_type=token

  4. Скопировать access token из обновленной адресной строки (все после access_token= и до &expires_in, без &). Никому не показывать! По этому токену можно получить доступ ко всему аккаунту.

In [2]:
# скопировать свой access token без пробелов вместо 1234
token = '1234'
In [3]:
session = vk.Session(access_token = token) # открыть сессию для работы
api = vk.API(session) # подключиться к API

Попробуем сгрузить первые 100 постов со стены неофициального сообщества ВШЭ. Сохраним ссылку на сообщество в переменную group:

In [4]:
group = 'hseofficial'

Обратите внимание: ссылка должна быть относительной, то есть без части с https:/vk.com/. Python и так будет знать, что мы работаем с сетью ВКонтакте.

Теперь получим доступ к стене этого сообщества:

In [5]:
# wall.get - "подключаемся" к стене
# count - сколько постов выгрузить (максимум)
# v - версия API, можно обойтись без нее, но Python может выдать warning

res = api.wall.get(domain = group, count = 100, v = 5.73)
In [7]:
res

Результат, сохраненный в res, очень похож на словарь. На самом деле, многие API возвращают результаты в формате JSON (JavaScript Object Notation), который тоже может быть представлен в виде набора пар ключ-значение.

In [8]:
res.keys()
Out[8]:
dict_keys(['count', 'items'])

Ключами являются count и items. Нужные нам объекты (текст постов, id автора, дата и время публикации и проч.) находятся в items.

In [9]:
res['items'][0] # первый элемент items - первый пост со всей информацией о нем
Out[9]:
{'id': 32543,
 'from_id': -132,
 'owner_id': -132,
 'date': 1544212600,
 'marked_as_ads': 0,
 'post_type': 'post',
 'text': 'Веб-журнал "Популярная логистика" https://vk.com/popular_logistics',
 'post_source': {'type': 'vk'},
 'comments': {'count': 5, 'can_post': 1, 'groups_can_post': True},
 'likes': {'count': 6, 'user_likes': 0, 'can_like': 1, 'can_publish': 1},
 'reposts': {'count': 3, 'user_reposted': 0},
 'views': {'count': 3845}}

Помимо текста поста можно найти много всего интересного. Например, тип поста (post_type), дата (date), id поста (id), лайки (likes, которые включают информацию о том, могут ли пользователи лайкать пост и публиковать его, а также собственно число лайков), репосты (reposts, которые включают число репостов), число просмотров (views), комментарии (comments, которые включают информацию о том, могут ли пользователи комментировать пост, и число комментариев), и так далее.

Давайте остановимся на тексте поста, id автора, id поста, дате публикации, числе лайков и репостов. Чтобы извлечь соответствующую информацию, сохраним items и извлечем из них нужные поля:

In [10]:
items = res['items']
In [11]:
full_list = []

for item in items:
    L = [item['from_id'], item['id'], item['text'], item['date'],
        item['likes']['count'], item['reposts']['count']]  # нужные поля
    full_list.append(L)  # добавляем в список списков full_list
In [12]:
# несколько элементов списка
full_list[0:3]
Out[12]:
[[-132,
  32543,
  'Веб-журнал "Популярная логистика" https://vk.com/popular_logistics',
  1544212600,
  6,
  3],
 [-132,
  32542,
  'ТелеВышка представляет проект "Как понять?" https://vk.com/tvhse',
  1544163562,
  14,
  0],
 [-132, 32541, '', 1544163342, 3, 0]]

Видно, что в третьем посте текста не обнаружено.

Из этого списка списков можно легко сделать датафрейм pandas. Но прежде посмотрим, как сгрузить следующие 100 (и не только 100) постов со стены. Обычно при работе с API нужно принимать во внимание две вещи: 1) какое ограничение стоит на число запросов за один раз (число постов в нашем случае); 2) какое ограничение стоит на число запросов в минуту. Чтобы действовать в соответствии с этими ограничениями, поступим так: будем грузить каждые следующие 100 постов, добавлять их к нашему списку, потом немного ждать, и грузить еще 100 постов, и так до тех пор, пока не сгрузим желаемое количество.

Давайте для начала выберем это желаемое число постов. Пусть будет 400.

In [15]:
nposts = 400

Теперь вопрос: по каким значениям нужно «пробегаться» в цикле, чтобы сгрузить посты с 100 по 400 (первые 100 уже сохранены в res)? По целым значениям от 2 до 4 включительно, умножая эти значения на 100. В vk.get есть опция offset. Она позволяет сдвинуть начало отсчета постов на некоторое число. Так, если мы напишем api.wall.get(domain = group, count = 100, offset = 100, v = 5.73), мы получим посты с 100 по 200, так как начало отсчета сдвинулось на 100.

Реализуем описанное выше. Для цикла нам понадобится range(), а для задержки после выгрузки каждой сотни постов нам пригодится функция sleep:

In [16]:
from time import sleep
In [17]:
for i in range(2, int(nposts/100) + 1):
    res2 = api.wall.get(domain = group, count = 100, offset = 100 * i, v = 5.73)
    items2 = res2['items']
    items.extend(items2) # добавляем к первой сотне постов в items
    sleep(10)
In [18]:
# опять выберем только нужные поля
full_list = []
for item in items:
    L = [item['from_id'], item['id'], item['text'], item['date'],
        item['likes']['count'], item['reposts']['count']]
    full_list.append(L)

Оставлось превратить обновленный список items (список списков) в датафрейм. Импортируем pandas.

In [19]:
import pandas as pd

Создадим датафрейм:

In [20]:
df = pd.DataFrame(full_list)
In [21]:
df.head(10)
Out[21]:
0 1 2 3 4 5
0 -132 32543 Веб-журнал "Популярная логистика" https://vk.c... 1544212600 6 3
1 -132 32542 ТелеВышка представляет проект "Как понять?" ht... 1544163562 14 0
2 -132 32541 1544163342 3 0
3 -132 32540 В Вышке есть новый журнал! \nhttps://www.metam... 1544163253 3 0
4 -132 32539 Студент Чичиль, карту нашли https://vk.com/mar... 1544163148 0 0
5 -132 32538 Выпускников экономических и технических специа... 1544028994 4 1
6 -132 32534 1543265214 7 1
7 -132 32533 1543263221 0 0
8 -132 32530 Приглашаем 2 декабря в 11-00 на Кирпичную , 33... 1543222748 3 2
9 -132 32529 1543220528 2 0

Ура! Осталось только дать внятные названия столбцам и разобраться, почему дата представлена в таком виде. что делать со столбцами, мы уже знаем.

In [22]:
df.columns = ['from_id', 'id', 'text', 'date', 'likes', 'reposts']
df.head(10)
Out[22]:
from_id id text date likes reposts
0 -132 32543 Веб-журнал "Популярная логистика" https://vk.c... 1544212600 6 3
1 -132 32542 ТелеВышка представляет проект "Как понять?" ht... 1544163562 14 0
2 -132 32541 1544163342 3 0
3 -132 32540 В Вышке есть новый журнал! \nhttps://www.metam... 1544163253 3 0
4 -132 32539 Студент Чичиль, карту нашли https://vk.com/mar... 1544163148 0 0
5 -132 32538 Выпускников экономических и технических специа... 1544028994 4 1
6 -132 32534 1543265214 7 1
7 -132 32533 1543263221 0 0
8 -132 32530 Приглашаем 2 декабря в 11-00 на Кирпичную , 33... 1543222748 3 2
9 -132 32529 1543220528 2 0

С датой все интереснее. То, что указано в столбце date, это дата в виде UNIX-времени (POSIX-времени). Это число секунд, прошедших с 1 января 1970 года. Несмотря на то, что такой формат даты-времени кажется необычным, он довольно широко распространен в разных системах и приложениях (см. подробнее здесь). Этот факт, конечно, радует, но хочется получить дату в более человеческом формате. Давайте напишем функцию для перевода UNIX-времени в формат год-месяц-день-часы-минуты-секунды. Для этого нам понадобится модуль datetime.

In [23]:
from datetime import datetime
In [24]:
def date_norm(date):
    d = datetime.fromtimestamp(date) # timestamp - UNIX-время в виде строки
    str_d = d.strftime("%Y-%m-%d %H:%M:%S") # %Y-%m-%d %H:%M:%S - год-месяц-день, часы:мин:сек
    date_norm, time_norm = str_d.split(' ') # разобьем результат на части, отделим дату от времени
    return date_norm, time_norm

Применим нашу функцию к элементам столбца date и создадим новый – date_norm.

In [25]:
df['date_norm'] = df.date.apply(date_norm)
In [26]:
df.head()
Out[26]:
from_id id text date likes reposts date_norm
0 -132 32543 Веб-журнал "Популярная логистика" https://vk.c... 1544212600 6 3 (2018-12-07, 22:56:40)
1 -132 32542 ТелеВышка представляет проект "Как понять?" ht... 1544163562 14 0 (2018-12-07, 09:19:22)
2 -132 32541 1544163342 3 0 (2018-12-07, 09:15:42)
3 -132 32540 В Вышке есть новый журнал! \nhttps://www.metam... 1544163253 3 0 (2018-12-07, 09:14:13)
4 -132 32539 Студент Чичиль, карту нашли https://vk.com/mar... 1544163148 0 0 (2018-12-07, 09:12:28)

Можно было, конечно, не разбивать на части дату и время, сохранять одной строкой. А можно написать функции, которые будут отделять дату от времени – извлекать их из кортежа в date_norm.

In [27]:
def get_date(date):
    return date[0]

def get_time(date):
    return date[1]
In [28]:
df['Date'] = df.date_norm.apply(get_date)
df['Time'] = df.date_norm.apply(get_time)
In [29]:
df.head()
Out[29]:
from_id id text date likes reposts date_norm Date Time
0 -132 32543 Веб-журнал "Популярная логистика" https://vk.c... 1544212600 6 3 (2018-12-07, 22:56:40) 2018-12-07 22:56:40
1 -132 32542 ТелеВышка представляет проект "Как понять?" ht... 1544163562 14 0 (2018-12-07, 09:19:22) 2018-12-07 09:19:22
2 -132 32541 1544163342 3 0 (2018-12-07, 09:15:42) 2018-12-07 09:15:42
3 -132 32540 В Вышке есть новый журнал! \nhttps://www.metam... 1544163253 3 0 (2018-12-07, 09:14:13) 2018-12-07 09:14:13
4 -132 32539 Студент Чичиль, карту нашли https://vk.com/mar... 1544163148 0 0 (2018-12-07, 09:12:28) 2018-12-07 09:12:28

Всё! Материалы о разных методах и функциях для vk.api можно найти в официальной документации.