Guessed Style! v2.1

Guessed Artist! - Un proyecto sencillo para la clasificación de obras de arte usando Deep Learning

NOTA: Este notebook retoma el trabajo en el notebook guessed-style obteniendo un 1% de acierto más, y añadiendo predicción para imágenes individuales, con ejemplos (el otro notebook se conserva por mantener los resultados que se publicaron en un artículo). Para la clasificación por autor, consultar el notebook guessed-artist.

Introducción¶

Motivación¶

Hace unos meses tuve la suerte de visitar una exposición conjunta sobre Claude Monet y Eugène Boudin. El primero, máximo exponente del Impresionismo, es uno de mis pintores favoritos (incluso le copié algún cuadro cuando era un chaval); pero sorprendentemente no conocía nada del segundo. Resulta que Monet fue discípulo de Boudin (empezó a pintar gracias a él), aunque acabó eclipsando totalmente a su maestro. Ambos mantuvieron una larga relación de amistad, desencuentros, y admiración mutua por encima de todo.

En la exposición se podía comprobar la evolución de los dos pintores, desde un mismo punto de partida y misma temática, pero siguiendo distintos caminos, que con el tiempo volvieron a entrecruzarse. Resultado: una visita de casi 1 hora donde lo primero que hacías al ponerte delante de un nuevo cuadro era intentar adivinar su autor. ¡Pero no era nada sencillo!

Revisando la aplicación de redes neuronales convolucionales al reconocimiento de imágenes me vino a la cabeza aquella exposición. ¿Cómo de difícil resultaría para estas redes la tarea de distinguir el autor de un cuadro? ¿Será mucho más complicado que distinguir animales en fotografías? Vamos a comprobarlo :)

Los datos¶

Para poder entrenar a nuestra red neuronal necesitaremos las fotos de muchos cuadros. Por suerte contamos con un dataset de obras de arte recopilado de WikiArt para una competición de Kaggle. Las imágenes de este dataset tienen copyright, pero se permite su uso para la minería de datos. Cuenta con algo más de 100.000 pertenecientes a 2.300 artistas, cubriendo un montón de estilos y épocas. Cada imagen está etiquetada en un fichero csv que obtendremos aparte.

NOTA: Por rendimiento usaremos una versión preprocesada del dataset, con imágenes más pequeñas obtenidas de aquí.

Las herramientas¶

Para este pequeño proyecto vamos a utilizar la librería fastai, que corre sobre PyTorch. Fastai simplifica el entrenamiento de redes neuronales aplicando técnicas punteras de forma eficiente, y obteniendo resultados a la altura de los últimos avances en visión artificial, procesamiento del lenguaje natural, datos tabulares y filtrado colaborativo.

Manos a la obra¶

Inicializaciones¶

Dependiendo del entorno realizamos una inicialización previa:

Hacemos los imports necesarios (el uso del asterisco no está recomendado pero es útil a la hora de probar una nueva librería).

Obtención de los datos¶

Vamos a usar la versión lite del dataset original, que contiene todas las imágenes pero con un tamaño reducido, a sabiendas de que para entrenar nuestra red usaremos tamaños como 224x224 o 299x299 píxeles.

Las imágenes reducidas se encuentran en un repositorio de github, divididas entre un fichero comprimido con las imágenes de entrenamiento y otro con las de test. Descargaremos ambos, los descomprimiremos, y copiaremos todas las imágenes a una misma ubicación.

Este es el número exacto de cuadros incluidos en nuestro dataset.

A continuación descargamos el fichero CSV con toda la información asociada a las imágenes (autor, estilo, género, nombre del fichero, etc). El fichero está alojado en mi repositorio de github por sencillez, pero se obtuvo previamente de Kaggle:

Cargamos la información del CSV en un dataframe de Pandas:

Vemos qué tipo de datos contiene de forma rápida:

Clasificación por estilo (v2)¶

Lo primero que vamos a tratar de hacer con los datos, a modo de entrenamiento y por curiosidad, es crear un modelo para clasificar los cuadros por estilo. A priori contamos con dicha información en la columna style. Veamos qué contiene exactamente.

Preprocessing¶

La columna style cuenta con un montón de categorías diferentes que en algunos casos parecen incluso una broma:

Nosotros usaremos sólo los estilos más repetidos en el dataset; ya que en mi opinión las categorías están demasiado atomizadas (de hecho yo sería aún más selectivo).

NOTA: En esta segunda versión cogeremos 25 estilos en lugar de 16, y usaremos 750 muestras de cada uno.

Vemos la lista de estilos íntegra, junto al número de obras en cada uno de ellos (más que suficiente):

Creamos un nuevo dataframe usando sólo los estilos seleccionados:

Para que el dataset esté balanceado y el procesamiento sea más rápido, hacemos un muestro para quedarnos con el mismo número de imágenes por estilo:

Aquí es donde entra en juego la librería fastai. Con una única línea de código conseguiremos:

• crear los subconjuntos de entrenamiento y validación a partir del dataframe anterior, usando la estructura de Imagenet.
• asignar una serie de transformaciones aleatorias para las imágenes (ds_tfms), que funcionan bastante bien en muchos escenarios. (Ver párrafo siguiente).
• configurar el tamaño de las imágenes a enchufar a nuestra red (size).
• asignar el tamaño del batch (bs) para entrenamiento
• aplicar normalización; algo deseable cuando vamos a usar una red neuronal (normalize()).

El aumento de datos (data augmentation) es posiblemente la técnica de regularización más importante cuando se entrena un modelo para reconocimiento de imágenes. En lugar de alimentar nuestra red con las mismas imágenes una y otra vez, hacemos pequeñas transformaciones aleatorias (un poco de rotación, traslación, zoom, etc.) que no cambie lo que está dentro de la imagen a simple vista, pero sí que cambie los valores de sus píxeles. Los modelos entrenados con esta técnica generalizarán mejor. En nuestro caso igual puede tener menos sentido que en otros escenarios, ya que los cuadros no se mueven. Pero si pensamos en la posibilidad de poner nuestro modelo en producción, donde cualquiera pudiera enviar una imagen hecha con el móvil, seguro que vamos a querer aplicar esta técnica.

Vemos una pequeña muestra de los datos, con su etiqueta correspondiente:

Training: resnet-50¶

Para llevar a cabo nuestra tarea, necesitamos elegir primero el tipo de red neuronal, y la arquitectura subyacente.

Nos basaremos en una red neuronal convolucional (CNN), debido a su rendimiento contrastado en clasificación de imágenes. Para la arquitectura no partiremos de cero, sino que usaremos un modelo pre-entrenado sobre ImageNet (un dataset con más de 1 millón de imágenes), que ya sabe reconocer muchas cosas. Más concretamente usaremos ResNet-34 y ResNet-50 (el nº hace referencia a las capas). Por tanto, estaremos aplicando lo aprendido con ImageNet a nuestra red (Transfer Learning), y la empezaremos a entrenar con las imágenes de pinturas, para obtener unos resultados a la altura del estado del arte, nunca mejor dicho.

Para llevar a cabo el entrenamiento en fastai sólo tendremos que ejecutar unas líneas. Primero instanciaremos un Learner especializado en CNN, especificando la arquitectura base. En este apartado usaremos directamente ResNet-50:

A continuación usaremos la función fit_one_cycle() del Learner, para llevar a cabo el entrenamiento de nuestro modelo usando un algoritmo rapidísimo para arquitecturas complejas (más sobre 1cycle). El parámetro principal es el número de epochs a ejecutar:

Entrenando el modelo simplemente modificando las capas adicionales conseguimos un acierto del 54,19%. Pero esto es sólo la fase 1; vamos a por la segunda.

Intentamos encontrar cuál es la tasa de aprendizaje para la siguiente fase:

La idea en esta segunda fase es descongelar los pesos de las capas pertenecientes a la arquitectura de partida, para volver a entrenar nuestro modelo completo. De esta forma podremos mejorar un poco más nuestro clasificador.

La clave está en elegir la tasa de aprendizaje máxima para las distintas capas del modelo. Con esta gráfica elegiremos basicamente la tasa máxima para las primeras capas (una tasa pequeña, ya que dichas capas no necesitan mucho ajuste). La tasa máxima para las últimas capas se suele elegir unas 10 veces menor que la elegida para la primera fase (3e-3 por defecto), teniendo en cuenta que nunca empeore el coste en la gráfica.

Descongelamos los pesos y volvemos a entrenar el modelo:

Vemos cómo llega un momento en que el coste de validación deja de bajar. Nos quedaremos con el modelo en ese punto (epoch 6). El acierto de nuestro clasificador se queda en un 57,91%, que no está mal si tenemos en cuenta la dificultad de la tarea. ¡Desde luego que a mí me supera!

Results¶

Vamos a interpretar los resultados de forma rápida usando un par de herramientas básicas.

Primero pintamos las decisiones más fallidas de nuestro clasificador:

En estos ejemplos (el bottom-9) nuestro clasificador arrojó una probabilidad nula de que el estilo del cuadro fuera el que realmente es.

Pintamos la matriz de confusión para obtener una visión general de los errores:

Con esta gráfica podemos observar dónde se está equivocando nuestro clasificador exactamente.

Existen varios estilos donde falla con mucha frecuencia. Así a primera vista no me extraña para nada su confusión entre:

• Expresionismo abstracto e Informalismo
• Neoclasicismo y Academicismo (¡para la Wikipedia son lo mismo!)
• Impresionismo, Post-Impresionismo y Expresionismo
• Romanticismo y Realismo
• Barroco y Rococó
• Los distintos estilos dentro del Renacimiento

Es curioso, pero creo que coincido con la red neuronal en el estilo más sencillo de diferenciar: ¡el Ukiyo-e!

Vamos a ver el ránking de categorías más equivocadas:

No es nada sencillo ubicar determinadas obras, y estoy seguro de que las personas que etiquetaron estos cuadros también tuvieron (y tendrían ahora mismo) sus dudas al hacerlo. Igual que no se puede etiquetar toda la obra de un pintor en una sola categoría, la delimitación entre estilos no es tan clara como puede ser en otros ámbitos, y hay pinturas que podrían perfectamente encajar bajo más de una etiqueta; así como categorías que yo creo que atienden más a formalismos que al estilo en sí.

Aún así los resultados conseguidos (57,91% de acierto) son muy buenos, comparando con lo que se consideraba estado-del-arte hace muy poco tiempo (2015, 2017), y teniendo en cuenta que no hemos hecho gran cosa para mejorar los datos de entrada, y prácticamente nada para modelar la red en sí misma (aunque esto es mérito de la librería fastai y del campo de la investigación).

Seguramente se podrían mejorar los resultados usando más imágenes, recortes de las mismas, unas categorías más generalistas, otras transformaciones que no sean las de por defecto, etc. Pero no era el propósito de este proyecto.

Y después de comprobar lo complicado que resulta asignar un cuadro a un estilo determinado... ¿Qué tal si probamos ahora con nuestra intención inicial de reconocer al autor de una obra? En ese caso la etiqueta o variable dependiente no será tan subjetiva :)

NOTA: Este notebook aporta una segunda aproximación al problema de la clasificación por estilo, pasando de 16 a 25 categorías, y usando más muestras por cada uno de ellos. Para la clasificación por autor, consultar el notebook guessed-artist.

Clasificando una nueva imagen¶

Pues eso

El resultado de nuestro clasificador fue bastante claro.

Pero nosotros sabemos que el cuadro original de Munch pertenece al Expresionismo. ¿Qué tal si recortamos la imagen para dejar fuera el bicho enorme de arriba?

El recorte es clasificado dentro del Expresionismo, con más confianza incluso que en la anterior decisión. Bueno... en realidad se parece demasiado a la obra original, así que no es de extrañar este resultado.

¿Y por qué no probar con uno de mis cuadros? Voy a escoger el único del que tengo una foto a mano (copia de otro):

En mi humilde opinión este cuadro no encaja mucho dentro del Expresionismo. Además el clasificador tiene sus dudas entre 2 estilos, con poca confianza en la decisión. Quizá soy un artista demasiado ecléctico xD xD