Guessed Artist!

Guessed Artist! - Un proyecto sencillo para la clasificación de obras de arte usando Deep Learning

Introducción¶

Motivación¶

Hace unos meses tuve la suerte de visitar una exposición conjunta sobre Claude Monet y Eugène Boudin. El primero, máximo exponente del Impresionismo, es uno de mis pintores favoritos (incluso le copié algún cuadro cuando era un chaval); pero sorprendentemente no conocía nada del segundo. Resulta que Monet fue discípulo de Boudin (empezó a pintar gracias a él), aunque acabó eclipsando totalmente a su maestro. Ambos mantuvieron una larga relación de amistad, desencuentros, y admiración mutua por encima de todo.

En la exposición se podía comprobar la evolución de los dos pintores, desde un mismo punto de partida y misma temática, pero siguiendo distintos caminos, que con el tiempo volvieron a entrecruzarse. Resultado: una visita de casi 1 hora donde lo primero que hacías al ponerte delante de un nuevo cuadro era intentar adivinar su autor. ¡Pero no era nada sencillo!

Revisando la aplicación de redes neuronales convolucionales al reconocimiento de imágenes me vino a la cabeza aquella exposición. ¿Cómo de difícil resultaría para estas redes la tarea de distinguir el autor de un cuadro? ¿Será mucho más complicado que distinguir animales en fotografías? Vamos a comprobarlo :)

Los datos¶

Para poder entrenar nuestra red neuronal necesitaremos las fotos de muchos cuadros. Por suerte contamos con un dataset de obras de arte recopilado de WikiArt para una competición de Kaggle. Las imágenes de este dataset tienen copyright, pero se permite su uso para la minería de datos. Cuenta con algo más de 100.000 pertenecientes a 2.300 artistas, cubriendo un montón de estilos y épocas. Cada imagen está etiquetada en un fichero csv que obtendremos aparte.

NOTA: Por rendimiento usaremos una versión preprocesada del dataset, con imágenes más pequeñas obtenidas de aquí.

Las herramientas¶

Para este pequeño proyecto vamos a utilizar la librería fastai, que corre sobre PyTorch. Fastai simplifica el entrenamiento de redes neuronales aplicando técnicas punteras de forma eficiente, y obteniendo resultados a la altura de los últimos avances en visión artificial, procesamiento del lenguaje natural, datos tabulares y filtrado colaborativo.

Manos a la obra¶

Inicializaciones¶

Dependiendo del entorno realizamos una inicialización previa:

Hacemos los imports necesarios (el uso del asterisco no está recomendado pero es útil a la hora de probar una nueva librería).

Obtención de los datos¶

Vamos a usar la versión lite del dataset original, que contiene todas las imágenes pero con un tamaño reducido, a sabiendas de que para entrenar nuestra red usaremos tamaños como 224x224 o 299x299 píxeles.

Las imágenes reducidas se encuentran en un repositorio de github, divididas entre un fichero comprimido con las imágenes de entrenamiento y otro con las de test. Descargaremos ambos, los descomprimiremos, y copiaremos todas las imágenes a una misma ubicación.

Este es el número exacto de cuadros incluidos en nuestro dataset.

A continuación descargamos el fichero CSV con toda la información asociada a las imágenes (autor, estilo, género, nombre del fichero, etc). El fichero está alojado en mi repositorio de github por sencillez, pero se obtuvo previamente de Kaggle:

Cargamos la información del CSV en un dataframe de Pandas:

Vemos qué tipo de datos contiene de forma rápida:

Clasificador de estilos (v1)¶

NOTA: Existe una versión más nueva de este apartado en otros notebooks.

Lo primero que vamos a tratar de hacer con los datos, a modo de entrenamiento y por curiosidad, es crear un modelo para clasificar los cuadros por estilo. A priori contamos con dicha información en la columna style. Veamos qué contiene exactamente.

Preprocesado de los datos¶

La columna style cuenta con un montón de categorías diferentes que en algunos casos parecen incluso una broma:

Nosotros usaremos sólo los estilos más repetidos en el dataset; ya que en mi opinión las categorías están demasiado atomizadas (de hecho yo sería aún más selectivo).

Aunque el punto de corte parezca algo aleatorio en realidad no lo es. Cortamos en el Ukiyo-e con la curiosidad de saber qué tal se comportará nuestro clasificador con un estilo tan particular.

Vemos la lista de estilos íntegra, junto al número de obras en cada uno de ellos (más que suficiente):

Creamos un nuevo dataframe usando sólo los estilos seleccionados:

Para que el dataset esté balanceado y el procesamiento sea más rápido, hacemos un muestro para quedarnos con el mismo número de imágenes por estilo:

Aquí es donde entra en juego la librería fastai. Con una única línea de código conseguiremos:

• crear los subconjuntos de entrenamiento y validación a partir del dataframe anterior, usando la estructura de Imagenet.
• asignar una serie de transformaciones aleatorias para las imágenes (ds_tfms), que funcionan bastante bien en muchos escenarios. (Ver párrafo siguiente).
• configurar el tamaño de las imágenes a enchufar a nuestra red (size).
• asignar el tamaño del batch (bs) para entrenamiento
• aplicar la normalización deseable cuando vamos a usar una red neuronal (normalize()).

El aumento de datos (data augmentation) es posiblemente la técnica de regularización más importante cuando se entrena un modelo para reconocimiento de imágenes. En lugar de alimentar nuestra red con las mismas imágenes una y otra vez, hacemos pequeñas transformaciones aleatorias (un poco de rotación, traslación, zoom, etc.) que no cambie lo que está dentro de la imagen a simple vista, pero sí que cambie los valores de sus píxeles. Los modelos entrenados con esta técnica generalizarán mejor. En nuestro caso igual puede tener menos sentido que en otros escenarios, ya que los cuadros no se mueven. Pero si pensamos en la posibilidad de poner nuestro modelo en producción, donde cualquiera pudiera enviar una imagen hecha con el móvil, seguro que vamos a querer aplicar esta técnica.

Vemos una pequeña muestra de los datos, con su etiqueta correspondiente:

Modelo basado en ResNet-50¶

Para llevar a cabo nuestra tarea, necesitamos elegir primero el tipo de red neuronal, y la arquitectura subyacente.

Nos basaremos en una red neuronal convolucional (CNN), debido a su rendimiento contrastado en clasificación de imágenes. Para la arquitectura no partiremos de cero, sino que usaremos un modelo pre-entrenado sobre ImageNet (un dataset con más de 1 millón de imágenes), que ya sabe reconocer muchas cosas. Más concretamente usaremos ResNet-34 y ResNet-50 (el nº hace referencia a las capas). Por tanto, estaremos aplicando lo aprendido con ImageNet a nuestra red (Transfer Learning), y la empezaremos a entrenar con las imágenes de pinturas, para obtener unos resultados a la altura del estado del arte, nunca mejor dicho.

Del uso de ResNet es de donde vienen los tamaños elegidos para nuestras imágenes; 224x224 (ResNet-34) y 299x299 (ResNet-50).

Para llevar a cabo el entrenamiento en fastai sólo tendremos que ejecutar unas líneas. Primero instanciaremos un Learner especializado en CNN, especificando la arquitectura base. En este apartado usaremos directamente ResNet-50:

A continuación usaremos la función fit_one_cycle() del Learner, para llevar a cabo el entrenamiento de nuestro modelo usando un algoritmo rapidísimo para arquitecturas complejas (más sobre 1cycle]). El parámetro principal es el número de epochs a ejecutar:

Entrenando el modelo simplemente modificando las capas adicionales conseguimos un acierto del 54,19%. Pero esto es sólo la etapa 1; vamos a por la segunda.

Intentamos encontrar cuál es la tasa de aprendizaje para la siguiente etapa:

La idea en esta segunda etapa es descongelar los pesos de las capas pertenecientes a la arquitectura de partida, para volver a entrenar nuestro modelo completo. De esta forma podremos mejorar un poco más nuestro clasificador.

La clave está en elegir la tasa de aprendizaje máxima para las distintas capas del modelo. Con esta gráfica elegiremos basicamente la tasa máxima para las primeras capas (una tasa pequeña, ya que dichas capas no necesitan mucho ajuste). La tasa máxima para las últimas capas se suele elegir unas 10 veces menor que la elegida para la primera etapa (3e-3 por defecto), teniendo en cuenta que nunca empeore el coste en la gráfica.

Descongelamos los pesos y volvemos a entrenar el modelo:

Vemos cómo llega un momento en que el coste de validación empieza a empeorar, y también el acierto del clasificador. Nos quedaremos con el modelo en ese punto (epoch 5). El acierto de nuestro clasificador se queda en un 56,19%, que no está mal si tenemos en cuenta la dificultad de la tarea. ¡Desde luego que a mí me supera!

Resultados¶

Vamos a interpretar los resultados de forma rápida usando un par de herramientas básicas.

Primero pintamos las decisiones más fallidas de nuestro clasificador:

En estos ejemplos nuestro clasificador arrojó una probabilidad nula de que el estilo del cuadro fuera el que realmente es.

Pintamos la matriz de confusión para obtener una visión general de los errores:

Con esta gráfica podemos observar dónde se está equivocando nuestro clasificador exactamente.

Existen varios estilos donde falla con mucha frecuencia. Así a primera vista no me extraña para nada su confusión entre:

• Impresionismo, Post-Impresionismo y Expresionismo
• Romanticismo y Realismo
• Barroco y Rococó

Es curioso, pero creo que coincido con la red neuronal en el estilo más sencillo de diferenciar: ¡el Ukiyo-e!

Vamos a ver el ránking de categorías más equivocadas:

No es nada sencillo ubicar determinadas obras, y estoy seguro de que las personas que etiquetaron estos cuadros también tuvieron sus dudas al hacerlo. Igual que no se puede etiquetar toda la obra de un pintor en una sola categoría, la delimitación entre estilos no es tan clara como puede ser en otros ámbitos, y hay pinturas que podrían perfectamente encajar bajo más de una etiqueta.

Aún así los resultados conseguidos (56,19% de acierto) son muy buenos, comparando con lo que se consideraba estado-del-arte hace muy poco tiempo (2015, 2016), y relativamente cerca de un proyecto similar más reciente (2017). Nuestros resultados son aún más valiosos teniendo en cuenta que no hemos hecho gran cosa para mejorar los datos de entrada, y prácticamente nada para modelar la red en sí misma (aunque esto es mérito de la librería fastai en particular, y del campo de la investigación en general).

Seguramente se podrían mejorar los resultados usando más imágenes, recortes de las mismas, unas categorías más generalistas, otras transformaciones que no sean las de por defecto, etc. Pero no era el propósito de este proyecto.

Y después de comprobar lo complicado que resulta asignar un cuadro a un estilo determinado... ¿Qué tal si probamos ahora con nuestra intención inicial de reconocer al autor de una obra? En ese caso la etiqueta o variable dependiente no será tan subjetiva :)

Reconocimiento del autor de la obra¶

Preprocesado de los datos¶

Para esta tarea vamos a usar sólo los artistas con más de 300 pinturas en el dataset, de forma que tengamos muestras suficientes para entrenar nuestra red. Esta vez vamos a optar por no hacer nada con respecto al desbalanceo entre el número de cuadros por pintor.

NOTA: el número escogido no es casual; se eligió para comparar con un proyecto similar.

Imprimimos la lista de autores y el número de obras de cada uno:

Usamos de nuevo ImageDataBunch y su método from_df() para crear los subconjuntos de entrenamiento y validación. Esta vez vamos a usar como tamaño 224x224 de cara a usar ResNet-34:

Comprobamos el número de autores:

Modelo basado en ResNet-34¶

Vamos a probar con la arquitectura ResNet-34, debido a que es una arquitectura más liviana. Luego probaremos también con ResNet-50, para comparar resultados y tiempos.

Seguimos los mismos pasos que dimos en el entrenamiento del clasificador por estilo. Vamos primero con la etapa 1:

Vamos ahora con la etapa 2:

Como tasa máxima de aprendizaje para las primeras capas elegiremos un punto donde comience la mayor pendiente negativa en la función de coste (2e-5). Siempre hay que tener cuidado de que no sea demasiado grande (algo que notaremos rapidamente si el coste de entrenamiento y el de validación aumentan).

Probamos:

Obtenemos una tasa de acierto del 75,94%. No vamos a entretenernos más aquí; vamos de nuevo a por ResNet-50.

Modelo basado en ResNet-50¶

Repetimos el proceso con la arquitectura de 50 capas, lo que a priori nos proporcionará mejores resultados por ser más grande.

Ahora usaremos imágenes con un tamaño de 299x299:

Seguimos los mismos pasos de siempre:

Ya estamos rozando los resultados de ResNet-34.

Vamos con la segunda etapa. Primero elegimos la tasa de aprendizaje máxima para las distintas capas:

Descongelamos los pesos de las primeras capas y entrenamos el modelo completo:

Elegimos una tasa de aprendizaje máxima distinta para las últimas capas, ya que aparentemente según la gráfica podemos ir más rápido:

El acierto ha mejorado en 1 punto porcentual, lo que no es poco. Nos quedamos con este modelo que nos proporciona un acierto del 79,55%; un 3,5% más que ResNet-34 ¡WOW! aunque eso sí, doblando el tiempo de entrenamiento.

Resultados¶

Vamos a interpretar los resultados de nuestro clasificador por artista. Directamente nos vamos a la matriz de confusión:

Parece que no hay tantas equivocaciones sangrantes como en el caso del clasificador por estilo. Veamos el ránking de confusiones:

Podemos observar como las 2 mayores confusiones de la red son:

• Magritte y Dali: ambos representantes del Surrealismo, un estilo bastante particular.
• Chase y Sargent: pertenecientes al Impresionismo, con temáticas similares.

Luego tenemos varios artistas que la red confunde entre sí... Pissarro, Sisley, Monet, Gauguin o Boudin. ¡Otra vez el impresionismo! ¿o es el "post-impresionismo"? :)

¿Y qué pasa con Monet y Boudin en concreto? pues que nuestro clasificador ha registrado solamente 3 confusiones entre ambos.

De nuevo vemos que no es nada sencillo identificar al autor de determinadas obras, habiendo pintores de la misma época con el mismo estilo e incluso pintando los mismos paisajes. Lo bueno de este caso es que las etiquetas utilizadas son más objetivas que en el caso de los estilos (a no ser que empecemos a hablar de dudosas asignaciones de autoría...).

Los resultados conseguidos (79,5% de acierto) son excelentes, comparando de nuevo con el estado-del-arte en 2016 o 2017, y teniendo de nuevo en cuenta que prácticamente lo hemos dejado todo en manos de la librería fastai.

De nuevo podemos pensar en que se podrían mejorar algo los resultados usando más imágenes y recortes, u otras transformaciones diferentes.

¡Que no se nos olvide! Finalmente exportamos el modelo :)

Monet o Boudin?¶

¿Y si hacemos un clasificador específico para diferenciar solamente cuadros de estos 2 pintores? ¿mejorarán los resultados?Vamos a comprobarlo.

Aquí una pequeña muestra del problema al que nos estamos enfrentando. ¿Fácil?

Vamos de nuevo con el entrenamiento:

Interpretamos los resultados de la etapa 1, para depurar cómo está funcionando nuestro modelo en este punto, y como mejorará una vez pasemos la etapa 2:

Pues de momento se equivoca en sólo 5 cuadros (de un total de 198).

Vamos con la etapa 2:

Veamos los resultados:

¡Hemos pasado a cometer sólo 3 errores! lo que supone un 98,48% de acierto. También es verdad que nuestro clasificador estaba muy seguro de su decisión en los 2 primeros errores que vemos. Aquí podríamos seguir rascando para intentar comprender el motivo.

En fin! mejor no os cuento los fallos que cometí yo en mi visita a su exposición conjunta.... Y eso que yo estaba viendo los cuadros en todo su esplendor y no una triste miniatura :)

Conclusiones¶

La aproximación utilizada para crear nuestro clasificador funciona muy bien y devuelve grandes resultados (mejorando incluso proyectos relativamente recientes); sin la necesidad de contar con una gran máquina (Google Colab, instancia gratuita) ni con mucho tiempo (se puede ver lo que tardó cada entrenamiento).

El uso de fastai supone un gran avance en el campo de Deep Learning. Reduce nuestro desarrollo a muy pocas líneas (en comparación con lo que nos costaría en PyTorch) y pone a nuestra disposición tanto las arquitecturas más usadas como los métodos más avanzados.

Futuras líneas de trabajo¶

Existen varias posibilidades para ampliar el ámbito de este proyecto. Entre ellas:

• Creación de una API donde se puedan enviar imágenes de cuadros para obtener una predicción de su autor.
• Comparación con otras arquitecturas, o con otras versiones de ResNet que usan más capas.
• Prueba de otras transformaciones, teniendo en cuenta nuestro caso en particular.
• Uso de recortes para que la red neuronal pueda ver cosas como la pincelada o los materiales usados. En realidad son 2 parámetros esenciales para nosotros.