Afinamiento de modelos de lenguaje para dominios específicos¶

Se han alcanzado avances notables en la creación de modelos de lenguaje que sirven como base para una amplia variedad de aplicaciones. Sin embargo, para maximizar su efectividad en dominios específicos, es necesario un proceso de adaptación que asegure que el modelo entienda y responda correctamente dentro del contexto particular en el que se aplicará. Aquí es donde intervienen técnicas como el entrenamiento autorregresivo y el ajuste fino supervisado (SFT).

Entrenamiento Autorregresivo¶

El entrenamiento autorregresivo es un proceso mediante el cual los modelos de lenguaje aprenden a predecir la siguiente palabra en una secuencia, dados los tokens previos. Este método implica entrenar el modelo en una enorme cantidad de datos de texto en los cuales el modelo "observa" cada palabra o token y genera probabilísticamente la siguiente palabra, continuando hasta completar la secuencia. Esta técnica permite que el modelo "aprenda" las relaciones sintácticas y semánticas en el lenguaje, así como patrones comunes en la generación de texto.

Los modelos autorregresivos, como GPT (Generative Pre-trained Transformer), son ideales para la generación de lenguaje natural, ya que pueden completar o generar texto que tenga coherencia y siga una estructura lógica. En contextos de dominio específico, esta capacidad es valiosa para personalizar respuestas o generar texto en campos especializados, como el jurídico, médico o técnico, donde el vocabulario y las convenciones lingüísticas difieren significativamente del lenguaje común.

Ajuste Fino Supervisado (Supervised Fine-Tuning o SFT)¶

Una vez que el modelo ha sido preentrenado de manera autorregresiva, el ajuste fino supervisado (SFT) se utiliza para adaptar el modelo a tareas o dominios específicos. En este proceso, el modelo recibe ejemplos etiquetados y supervisados de la tarea objetivo, que puede incluir respuestas a preguntas en un dominio particular, clasificaciones específicas o instrucciones de generación de texto que siguen convenciones particulares.

El SFT permite que el modelo mejore su rendimiento en tareas específicas al refinar sus parámetros en función de ejemplos reales. A través de este ajuste, el modelo puede aprender matices y detalles que no se encuentran en el lenguaje común, lo que resulta en respuestas o generaciones de texto más precisas y relevantes para el dominio en cuestión.

Aplicación en Dominios Específicos¶

La combinación del entrenamiento autorregresivo y el SFT permite a los modelos no solo generar texto de manera fluida, sino también adaptarse al lenguaje y a las normas de un contexto especializado. En la educación, por ejemplo, un modelo afinado mediante SFT puede adaptarse para responder preguntas complejas de matemáticas o ciencias con mayor precisión, mientras que en el sector de la salud, el modelo puede proporcionar recomendaciones de tratamiento o explicaciones basadas en terminología médica precisa.

Esta capacidad de personalización abre nuevas posibilidades para el uso de modelos de lenguaje en áreas específicas, optimizando su rendimiento y asegurando una mayor relevancia y exactitud en las respuestas.

Materiales¶

En este enlace notebooks y datasets vas a encontrar notebooks y datasets para el entrenamiento de modelos de lenguaje en dominios específicos.

Práctica en el aula¶

Vamos a entrenar un modelo de lenguaje en un dominio específico utilizando el ajuste fino supervisado (SFT). Para ello, utilizaremos el mismo modelo Mistral que acabamos de ver. En este caso, entrenaremos el modelo mediante SFT en el conjunto de datos list_of_strings.jsonl, que contiene ejemplos del tipo:

{"text": "<s>[INST] 12 es igual a [/INST] ocho más uno más uno más uno más uno </s>"}

Utiliza el notebook serie_generator.ipynb para generar nuevas líneas y medir el error que se produce en el texto generado por el modelo.