IA: Temperatura, Top-K y Top P

Educación Transformativa con IAG

Osmar J Maldonado Hernández

PARÁMETROS

Tem

pera

tura

Top-K

Top-P

SU PROCESO EN LA TOMA DE DECISIONES

Educación Transformativa con IAG

Ejemplo

jem

plo

Supóngamos que redactamos el siguiente prompt:

Describe la siguiente imagen:

De forma predeterminada el LLM tiene lo valores siguientes en los parámetros:

Temperatura: 0.6

Top-K: 5

Top-P: .9

Educación Transformativa con IAG

Ejemplo

jem

plo

Supóngamos que el LLM te da la siguiente respuesta al prompt anterior. Considerando los parámetros de Temperatura, Top-K y Top-P predeterminados

Un sofá gris con un perro de color _________.

Top-P: .9

Temperatura: 0.6

Top-K: 5

Muestreo Aleatorio

RECORDANDO QUE...

La temperatura es un parámetro que controla la aleatoriedad de las predicciones del modelo. Un valor de temperatura bajo hace que el modelo sea más determinista y elija las palabras con mayor probabilidad, mientras que un valor alto aumenta la aleatoriedad y permite la selección de palabras menos probables.

Con un parámetro mínimo 0 y uno máximo de 1. El valor del parámetro de Temperatura del ejemplo, se podría decir que es "moderado". Es decir con un valor de 0.6, se le da al modelo un "libertad moderada" de seleccionar tokens menos probables.

Recordando que...

El parámetro Top-K fija un número específico de palabras que el modelo puede elegir en cada paso de generación. Sólo se consideran las K palabras con mayor probabilidad.En nuestro ejemplo, con un parámetro Top-K: 5, implica que el modelo seleccionará cada palabra/token de la secuencia de un grupo de 5 opciones con mayor valor probabilístico.

Recordando que...

Dentro del conjunto de palabras seleccionadas por Top-K, se aplica el muestreo de núcleo (Top-P) y se seleccionan las palabras cuya probabilidad acumulada es al menos P. Dentro de nuestro ejemplo, con el parámetro Top-P con valor de .9, implica que se selecionarían las palabras con mayor peso hasta sumar o superar .9 Las de menor valor quedarían descartadas.

Con un parámetro mínimo 0 y uno máximo de 1. El valor del parámetro de Temperatura del ejemplo, se podría decir que es "moderado". Es decir, con un valor de 0.6, se le da al modelo un "libertad moderada" de seleccionar tokens menos probables.

Dentro del conjunto de palabras seleccionadas por Top-K: Café (.5) / Marrón (.3) / Oro (.1) / Naranja (.05) / Sepia (.03) Se aplica el muestreo de núcleo (Top-P) y se seleccionan las palabras cuya probabilidad acumulada es al menos el valor del parámetro Top-P de nuestro ejemplo, que es .9 En este caso se seleccionarían: Café (.5) / Marrón (.3) / Oro (.1) = .9

Una vez determinada la Temperatura, el parámetro Top-K: 5, implica que el modelo seleccionará cada palabra/token de la secuencia de un grupo de 5 opciones con mayor valor probabilístico. Por ejemplo: Café (.5)Marrón (.3)Oro (.1)Naranja (.05)Sepia (.03)

Finalmente, se realiza un muestreo aleatorio dentro del conjunto de palabras seleccionadas por Top-P. Esto permite una mayor diversidad en la generación de texto, ya que no siempre se elige la palabra más probable, sino que se considera un conjunto de palabras relevantes. Ahora, teniendo en cuenta la temperatura asignada y las tres opciones posibles finales del núcleo, se puede decir que si se escoge la palabra "café" con valor de .5 sería una elección determinista porque tiene el valor probabilístico mayor, y si se escoge la de menor valor (oro con valor de .1) sería una elección poco probable por lo que se ajusta más a una temperatura creativa o más cercana al 1. La palabra "marrón" con valor de .3, en este caso, sería una elección moderada entre una Temperatura determinista y una Temperatura Creativa, o lo que es lo mismo, con una Temperatura cercana al cero de una que es más cercana al 1. Quedando la respuesta de nuestro LLM de la siguiente manera

Un sofá gris con un perro de color marrón.