Model de llenguatge de raonament

Els models de llenguatge de raonament són sistemes d'intel·ligència artificial que combinen el processament del llenguatge natural amb capacitats de raonament estructurat. Aquests models solen construir-se mitjançant sol·licituds, ajustament supervisat (SFT) i aprenentatge de reforç (RL) inicialitzats amb models de llenguatge prèviament entrenats.

Indicació

Un model de llenguatge és un model generatiu d'un conjunt de dades d'entrenament de textos. Sol·licitar significa construir una indicació de text, de manera que, condicionada a la petició de text, el model de llenguatge generi una solució a la tasca. La sol·licitud es pot aplicar a un model preentrenat ("model base"), un model base que s'ha sotmès a SFT, o RL, o tots dos.

Cadena de pensament

L'impuls de la cadena de pensament (CoT) fa que el model respongui una pregunta generant primer una "cadena de pensament", és a dir, passos de raonament que imiten un tren de pensament. Va ser publicat l'any 2022 per l'equip Brain de Google sobre el model PaLM-540B. A la sol·licitud CoT, la sol·licitud té la forma "<Entrada> Pensem pas a pas", i el model respondria amb una cadena de passos de raonament, acabada amb una resposta: $${\text{Entrada}}\rightarrow \underbrace {{\text{Pas}}_{1}\rightarrow {\text{Pas}}_{2}\rightarrow \cdots \rightarrow {\text{Pas}}_{n}} _{\text{Cadena de raonament}}\rightarrow {\text{Resposta}}$$ De la mateixa manera, l'indicació de l'arbre del pensament generalitza CoT demanant al model que generi un o més "possibles passos següents" i després executant el model en cadascun dels possibles passos següents mitjançant breadth-first, beam, o algun altre mètode de cerca d'arbres. De la mateixa manera, Graph of Thought generalitza CoT de manera que els passos de raonament formin un graf acíclic dirigit.

La descodificació d'autoconsistència realitza diversos llançaments de la cadena de pensament i, a continuació, selecciona la conclusió més freqüent de tots els llançaments. Si els llançaments discrepen molt, es pot demanar a un humà la cadena de pensament correcta.

Generació augmentada amb recuperació

Un model d'idioma pot respondre una consulta consultant primer una base de dades de documents mitjançant la consulta. La recuperació del document es pot fer mitjançant una base de dades vectorial, un índex de resum, un índex d'arbre o un índex de taula de paraules clau. Després de la recuperació del document, el LLM genera una sortida que incorpora informació tant de la consulta com dels documents recuperats.

Ús d'eines

Els models de llenguatge poden realitzar llargs passos de raonament cridant mètodes externs, com ara receptes numèriques, intèrprets de programes, trucades a l'API, etc. Això es pot dissenyar ràpidament descrivint els mètodes externs en context (un exemple d'aprenentatge en context) o ajustar-se al model.

Ajustament supervisat

Un model base es pot afinar en un conjunt de dades de tasques de raonament amb exemples de solucions i traces de raonament. Aleshores, el model afinat seria capaç de generar traces de raonament per a un problema determinat.

Com que és costós aconseguir que els humans escriguin traces de raonament per a un conjunt de dades SFT, els investigadors han proposat maneres de construir automàticament conjunts de dades SFT. En l'afinació del mostreig de rebuig (RFT), es recullen noves traces de raonament mitjançant un bucle:

1. Mostra una indicació de tasca
2. Genereu moltes traces de raonament per a la sol·licitud.
3. Utilitzeu un verificador per eliminar rastres de raonament amb la resposta final incorrecta.
4. Per a cada traça restant, extreu el conjunt d'equacions que hi apareixen. Deduplica les traces de manera que cadascuna tingui un conjunt d'equacions diferent. Afegiu-los al conjunt de dades.

Aprenentatge de reforç

RL pot entrenar un model de llenguatge prèviament entrenat. En el formalisme RL, un model de llenguatge generatiu és una política $\pi$. Una indicació que especifica una tasca a resoldre és un estat ambiental $x$, i la resposta del model de llenguatge a la sol·licitud és una acció $y$. La probabilitat que el model lingüístic respongui $x$ amb $y$ és $\pi (y|x)$.

L'entrenament d'un model de llenguatge de raonament per part de RL consisteix llavors a construir un model de recompensa $r(x,y)$ per guiar el procés de RL. Intuïtivament, un model de recompensa descriu com de desitjable/adequada/bona és la resposta per a l'indicador. Per al model de llenguatge de raonament, l'indicador descriu una tasca de raonament, i la recompensa seria alta si la resposta resol la tasca, i baixa si la resposta no resol la tasca.

Per als models de llenguatge de raonament, la resposta del model $y$ es pot dividir en diversos passos, en aquest cas s'escriu com $y_{1},y_{2},\dots ,y_{n}$.

Model de recompensa de resultats

El model de recompensa de resultats, o RM supervisat per resultats (ORM), és un model de recompensa que calcula la recompensa d'un pas $r(x,y_{1},\dots ,y_{i})$ determinat per la resposta final: $r(x,y_{1},\dots ,y_{i})=r(x,y_{n})$. També s'anomenen "verificadors".

Per a tasques amb una resposta fàcil de verificar, com ara problemes de paraules en matemàtiques, la recompensa del resultat pot ser simplement binària: 1 si la resposta final és correcta i 0 en cas contrari. Si la resposta no és fàcil de verificar programàticament, els humans poden etiquetar manualment les respostes com a correctes o no, llavors les etiquetes es poden utilitzar per afinar un model base que prediu l'etiqueta humana. Per a altres tipus de tasques, com ara l'escriptura creativa, on el rendiment de les tasques no és binari vertader/fals, es pot entrenar un model de recompensa ajustant un model base en dades de preferències classificades per humans, com l'utilitzat en l'aprenentatge de reforç a partir de la retroalimentació humana. Un model base també es pot afinar per predir, donat un rastre de pensament parcial $x,y_{1},\dots ,y_{m}$, si la resposta final seria correcta o no. Això es pot utilitzar com a senyal de recompensa binari.

L'ORM sol ser entrenat mitjançant regressió logística, és a dir, minimitzant la pèrdua d'entropia creuada.

Donat un PRM, un ORM es pot construir multiplicant la recompensa total del procés durant el seguiment del raonament, o prenent el mínim, o algun altre mètode per agregar les recompenses del procés.

Model de recompensa del procés

El model de recompensa del procés, o RM supervisat pel procés (PRM), és un model de recompensa que calcula la recompensa d'un pas $r(x,y_{1},\dots ,y_{i})$ determinat pels passos fins ara: $(x,y_{1},\dots ,y_{i})$.

Donat un rastre de pensament parcial $x,y_{1},\dots ,y_{m}$, es pot preguntar a un humà si els passos fins ara són correctes, independentment de si la resposta definitiva seria correcta. Això es pot utilitzar com a senyal de recompensa binari. Com que les etiquetes humanes són cares, es pot ajustar un model base per predir les etiquetes humanes. El PRM s'entrena normalment mitjançant regressió logística, és a dir, minimitzant la pèrdua d'entropia creuada.

Com a exemple, en un document OpenAI de 2023, es van recollir 800.000 etiquetes de procés per a 75.000 rastres de solució. Es presentarà a un etiquetador amb un rastre de solució, i es mantindria etiquetant "positiu" si el pas avança cap a la solució, "neutre" si no està malament, però no avança cap a la solució, i "negatiu" si és un error. Tan bon punt s'introdueix una etiqueta "negativa", l'etiquetador deixa d'etiquetar aquest rastre de pensament i comença a etiquetar-ne un altre. La idea era que, tot i que etiquetar els passos de raonament posteriors pot proporcionar senyals de supervisió encara més rics, només etiquetar fins al primer error era suficient per formar un PRM competent.

Com que les etiquetes humanes són cares, els investigadors han proposat mètodes per crear PRM sense etiquetes humanes en els processos. Inspirat en la cerca d'arbres de Monte Carlo (MCTS), el mètode Math-Shepherd mostra múltiples continuacions fins al final, començant a cada pas de raonament $y_{i}$, i establiu que la recompensa en aquest pas sigui qualsevol ${\frac {\#{\text{(respostes correctes)}}}{\#{\text{(total respostes)}}}}$ en el cas d'"estimació suau", o bé ${\begin{cases}1&{\text{si 1 de resposta és correcte}}\\0&{\text{altres}}\end{cases}}$ en el cas de "estimació dura". Això crea una recompensa del procés utilitzant només un ORM, que normalment és més fàcil o més barat de construir. Després de crear aquestes etiquetes de recompensa de procés, es pot formar un PRM sobre elles. Alguns han provat un enfocament totalment MCTS.

També es pot utilitzar un ORM per construir implícitament un PRM, de manera similar a l'optimització de preferències directes.

Mostreig guiat

Es pot utilitzar un ORM entrenat per seleccionar la millor resposta. La política desplegaria múltiples respostes i un ORM entrenat seleccionaria la millor resposta. Això permet una forma senzilla d'escalat de càlcul del temps de prova ("el millor d'N").

Un PRM entrenat també es pot utilitzar per guiar el raonament mitjançant la cerca d'arbres cobdiciosos. És a dir, el model de política genera diversos possibles passos de raonament següents, i el PRM selecciona el millor i el procés es repeteix. Això és similar a com es pot utilitzar un ORM entrenat per seleccionar la millor resposta. La cerca de feix funciona millor que la cerca cobdiciosa.

Aplicacions

L'enginyeria ràpida va ser descoberta a GPT-3 com a "aprenentatge de pocs cops", que va iniciar un període d'investigació sobre les capacitats d'"obtenció" dels models lingüístics preentrenats. Aleshores es va trobar que es podria demanar a un model que realitzés un raonament CoT, cosa que millora el seu rendiment en tasques de raonament.