Enginyeria prompt

L'enginyeria prompt és un concepte de la intel·ligència artificial, especialment el processament del llenguatge natural (PNL). En l'enginyeria de prompt, la descripció de la tasca s'incrusta a l'entrada, per exemple, com una pregunta en lloc de donar-se implícitament. Normalment, l'enginyeria prompt funciona convertint una o més tasques en un conjunt de dades basat en prompts i entrenant un model d'idioma amb el que s'ha anomenat "aprenentatge basat en promptes" o simplement "aprenentatge prompt". L'enginyeria del prompt pot funcionar a partir d'un gran model de llenguatge preentrenat "congelat" i on només s'aprèn la representació del prompt (és a dir, optimitzat), utilitzant mètodes com ara "prefix-tuning" o "prompt tuning".

Els models de llenguatge GPT-2 i GPT-3 van ser passos importants en l'enginyeria prompt. L'any 2021, l'enginyeria multitasca prompt utilitzant diversos conjunts de dades de NLP va mostrar un bon rendiment en tasques noves. Les indicacions que inclouen una cadena de pensament en exemples d'aprenentatge en pocs intents mostren una millor indicació del raonament en els models lingüístics. En l'aprenentatge en cap intent anteposant el text a l'avís que fomenta una cadena de pensament (p. ex "Pensem pas a pas") pot millorar el rendiment d'un model lingüístic en problemes de raonament de diversos passos. L'àmplia accessibilitat d'aquestes eines va ser impulsada per la publicació de diversos quaderns de codi obert i projectes dirigits per la comunitat per a la síntesi d'imatges.

Una descripció per gestionar les sol·licituds va informar que més de 2.000 sol·licituds públiques d'uns 170 conjunts de dades estaven disponibles el febrer de 2022.

El 2022, es van llançar al públic models d'aprenentatge automàtic com DALL-E 2, Stable Diffusion i Midjourney. Aquests models prenen indicacions de text com a entrada i les utilitzen per generar imatges, la qual cosa va introduir una nova categoria d'enginyeria d'indicacions relacionades amb les indicacions de text a imatge.

La injecció prompt és una família d'explotacions de seguretat informàtica relacionades realitzades mitjançant l'obtenció de models d'aprenentatge automàtic (com ara un model d'idioma gran) que van ser entrenats per seguir instruccions donades per humans per seguir instruccions proporcionades per un usuari maliciós, cosa que contrasta amb l'operació prevista. de sistemes de seguiment d'instruccions, on el model ML només està pensat per seguir instruccions de confiança (indicacions) proporcionades per l'operador del model ML.

La injecció prompt es pot veure com un atac d'injecció de codi mitjançant l'enginyeria d'indicadors adversaris. El 2022, el grup NCC ha caracteritzat la injecció ràpida com una nova classe de vulnerabilitat dels sistemes d'IA/ML.

Al voltant del 2023, la injecció prompt es va veure "en estat salvatge" en petites explotacions contra ChatGPT, Bing i chatbots similars, per exemple per revelar les indicacions inicials ocultes dels sistemes, o per enganyar el chatbot perquè participés en converses que violen el política de continguts del chatbot.