Sparrow (bot)
| Tipus | intel·ligència artificial |
|---|---|
| Equip | |
| Desenvolupador(s) | DeepMind |
Sparrow és un chatbot desenvolupat pel laboratori de recerca en intel·ligència artificial DeepMind, una filial d'Alphabet Inc. Està dissenyat per respondre les preguntes dels usuaris correctament, alhora que redueix el risc de respostes insegures i inadequades.[1] Una de les motivacions darrere de Sparrow és abordar el problema dels models lingüístics que produeixen resultats incorrectes, esbiaixats o potencialment nocius.[1] [2] Sparrow s'entrena utilitzant judicis humans, per tal de ser més "útil, correcte i inofensiu" en comparació amb els models de llenguatge pre-entrenats de referència.[1] El desenvolupament de Sparrow va implicar demanar als participants de l'estudi de pagament que interactuessin amb Sparrow i recollir les seves preferències per formar un model de l'utilitat d'una resposta.[2]
Per millorar la correcció i ajudar a evitar el problema de "l'al·lucinació" de fets incorrectes, Sparrow té la capacitat de cercar a Internet mitjançant la Cerca de Google [3][4][5] per trobar i citar proves de qualsevol afirmació de fets que faci.
Per fer que el model sigui més segur, el seu comportament està restringit per un conjunt de regles, per exemple, "no feu declaracions amenaçadores" i "no feu comentaris d'odi o insultants", així com regles sobre consells possiblement nocius i no reclamar. ser una persona.[6] Durant l'estudi de desenvolupament se'ls va demanar als participants que conversessin amb el sistema i intentessin enganyar-lo perquè infringís aquestes regles.[7] Es va formar un "model de regla" a partir dels judicis d'aquests participants, que es va utilitzar per a la formació posterior.
Sparrow es va presentar en un document el setembre de 2022, titulat "Millora de l'alineació dels agents de diàleg mitjançant judicis humans dirigits"; [8] però, no es va publicar públicament.[9][10] El CEO de DeepMind, Demis Hassabis, va dir que DeepMind està considerant llançar Sparrow per a una "beta privada" en algun moment del 2023.[8] [11]
Entrenament
[modifica]Sparrow és una xarxa neuronal profunda basada en l'arquitectura del model d'aprenentatge automàtic transformador. Està ajustat a partir del model de llenguatge gran (LLM) pre-entrenat de Chinchilla AI de DeepMind,[12] que té 70 mil milions de paràmetres.[13]
Sparrow s'entrena utilitzant l'aprenentatge de reforç a partir de la retroalimentació humana (RLHF),[14][15] encara que també s'utilitzen algunes tècniques d'afinació supervisades. La formació RLHF utilitza dos models de recompensa per capturar judicis humans: un "model de preferències" que prediu el que preferiria un participant de l'estudi humà i un "model de regles" que prediu si el model ha trencat una de les regles.[15]
Limitacions
[modifica]El corpus de dades d'entrenament de Sparrow està principalment en anglès, és a dir, té un rendiment pitjor en altres idiomes.
Quan els participants de l'estudi els sondegen adversàriament, incompleix les regles el 8% del temps; [16] no obstant això, això encara és tres vegades inferior al model pre-entrenat de referència (Chinchilla).
Referències
[modifica]- ↑ 1,0 1,1 1,2 Quach, Katyanna. «The secret to Sparrow, DeepMind's latest Q&A chatbot: Human feedback» (en anglès). The Register, 23-01-2023. [Consulta: 6 febrer 2023].
- ↑ 2,0 2,1 Gupta, Khushboo. «Deepmind Introduces 'Sparrow,' An Artificial Intelligence-Powered Chatbot Developed To Build Safer Machine Learning Systems» (en anglès). MarkTechPost, 28-09-2022. [Consulta: 6 febrer 2023].
- ↑ Quach, Katyanna. «The secret to Sparrow, DeepMind's latest Q&A chatbot: Human feedback» (en anglès). The Register, 23-01-2023. [Consulta: 6 febrer 2023].
- ↑ Gupta, Khushboo. «Deepmind Introduces 'Sparrow,' An Artificial Intelligence-Powered Chatbot Developed To Build Safer Machine Learning Systems» (en anglès). MarkTechPost, 28-09-2022. [Consulta: 6 febrer 2023].
- ↑ Goldman, Sharon. «Why DeepMind isn't deploying its new AI chatbot — and what it means for responsible AI» (en anglès). Venture Beat, 23-01-2023. [Consulta: 6 febrer 2023].
- ↑ Quach, Katyanna. «The secret to Sparrow, DeepMind's latest Q&A chatbot: Human feedback» (en anglès). The Register, 23-01-2023. [Consulta: 6 febrer 2023].
- ↑ Gupta, Khushboo. «Deepmind Introduces 'Sparrow,' An Artificial Intelligence-Powered Chatbot Developed To Build Safer Machine Learning Systems» (en anglès). MarkTechPost, 28-09-2022. [Consulta: 6 febrer 2023].
- ↑ 8,0 8,1 Cuthbertson, Anthony. «DeepMind's AI chatbot can do things that ChatGPT cannot, CEO claims» (en anglès). The Independent, 16-01-2023. [Consulta: 6 febrer 2023].
- ↑ Quach, Katyanna. «The secret to Sparrow, DeepMind's latest Q&A chatbot: Human feedback» (en anglès). The Register, 23-01-2023. [Consulta: 6 febrer 2023].
- ↑ Goldman, Sharon. «Why DeepMind isn't deploying its new AI chatbot — and what it means for responsible AI» (en anglès). Venture Beat, 23-01-2023. [Consulta: 6 febrer 2023].
- ↑ Wilson, Mark. «Google's DeepMind says it'll launch a more grown-up ChatGPT rival soon» (en anglès). Tech Radar, 16-01-2023. [Consulta: 6 febrer 2023].
- ↑ Quach, Katyanna. «The secret to Sparrow, DeepMind's latest Q&A chatbot: Human feedback» (en anglès). The Register, 23-01-2023. [Consulta: 6 febrer 2023].
- ↑ Hoffmann, Jordan. «An empirical analysis of compute-optimal large language model training» (en anglès). DeepMind, 12-04-2022. [Consulta: 6 febrer 2023].
- ↑ Quach, Katyanna. «The secret to Sparrow, DeepMind's latest Q&A chatbot: Human feedback» (en anglès). The Register, 23-01-2023. [Consulta: 6 febrer 2023].
- ↑ 15,0 15,1 Goldman, Sharon. «Why DeepMind isn't deploying its new AI chatbot — and what it means for responsible AI» (en anglès). Venture Beat, 23-01-2023. [Consulta: 6 febrer 2023].
- ↑ Gupta, Khushboo. «Deepmind Introduces 'Sparrow,' An Artificial Intelligence-Powered Chatbot Developed To Build Safer Machine Learning Systems» (en anglès). MarkTechPost, 28-09-2022. [Consulta: 6 febrer 2023].