LaMDA (aprenentatge automàtic)
LaMDA, que significa Language Model for Dialogue Applications, és una família de models de llenguatge neuronal conversacional desenvolupats per Google. La primera generació es va anunciar durant la presentació de Google I/O de 2021, mentre que la segona generació es va anunciar a l'esdeveniment de l'any següent. El juny de 2022, LaMDA va guanyar una atenció generalitzada quan l'enginyer de Google Blake Lemoine va afirmar que el chatbot s'havia tornat sensible. La comunitat científica ha rebutjat en gran manera les afirmacions de Lemoine, tot i que ha portat a converses sobre l'eficàcia de la prova de Turing, que mesura si un ordinador pot passar per un humà.
Google va anunciar el model de llenguatge neuronal conversacional LaMDA durant la conferència de Google I/O el 18 de maig de 2021, impulsat per intel·ligència artificial.[1] Basat en l'arquitectura de xarxa neuronal Transformer desenvolupada per Google Research el 2017, LaMDA es va formar sobre diàlegs i històries humans, cosa que li va permetre participar en converses obertes.[2] Google afirma que s'ha assegurat que les respostes generades per LaMDA són "sensibles, interessants i específiques del context".[3]
L'11 de maig de 2022, Google va presentar LaMDA 2, que serveix com a successor de LaMDA, durant la conferència magistral de Google I/O de 2022. La nova encarnació del model extreu exemples de text de nombroses fonts, utilitzant-lo per formular "converses naturals" úniques sobre temes als quals potser no ha estat entrenat per respondre.[4] A més, Google va llançar AI Test Kitchen, una aplicació mòbil impulsada per LaMDA 2 capaç de proporcionar llistes de suggeriments sota demanda basades en un objectiu complex.[5][6] Inicialment oberta només als empleats de Google, l'aplicació estava programada per estar disponible per "seleccionar acadèmics, investigadors i responsables polítics" per invitació en algun moment de l'any.[7] L'agost de 2022, l'empresa va començar a permetre als usuaris dels EUA registrar-se per accedir anticipadament.[8]
LaMDA utilitza un model de llenguatge de transformador només de descodificador.[9] Està entrenat prèviament en un corpus de text que inclou tant documents com diàlegs formats per 1.56 bilions de paraules,[10] i després s'entrena amb dades d'afinació generades per respostes anotades manualment per a la sensibilitat, l'interès i la seguretat.[11] Les proves de Google van indicar que LaMDA va superar les respostes humanes en l'àrea d'interès.[12] El model de transformador LaMDA i un sistema extern de recuperació d'informació interactuen per millorar la precisió dels fets proporcionats a l'usuari.[13]
Es van provar tres models diferents, el més gran en tenia 137 mil milions de paràmetres no incrustats:[14]
Hiper-paràmetres del model del transformador
| Paràmetres | Capes | Unitats (dmodel) | Caps |
|---|---|---|---|
| 2B | 10 | 2560 | 40 |
| 8B | 16 | 4096 | 64 |
| 137B | 64 | 8192 | 128 |
Referències
[modifica]- ↑ Condon, Stephanie. «Google I/O 2021: Google unveils new conversational language model, LaMDA» (en anglès). ZDNet, 18-05-2021. Arxivat de l'original el May 18, 2021. [Consulta: 12 juny 2022].
- ↑ Agüera y Arcas, Blaise «Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas». , 09-06-2022.
- ↑ Cheng, Heng-Tze. «LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything» (en anglès). Google AI, 21-01-2022. Arxivat de l'original el March 25, 2022. [Consulta: 12 juny 2022].
- ↑ Wiggers, Kyle. «Google details its latest language model and AI Test Kitchen, a showcase for AI research» (en anglès). TechCrunch, 11-05-2022. Arxivat de l'original el May 11, 2022. [Consulta: 12 juny 2022].
- ↑ Low, Cherlynn. «Google's AI Test Kitchen lets you experiment with its natural language model» (en anglès). Engadget, 11-05-2022. Arxivat de l'original el May 11, 2022. [Consulta: 12 juny 2022].
- ↑ Vincent, James. «Google is Beta Testing Its AI Future» (en anglès). The Verge, 11-05-2022. Arxivat de l'original el May 11, 2022. [Consulta: 12 juny 2022].
- ↑ Bhattacharya, Ananya. «Google is so nervous about what its newest bot will say, it made the app invitation-only» (en anglès). Quartz, 11-05-2022. Arxivat de l'original el May 12, 2022. [Consulta: 12 juny 2022].
- ↑ Vincent, James. «Google has opened up the waitlist to talk to its experimental AI chatbot» (en anglès). The Verge, 25-08-2022. Arxivat de l'original el August 25, 2022. [Consulta: 27 agost 2022].
- ↑ Thoppilan et al., 2022, section 3.
- ↑ Thoppilan et al., 2022, section 3 and appendix E.
- ↑ Thoppilan et al., 2022, section 5 and 6.
- ↑ Hager, Ryne. «How Google's LaMDA AI works, and why it seems so much smarter than it is» (en anglès). Android Police, 16-06-2022. Arxivat de l'original el June 16, 2022. [Consulta: 19 juny 2022].
- ↑ Thoppilan et al., 2022, section 6.2.
- ↑ Thoppilan et al., 2022, section 3 and appendix D.