| |
| Dublin Core |
Elementos de metadatos PKP |
Metadatos para el documento |
| |
| 1. |
Título |
Título del documento |
Open Generative Large Language Models for Galician |
| |
| 2. |
Creador/a |
Nombre de autor/a, institución, país |
Pablo Gamallo |
| |
| 2. |
Creador/a |
Nombre de autor/a, institución, país |
Pablo Rodríguez |
| |
| 2. |
Creador/a |
Nombre de autor/a, institución, país |
Iria de-Dios-Flores |
| |
| 2. |
Creador/a |
Nombre de autor/a, institución, país |
Susana Sotelo |
| |
| 2. |
Creador/a |
Nombre de autor/a, institución, país |
Silvia Paniagua |
| |
| 2. |
Creador/a |
Nombre de autor/a, institución, país |
Daniel Bardanca |
| |
| 2. |
Creador/a |
Nombre de autor/a, institución, país |
José Ramom Pichel |
| |
| 2. |
Creador/a |
Nombre de autor/a, institución, país |
Marcos Garcia |
| |
| 3. |
Materia |
Disciplina(s) |
|
| |
| 3. |
Materia |
Palabra/s clave |
|
| |
| 4. |
Descripción |
Resumen |
Large language models (LLMs) have transformed natural language processing. Yet, their predominantly English-centric training has led to biases and performance disparities across languages. This imbalance marginalizes minoritized languages, making equitable access to NLP technologies more difficult for languages with lower resources, such as Galician. We present the first two generative LLMs focused on Galician to bridge this gap. These models, freely available as open-source resources, were trained using a GPT architecture with 1.3B parameters on a corpus of 2.1B words. Leveraging continual pretraining, we adapt to Galician two existing LLMs trained on larger corpora, thus mitigating the data constraints that would arise if the training were performed from scratch. The models were evaluated using human judgments and task-based datasets from standardized benchmarks. These evaluations reveal a promising performance, underscoring the importance of linguistic diversity in generative models. |
| |
| 5. |
Editorial |
Institución organizadora, ubicación |
Sociedad Española para el Procesamiento del Lenguaje Natural |
| |
| 6. |
Colaborador/a |
Patrocinador(es) |
|
| |
| 7. |
Fecha |
(DD-MM-AAAA) |
2024-09-21
|
| |
| 8. |
Tipo |
Estado y género |
Artículo revisado por pares |
| |
| 8. |
Tipo |
Tipo |
|
| |
| 9. |
Formato |
Formato de archivo |
PDF |
| |
| 10. |
Identificador |
Identificador uniforme de recursos |
http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/6615 |
| |
| 11. |
Fuente |
Título; vol., núm. (año) |
Procesamiento del Lenguaje Natural; Vol. 73 (2024): Procesamiento del Lenguaje Natural, Revista nº 73, septiembre de 2024 |
| |
| 12. |
Idioma |
Español=es |
es_ES |
| |
| 13. |
Relación |
Archivos complementarios |
|
| |
| 14. |
Cobertura |
Localización geoespacial, periodo cronológico, muestra de investigación (sexo, edad, etc.) |
|
| |
| 15. |
Derechos |
Derechos de autor/a y permisos |
Copyright (c) 2024 Procesamiento del Lenguaje Natural
|