Etiqueta: Transformers
-
Transformers y Mecanismos de Atención
En nuestras publicaciones anteriores, hemos explorado cómo modelos como las Redes Neuronales Recurrentes (RNNs) y sus evoluciones, como las GRUs y LSTMs, nos permitieron trabajar con datos secuenciales, recordando información a lo largo del tiempo. Sin embargo, estas arquitecturas tienen sus limitaciones, especialmente cuando intentamos procesar secuencias muy largas o paralelizar el entrenamiento de estas…