Aplica una lista de transformaciones de WeightRenaming emparejadas, activadas de forma perezosa por el primer patrón de origen (“guard”). Utilice esto cuando dos renombramientos compartan un nombre intermedio (p. ej. norm0→norm1 y norm1→norm2) para que la carga de un checkpoint ya convertido (que tiene norm1 y norm2 pero no norm0) no vuelva a aplicar incorrectamente los renombramientos.

NOTA: ordene source_patterns de modo que el que no está presente en un checkpoint ya convertido aparezca primero. El state dict se itera en orden de claves ordenado, por lo que el patrón de guarda debe ser lexicográficamente menor que los patrones dependientes. De lo contrario, los dependientes se omitirán en el primer paso y nunca se reintentarán.

Clase base para operaciones de conversión de pesos.

Divide un tensor a lo largo de dim en fragmentos de tamaño igual. Además, num_shards_attribute es un campo de configuración para leer y saber en cuántos fragmentos dividir los tensores. Útil al concatenar un número arbitrario de tensores.

Concatena tensores a lo largo de dim. Además, si se concatenan un número arbitrario de tensores, num_shards_attribute es un campo de configuración que se lee para saber cuántos tensores recrear al usar las operaciones opuestas.

Fusiona una lista de tensores en un solo tensor a lo largo de la primera dimensión. Definimos esto explícitamente porque, para EP o TP, ¡quieres asegurarte de saber lo que estás haciendo!

Inverso de MergeModulelist usando tamaños de división explícitos por grupo.

Aplica la permutación necesaria para convertir los pesos complejos de RoPE al formato dividido en sin/cos.

Aplica la permutación necesaria para convertir los pesos complejos de RoPE al formato de sin/cos dividido en QKV fusionado. Es lo mismo que llamar a PermuteForRope() + Concatenate(), pero nos permite llamar a Permute solo en un subconjunto de tensores fragmentados.

NOTA: esta conversión se aplica solo a un backbone de visión en modelos multimodales, porque comprueba config.vision_config

Aplica la permutación necesaria para convertir los pesos complejos de RoPE al formato dividido sin/cos en QKV fusionado. Es lo mismo que llamar a Chunk() + PermuteForRope(), pero nos permite llamar a Permute solo en un subconjunto de tensores segmentados.

NOTA: esta conversión se aplica solo a un backbone de visión en modelos multimodales, porque comprueba config.vision_config

Clase base para capas con punto de control de gradiente.

Esta clase habilita la funcionalidad de gradient checkpointing para una capa. De forma predeterminada, el gradient checkpointing está desactivado (gradient_checkpointing = False). Cuando se llama a model.set_gradient_checkpointing(), el gradient checkpointing se activa al establecer gradient_checkpointing = True y asignar una función de checkpointing a _gradient_checkpointing_func.

Importante:

Al usar gradient checkpointing con use_reentrant=True, las entradas que requieren gradientes (p. ej., hidden states) deben pasarse como argumentos posicionales (*args) en lugar de argumentos por palabra clave para propagar los gradientes correctamente.

>>> # Correct - hidden_states passed as positional arg
>>> out = self.layer(hidden_states, attention_mask=attention_mask)

>>> # Incorrect - hidden_states passed as keyword arg
>>> out = self.layer(hidden_states=hidden_states, attention_mask=attention_mask)

Objeto tipo diccionario que mantiene un registro de las funciones de atención permitidas. Puede agregar fácilmente una nueva función de atención con una llamada a register(). Si un modelo necesita sobrescribir localmente una función de atención existente, por ejemplo sdpa, debe declarar una nueva instancia de esta clase dentro de modeling_<model>.py y declararla en esa instancia.

Función decoradora para actualizar los parámetros de RoPE en la pasada hacia adelante, si el modelo está utilizando un RoPE dinámico (es decir, una implementación de RoPE que puede recalcular sus frecuencias en la pasada hacia adelante).

Capa de convolución 1D definida por Radford et al. para OpenAI GPT (y también utilizada en GPT-2).

Básicamente funciona como una capa lineal, pero los pesos están transpuestos.

Esta función divide input_tensors en partes de tensor de entrada más pequeñas de tamaño chunk_size a lo largo de la dimensión chunk_dim. A continuación, aplica la capa forward_fn a cada fragmento de forma independiente para ahorrar memoria.

Si forward_fn es independiente a lo largo de chunk_dim, esta función producirá el mismo resultado que aplicar forward_fn directamente a input_tensors.

# rename the usual forward() fn to forward_chunk()
def forward_chunk(self, hidden_states):
    hidden_states = self.decoder(hidden_states)
    return hidden_states


# implement a chunked forward function
def forward(self, hidden_states):
    return apply_chunking_to_forward(self.forward_chunk, self.chunk_size_lm_head, self.seq_len_dim, hidden_states)

Recorta una capa lineal para conservar solo las entradas en index.

Se utiliza para eliminar cabezas.