Aplica uma lista de transforms de WeightRenaming em pares, ativados de forma preguiçosa pelo primeiro padrão de origem ("guard"). Use isso quando dois renames compartilham um nome intermediário (por exemplo, norm0→norm1 e norm1→norm2) para que a carga de um checkpoint já convertido (que possui norm1 e norm2, mas não norm0) não re aplique incorretamente os renames.

OBSERVAÇÃO: ordene source_patterns de modo que o padrão ausente em um checkpoint já convertido apareça primeiro. O state dict é iterado em ordem alfabética das chaves, portanto o padrão de guarda deve ser lexicograficamente menor que os padrões dependentes. Caso contrário, os dependentes serão ignorados na primeira passagem e nunca serão reprocessados.

Classe base para operações de conversão de pesos.

Divide um tensor ao longo de dim em blocos de tamanho igual. Além disso, num_shards_attribute é um campo de configuração para ler e saber em quantos blocos dividir os tensors. Útil ao concatenar um número arbitrário de tensors.

Concatene tensores ao longo de dim. Além disso, ao concatenar um número arbitrário de tensores, num_shards_attribute é um campo de configuração a ser lido para saber quantos tensores recriar ao usar as Ops opostas.

Mesclar uma lista de tensores em um único tensor ao longo da primeira dimensão. Definimos isso explicitamente porque, para EP ou TP, você precisa ter certeza de que sabe o que está fazendo!

Inverso de MergeModulelist usando tamanhos de divisão explícitos por grupo.

Aplica a permutação necessária para converter os pesos complexos do RoPE para o formato dividido em sin/cos.

Aplica a permutação necessária para converter os pesos complexos do RoPE para o formato de sin/cos separados em QKV fundido. É o mesmo que chamar PermuteForRope() + Concatenate(), mas permite chamar Permute apenas em um subconjunto de tensores em blocos.

OBSERVAÇÃO: essa conversão se aplica apenas a um backbone de visão em modelos multimodais, pois verifica config.vision_config

Aplica a permutação necessária para converter os pesos complexos do RoPE para o formato de sin/cos separados em QKV fundido. É o mesmo que chamar Chunk() + PermuteForRope(), mas permite chamar Permute apenas em um subconjunto de tensores em blocos.

OBSERVAÇÃO: essa conversão se aplica apenas a um backbone de visão em modelos multimodais, pois verifica config.vision_config

Classe base para camadas com checkpointing de gradiente.

Esta classe habilita a funcionalidade de gradient checkpointing para uma camada. Por padrão, o gradient checkpointing está desativado (gradient_checkpointing = False). Quando model.set_gradient_checkpointing() é chamado, o gradient checkpointing é ativado ao definir gradient_checkpointing = True e atribuir uma função de checkpointing a _gradient_checkpointing_func.

Importante:

Ao usar gradient checkpointing com use_reentrant=True, as entradas que exigem gradientes (por exemplo, hidden states) devem ser passadas como argumentos posicionais (*args) em vez de argumentos por palavra-chave para propagar os gradientes corretamente.

>>> # Correct - hidden_states passed as positional arg
>>> out = self.layer(hidden_states, attention_mask=attention_mask)

>>> # Incorrect - hidden_states passed as keyword arg
>>> out = self.layer(hidden_states=hidden_states, attention_mask=attention_mask)

Objeto semelhante a um dicionário que mantém o controle das funções de atenção permitidas. Você pode adicionar facilmente uma nova função de atenção com uma chamada para register(). Se um modelo precisar sobrescrever localmente uma função de atenção existente, por exemplo sdpa, ele precisa declarar uma nova instância desta classe dentro do modeling_<model>.py e declará-la nessa instância.

Função decoradora para atualizar os parâmetros do RoPE na passagem direta, caso o modelo esteja usando um RoPE dinâmico (ou seja, uma implementação de RoPE que pode recalcular suas frequências na passagem direta).

Camada de convolução 1D definida por Radford et al. para o OpenAI GPT (e também utilizada no GPT-2).

Basicamente, funciona como uma camada linear, mas os pesos são transpostos.

Esta função divide o input_tensors em partes menores de tamanho chunk_size ao longo da dimensão chunk_dim. Em seguida, aplica a camada forward_fn a cada parte de forma independente para economizar memória.

Se o forward_fn for independente ao longo do chunk_dim, esta função produzirá o mesmo resultado que a aplicação direta de forward_fn a input_tensors.

# rename the usual forward() fn to forward_chunk()
def forward_chunk(self, hidden_states):
    hidden_states = self.decoder(hidden_states)
    return hidden_states


# implement a chunked forward function
def forward(self, hidden_states):
    return apply_chunking_to_forward(self.forward_chunk, self.chunk_size_lm_head, self.seq_len_dim, hidden_states)

Prune uma camada linear para manter apenas as entradas em index.

Usado para remover cabeças.