Menerapkan daftar transformasi WeightRenaming berpasangan, yang diaktifkan secara malas oleh pola sumber pertama (“guard”). Gunakan ini ketika dua penamaan ulang berbagi nama perantara (misalnya norm0→norm1 dan norm1→norm2) sehingga memuat checkpoint yang sudah dikonversi (yang memiliki norm1 dan norm2 tetapi tidak ada norm0) tidak salah menerapkan ulang penamaan tersebut.

NOTE: urutkan source_patterns sehingga pola yang tidak ada di checkpoint yang sudah dikonversi berada di awal. State dict diiterasi dalam urutan kunci yang terurut, sehingga pola penjaga harus lebih kecil secara leksikografis daripada pola-pola yang bergantung. Jika tidak, pola-pola yang bergantung akan dilewati pada iterasi pertama dan tidak akan pernah dicoba lagi.

Kelas dasar untuk operasi konversi bobot.

Pisahkan tensor di sepanjang dim menjadi potongan-potongan berukuran sama. Selain itu, num_shards_attribute adalah field konfigurasi yang dibaca untuk mengetahui berapa banyak tensor yang akan dipotong. Berguna saat menggabungkan sejumlah tensor yang tidak ditentukan.

Concatenate tensor sepanjang dim. Selain itu, jika menggabungkan sejumlah tensor yang arbitrer, num_shards_attribute adalah field konfigurasi yang dibaca untuk mengetahui berapa banyak tensor yang harus dibuat ulang saat menggunakan Ops yang berlawanan.

Menggabungkan daftar tensor menjadi satu tensor tunggal di sepanjang dimensi pertama. Kami mendefinisikan ini secara eksplisit karena untuk EP atau TP Anda perlu memastikan bahwa Anda tahu apa yang sedang Anda lakukan!

Kebalikan dari MergeModulelist menggunakan ukuran split eksplisit per grup.

Menerapkan permutasi yang diperlukan untuk mengubah bobot RoPE kompleks ke format sin/cos terpisah.

Menerapkan permutasi yang diperlukan untuk mengubah bobot RoPE kompleks ke format sin/cos terpisah pada QKV yang digabungkan. Sama seperti memanggil PermuteForRope() + Concatenate() tetapi memungkinkan kami memanggil Permute hanya pada subset tensor yang dipecah.

CATATAN: konversi ini hanya berlaku untuk tulang punggung visual dalam model multimodal, karena memeriksa config.vision_config

Menerapkan permutasi yang diperlukan untuk mengubah bobot RoPE kompleks ke format sin/cos terpisah pada QKV yang digabungkan. Sama seperti memanggil Chunk() + PermuteForRope() tetapi memungkinkan kami memanggil Permute hanya pada subset tensor yang di-chunk.

CATATAN: konversi ini hanya berlaku untuk tulang punggung visual dalam model multimodal, karena memeriksa config.vision_config

Kelas dasar untuk lapisan dengan checkpointing gradien.

Kelas ini memungkinkan fungsionalitas gradient checkpointing untuk sebuah layer. Secara default, gradient checkpointing dinonaktifkan (gradient_checkpointing = False). Ketika model.set_gradient_checkpointing() dipanggil, gradient checkpointing diaktifkan dengan mengatur gradient_checkpointing = True dan menetapkan fungsi checkpointing ke _gradient_checkpointing_func.

Penting:

Saat menggunakan gradient checkpointing dengan use_reentrant=True, input yang memerlukan gradien (misalnya hidden states) harus diteruskan sebagai argumen posisional (*args) alih-alih argumen kata kunci agar gradien dapat dipropagasikan dengan benar.

>>> # Correct - hidden_states passed as positional arg
>>> out = self.layer(hidden_states, attention_mask=attention_mask)

>>> # Incorrect - hidden_states passed as keyword arg
>>> out = self.layer(hidden_states=hidden_states, attention_mask=attention_mask)

Objek seperti dict yang melacak fungsi-fungsi attention yang diizinkan. Anda dapat dengan mudah menambahkan fungsi attention baru dengan memanggil register(). Jika sebuah model perlu menimpa fungsi attention yang sudah ada secara lokal, misalnya sdpa, model tersebut perlu mendeklarasikan instance baru dari kelas ini di dalam modeling_<model>.py, dan mendeklarasikannya pada instance tersebut.

Fungsi dekorator untuk memperbarui parameter RoPE pada jalur maju, jika model menggunakan RoPE dinamis (yaitu implementasi RoPE yang dapat menghitung ulang frekuensinya pada jalur maju).

Lapisan konvolusi 1D yang didefinisikan oleh Radford et al. untuk OpenAI GPT (dan juga digunakan dalam GPT-2).

Pada dasarnya bekerja seperti lapisan linear tetapi bobotnya ditranspos.

Fungsi ini memecah input_tensors menjadi bagian tensor input yang lebih kecil dengan ukuran chunk_size pada dimensi chunk_dim. Kemudian, fungsi ini menerapkan lapisan forward_fn pada setiap chunk secara independen untuk menghemat memori.

Jika forward_fn independen di sepanjang chunk_dim, fungsi ini akan menghasilkan hasil yang sama dengan menerapkan forward_fn secara langsung pada input_tensors.

# rename the usual forward() fn to forward_chunk()
def forward_chunk(self, hidden_states):
    hidden_states = self.decoder(hidden_states)
    return hidden_states


# implement a chunked forward function
def forward(self, hidden_states):
    return apply_chunking_to_forward(self.forward_chunk, self.chunk_size_lm_head, self.seq_len_dim, hidden_states)

Prune lapisan linear untuk hanya mempertahankan entri di index.

Digunakan untuk menghapus kepala.