Statistik Unduhan Model

Bagaimana unduhan dihitung untuk model?

Menghitung jumlah unduhan untuk model bukanlah tugas yang sederhana, karena satu repositori model dapat berisi beberapa file, termasuk beberapa file bobot model (misalnya, pada model yang dipartisi) dan format yang berbeda tergantung pada pustakanya (GGUF, PyTorch, TensorFlow, dll.). Untuk menghindari penghitungan ganda unduhan (misalnya, menghitung satu unduhan model sebagai beberapa unduhan), Hub menggunakan seperangkat file kueri yang digunakan untuk penghitungan unduhan. Tidak ada informasi yang dikirim dari pengguna, dan tidak ada panggilan tambahan yang dilakukan untuk hal ini. Penghitungan dilakukan di sisi server saat Hub menyajikan file untuk diunduh.

Setiap permintaan HTTP ke file-file ini, termasuk GET dan HEAD, akan dihitung sebagai unduhan. Secara default, ketika tidak ada library yang ditentukan, Hub menggunakan config.json sebagai file query default. Sebaliknya, file query bergantung pada masing-masing library, dan Hub mungkin memeriksa file seperti pytorch_model.bin atau adapter_config.json.

File query untuk pustaka yang berbeda adalah apa?

Secara default, Hub memeriksa config.json, config.yaml, hyperparams.yaml, params.json, dan meta.yaml. Beberapa pustaka menimpa default ini dengan menentukan filter mereka sendiri (menentukan countDownloads). Kode yang mendefinisikan penimpaan ini bersifat open-source. Sebagai contoh, untuk pustaka nemo, semua file dengan ekstensi .nemo digunakan untuk menghitung unduhan.

Bisakah saya menambahkan file kueri saya untuk pustaka saya?

Ya, Anda dapat membuka Pull Request di sini. Berikut adalah contoh minimal yang menambahkan metrik unduhan untuk VFIMamba. Lihat panduan integrasi untuk detail lebih lanjut.

Bagaimana file GGUF ditangani?

File GGUF bersifat mandiri dan tidak terikat pada satu pustaka tertentu, sehingga semuanya dihitung untuk unduhan. Hal ini akan menyebabkan penghitungan ganda unduhan jika pengguna melakukan kloning seluruh repositori, tetapi sebagian besar pengguna dan antarmuka mengunduh satu file GGUF untuk repositori tertentu.

Bagaimana diffusers ditangani?

Perpustakaan diffusers merupakan kasus khusus dan memiliki filter yang dikonfigurasi di dalam basis kode internal. Filter ini memastikan repositori yang diberi tag diffusers menghitung baik file yang dimuat melalui perpustakaan maupun melalui antarmuka pengguna yang mengharuskan pengguna untuk mengunduh safetensors tingkat atas secara manual.

filter: [
		{
			bool: {
				/// Include documents that match at least one of the following rules
				should: [
					/// Downloaded from diffusers lib
					{
						term: { path: "model_index.json" },
					},
					/// Downloaded from diffusers lib through modular pipelines
					{
						term: { path: "modular_model_index.json" },
					},
					/// Direct downloads (LoRa, Auto1111 and others)
					/// Filter out nested safetensors and pickle weights to avoid double counting downloads from the diffusers lib
					{
						regexp: { path: "[^/]*\\.safetensors" },
					},
					{
						regexp: { path: "[^/]*\\.ckpt" },
					},
					{
						regexp: { path: "[^/]*\\.bin" },
					},
				],
				minimum_should_match: 1,
			},
		},
	]
}

Bagaimana jika saya membutuhkan data unduhan yang lebih rinci untuk model saya?

Jika Anda memerlukan data unduhan yang lebih terperinci, misalnya untuk:

• membedakan config.json dari bobot model,
• kecualikan unduhan dari pipelines CI/CD,
• atau deduplikasi pengguna (yaitu menghitung pengunduh unik),

lalu Publisher Analytics, dan khususnya fitur granular logs, dapat menyediakan log akses anonim pada tingkat permintaan untuk semua model dan dataset yang diterbitkan oleh organisasi Anda.

Hal ini disediakan sebagai log mentah, karena sebagian besar organisasi akan ingin menerapkan aturan kustom mereka sendiri.