Hugging Face's logo

Transformers documentation

BertJapanese

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Ce modèle a été contribué à Hugging Face Transformers le 2020-11-16.

BertJapanese

Aperçu

Les modèles BERT entraînés sur du texte japonais.

Il existe des modèles avec deux méthodes de tokenisation différentes :

  • Tokeniser avec MeCab et WordPiece. Cela nécessite quelques dépendances supplémentaires, fugashi qui est un wrapper autour de MeCab.
  • Tokeniser en caractères.

Pour utiliser MecabTokenizer, vous devez installer les dépendances en exécutant pip install transformers["ja"] (ou pip install -e .["ja"] si vous installez depuis le code source).

Voir les détails sur le dépôt cl-tohoku.

Exemple d'utilisation d'un modèle avec la tokenisation MeCab et WordPiece :

import torch
from transformers import AutoModel, AutoTokenizer

bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese")

## Input Japanese Text
line = "吾輩は猫である。"

inputs = tokenizer(line, return_tensors="pt").to(model.device)

print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾輩 は 猫 で ある 。 [SEP]

outputs = bertjapanese(**inputs)

Exemple d'utilisation d'un modèle avec la tokenisation par caractère :

bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese-char", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese-char")

## Input Japanese Text
line = "吾輩は猫である。"

inputs = tokenizer(line, return_tensors="pt").to(model.device)

print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾 輩 は 猫 で あ る 。 [SEP]

outputs = bertjapanese(**inputs)

Ce modèle a été contribué par cl-tohoku.

Cette implémentation est identique à celle de BERT, à l’exception de la méthode de tokenisation. Consultez la documentation de BERT pour les informations de référence de l’API.

BertJapaneseTokenizer

classe transformers.BertJapaneseTokenizer

< >

( vocab_filespm_file = Nonedo_lower_case = Falsedo_word_tokenize = Truedo_subword_tokenize = Trueword_tokenizer_type = 'basic'subword_tokenizer_type = 'wordpiece'never_split = Noneunk_token = '[UNK]'sep_token = '[SEP]'pad_token = '[PAD]'cls_token = '[CLS]'mask_token = '[MASK]'mecab_kwargs = Nonesudachi_kwargs = Nonejumanpp_kwargs = None**kwargs )

Paramètres

  • vocab_file (str) — Chemin vers un fichier de vocabulaire contenant un mot par ligne.
  • spm_file (str, facultatif) — Chemin vers le fichier SentencePiece (généralement avec une extension .spm ou .model) contenant le vocabulaire.
  • do_lower_case (bool, facultatif, par défaut True) — Indique s'il faut convertir l'entrée en minuscules. N'a un effet que si do_basic_tokenize=True.
  • do_word_tokenize (bool, facultatif, par défaut True) — Indique s'il faut effectuer la tokenisation des mots.
  • do_subword_tokenize (bool, facultatif, par défaut True) — Indique s'il faut effectuer la tokenisation en sous-mots.
  • word_tokenizer_type (str, facultatif, par défaut "basic") — Type de tokeniseur de mots. Choisissez parmi [“basic”, “mecab”, “sudachi”, “jumanpp”].
  • subword_tokenizer_type (str, facultatif, par défaut "wordpiece") — Type de sous-mots du tokenizer. Choisissez parmi [“wordpiece”, “character”, “sentencepiece”,].
  • mecab_kwargs (dict, facultatif) — Dictionnaire transmis au constructeur MecabTokenizer.
  • sudachi_kwargs (dict, facultatif) — Dictionnaire transmis au constructeur SudachiTokenizer.
  • jumanpp_kwargs (dict, facultatif) — Dictionnaire transmis au constructeur JumanppTokenizer.

Construisez un tokenizer BERT pour le texte japonais.

Ce tokenizer hérite de PreTrainedTokenizer, qui contient la plupart des méthodes principales. Les utilisateurs doivent se référer à cette superclasse pour plus d’informations sur ces méthodes.

convert_tokens_to_string

< >

( tokens )

Convertit une séquence de jetons (chaîne de caractères) en une seule chaîne.

Update on GitHub

←BertGeneration BERTweet→