Transformers documentation

LUKE

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2020-10-02에 HF papers에 게시되었으며, 2021-05-03에 Hugging Face Transformers에 기여되었습니다.

LUKE

개요

LUKE 모델은 Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, Yuji Matsumoto가 발표한 LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention에서 제안되었습니다. 이 모델은 RoBERTa를 기반으로 하며, 엔티티 임베딩과 엔티티 인식 자기 주의 메커니즘을 추가하여, named entity recognition, extractive 및 cloze-style question answering, entity typing, relation classification과 같이 엔티티에 대한 추론이 필요한 다양한 다운스트림 작업의 성능을 향상시킵니다.

해당 논문의 초록은 다음과 같습니다:

엔티티 표현은 엔티티를 다루는 자연어 작업에서 유용합니다. 본 논문에서는 양방향 transformer를 기반으로 한 단어와 엔티티의 새로운 사전학습된 문맥 표현을 제안합니다. 제안된 모델은 주어진 텍스트의 단어와 엔티티를 독립적인 토큰으로 취급하고, 이들의 문맥 표현을 출력합니다. 해당 모델은 BERT의 masked language model에 기반한 새로운 사전학습 작업을 사용하여 학습됩니다. 이 작업은 Wikipedia에서 수집된 대규모 엔티티 어노테이션 코퍼스에서 무작위로 마스킹된 단어와 엔티티를 예측하는 것을 포함합니다. 또한 transformer의 self-attention 메커니즘을 확장한 entity-aware self-attention 메커니즘을 제안하며, 이는 attention score을 계산할 때 토큰의 유형(단어 또는 엔티티)을 고려합니다. 제안된 모델은 다양한 엔티티 관련 작업에서 인상적인 실증 성능을 달성합니다. 특히, 다섯 가지 잘 알려진 데이터셋에서 최첨단(state-of-the-art) 결과를 얻었습니다: Open Entity(entity typing), TACRED(relation classification), CoNLL-2003(named entity recognition), ReCoRD(cloze-style question answering), SQuAD 1.1(extractive question answering).

이 모델은 ikuyamada와 nielsr가 기여했습니다. 원본 코드는 여기에서 찾을 수 있습니다.

사용 팁

이 구현은 RobertaModel과 동일하며, 엔티티 임베딩과 엔티티 인식 셀프 어텐션 메커니즘이 추가되어 엔티티에 대한 추론이 필요한 작업에서 성능이 향상됩니다.
LUKE는 엔티티를 입력 토큰으로 취급하므로, entity_ids, entity_attention_mask, entity_token_type_ids, entity_position_ids를 추가 입력으로 받습니다. LukeTokenizer를 사용하면 이 값들을 얻을 수 있습니다.
LukeTokenizer는 entities와 entity_spans(입력 텍스트에서 엔티티의 문자 기반 시작 및 끝 위치)를 추가 입력으로 받습니다. entities는 일반적으로 [MASK] 엔티티 또는 Wikipedia 엔티티로 구성됩니다. 이러한 엔티티를 입력할 때의 간단한 설명은 다음과 같습니다:
- [MASK] 엔티티를 입력하여 엔티티 표현을 계산: [MASK] 엔티티는 사전 학습 중에 예측할 엔티티를 마스킹하는 데 사용됩니다. LUKE가 [MASK] 엔티티를 수신하면, 입력 텍스트에서 해당 엔티티에 대한 정보를 수집하여 원래의 엔티티를 예측하려고 합니다. 따라서 [MASK] 엔티티는 텍스트 내 엔티티 정보가 필요한 엔티티 타이핑, 관계 분류, 명명된 엔티티 인식과 같은 다운스트림 작업을 처리하는 데 사용할 수 있습니다.
- Wikipedia 엔티티를 입력하여 지식 강화 토큰 표현을 계산: LUKE는 사전 학습 과정에서 Wikipedia 엔티티에 대한 풍부한 정보(또는 지식)를 학습하여 해당 정보를 엔티티 임베딩에 저장합니다. Wikipedia 엔티티를 입력 토큰으로 사용하면, LUKE는 이러한 엔티티의 임베딩에 저장된 정보로 강화된 토큰 표현을 출력합니다. 이는 질의응답과 같이 실제 세계의 지식이 필요한 작업에서 특히 효과적입니다.
이전 사용 사례에는 세 가지 헤드 모델이 있습니다:
- LukeForEntityClassification는 Open Entity dataset과 같은 엔티티 타이핑 작업처럼 입력 텍스트의 단일 엔티티를 분류하는 작업에 사용됩니다. 이 모델은 출력된 엔티티 표현 위에 선형 헤드를 배치합니다.
- LukeForEntityPairClassification는 두 개체 간의 관계를 분류하는 작업, 예를 들어 관계 분류에 사용됩니다. TACRED dataset과 같은 데이터셋이 해당됩니다. 이 모델은 주어진 개체 쌍의 연결된 출력 표현 위에 선형 헤드를 배치합니다.
- LukeForEntitySpanClassification는 named entity recognition (NER)과 같이 엔티티 스팬의 시퀀스를 분류하는 작업에 사용됩니다. 이 모델은 출력된 엔티티 표현 위에 선형 헤드를 배치합니다. 텍스트 내의 모든 가능한 엔티티 스팬을 모델에 입력하여 NER 작업을 수행할 수 있습니다.
LukeTokenizer에는 task 인수가 있어 task="entity_classification", task="entity_pair_classification", 또는 task="entity_span_classification"를 지정하여 해당 헤드 모델의 입력을 쉽게 생성할 수 있습니다. 각 헤드 모델의 예제 코드를 참고하세요.

사용 예시:

from transformers import LukeForEntityPairClassification, LukeModel, LukeTokenizer


model = LukeModel.from_pretrained("studio-ousia/luke-base", device_map="auto")
tokenizer = LukeTokenizer.from_pretrained("studio-ousia/luke-base")
# Example 1: Computing the contextualized entity representation corresponding to the entity mention "Beyoncé"

text = "Beyoncé lives in Los Angeles."
entity_spans = [(0, 7)]  # character-based entity span corresponding to "Beyoncé"
inputs = tokenizer(text, entity_spans=entity_spans, add_prefix_space=True, return_tensors="pt").to(model.device)
outputs = model(**inputs)
word_last_hidden_state = outputs.last_hidden_state
entity_last_hidden_state = outputs.entity_last_hidden_state
# Example 2: Inputting Wikipedia entities to obtain enriched contextualized representations

entities = [
    "Beyoncé",
    "Los Angeles",
]  # Wikipedia entity titles corresponding to the entity mentions "Beyoncé" and "Los Angeles"
entity_spans = [(0, 7), (17, 28)]  # character-based entity spans corresponding to "Beyoncé" and "Los Angeles"
inputs = tokenizer(text, entities=entities, entity_spans=entity_spans, add_prefix_space=True, return_tensors="pt").to(model.device)
outputs = model(**inputs)
word_last_hidden_state = outputs.last_hidden_state
entity_last_hidden_state = outputs.entity_last_hidden_state
# Example 3: Classifying the relationship between two entities using LukeForEntityPairClassification head model

model = LukeForEntityPairClassification.from_pretrained("studio-ousia/luke-large-finetuned-tacred", device_map="auto")
tokenizer = LukeTokenizer.from_pretrained("studio-ousia/luke-large-finetuned-tacred")
entity_spans = [(0, 7), (17, 28)]  # character-based entity spans corresponding to "Beyoncé" and "Los Angeles"
inputs = tokenizer(text, entity_spans=entity_spans, return_tensors="pt").to(model.device)
outputs = model(**inputs)
logits = outputs.logits
predicted_class_idx = int(logits[0].argmax())
print("Predicted class:", model.config.id2label[predicted_class_idx])

Transformers

LUKE

개요

사용 팁

리소스

LukeConfig

클래스 transformers.LukeConfig

LukeTokenizer

class transformers.LukeTokenizer

__call__

save_vocabulary

LukeModel

class transformers.LukeModel

forward

LukeForMaskedLM

class transformers.LukeForMaskedLM

forward

LukeForEntityClassification

class transformers.LukeForEntityClassification

forward

LukeForEntityPairClassification

class transformers.LukeForEntityPairClassification

forward

LukeForEntitySpanClassification

클래스 transformers.LukeForEntitySpanClassification

forward

LukeForSequenceClassification

class transformers.LukeForSequenceClassification

forward

LukeForMultipleChoice

클래스 transformers.LukeForMultipleChoice

forward

LukeForTokenClassification

클래스 transformers.LukeForTokenClassification

forward

LukeForQuestionAnswering

class transformers.LukeForQuestionAnswering

forward

call