BERT 是如何区分一词多义的?
BERT 是如何区分一词多义的?
发布时间:2025-08-19 09:54:27
BERT 是如何区分一词多义的?
同一个字在转换为bert的输入之后(id),embedding的向量是一样,但是通过bert中 的多层transformer encoder之后,attention关注不同的上下文,就会导致不同句子 输入到bert之后,相同字输出的字向量是不同的,这样就解决了一词多义的问题。