[자연어 처리] 분산표현의 두 방법

분산표현의 두 방법

CBOW(Continuous Bag of Words)와 Skip-gram은 단어를 임베딩(embedding)하는 두 가지 대표적인 알고리즘으로, 둘 다 단어 임베딩 모델 Word2Vec의 학습 기법입니다. 이 두 방식은 텍스트의 문맥 정보를 바탕으로 단어의 의미를 학습하지만, 학습 방향에 차이가 있습니다.

1. CBOW (Continuous Bag of Words)

CBOW 모델은 주어진 문맥(주변 단어)을 바탕으로 중심 단어를 예측하는 방식입니다.

원리와 특징

• 문맥 -> 중심 단어: CBOW는 문장에서 특정 단어 주변의 문맥 단어들을 바탕으로 중심 단어를 예측합니다. 예를 들어, "The cat sits on the mat"라는 문장에서 "cat"을 중심 단어로 하고, "The", "sits", "on", "the"가 문맥 단어가 됩니다.
• 고속 학습: 문맥을 통해 중심 단어 하나를 예측하는 방식이므로 Skip-gram에 비해 연산이 빠르며, 학습 속도가 상대적으로 빠릅니다.
• 자주 출현하는 단어에 유리: 일반적으로 자주 출현하는 단어를 잘 예측하도록 설계되어 있으므로, 고빈도 단어의 임베딩을 학습하는 데 적합합니다.

장점과 단점

• 장점: 계산 속도가 빠르고, 고빈도 단어의 임베딩을 학습하기에 유리합니다.
• 단점: 드문 단어의 의미 표현에는 상대적으로 약할 수 있습니다.

2. Skip-gram

Skip-gram 모델은 CBOW와 반대로, 주어진 중심 단어를 바탕으로 주변 문맥 단어들을 예측하는 방식입니다.

원리와 특징

• 중심 단어 -> 문맥: Skip-gram은 특정 중심 단어를 주고, 이 단어가 등장할 가능성이 높은 주변 단어들을 예측합니다. 같은 예문에서 중심 단어 "cat"을 통해 주변 단어 "The", "sits", "on", "the"를 예측하도록 학습합니다.
• 저빈도 단어 학습에 유리: 주변 단어를 하나하나 예측해야 하므로 연산이 많고 학습 속도는 느리지만, 드문 단어의 의미를 학습하는 데 효과적입니다.
• 컨텍스트 창 크기: Skip-gram 모델은 주변 단어의 예측을 위해 콘텍스트 창 크기(window size)를 설정하며, 창의 크기에 따라 학습되는 문맥 정보가 달라집니다.

장점과 단점

• 장점: 저빈도 단어도 상대적으로 잘 학습할 수 있어 다양한 단어에 대한 임베딩 품질이 향상됩니다.
• 단점: 연산량이 많아 학습 속도가 느릴 수 있습니다.

CBOW와 Skip-gram의 비교 요약

특징	CBOW	Skip-gram
학습 목표	문맥 -> 중심 단어 예측	중심 단어 -> 문맥 단어 예측
학습 속도	상대적으로 빠름	상대적으로 느림
저빈도 단어 학습	낮음	높음
고빈도 단어 학습	적합	다소 부적합
사용 사례	고빈도 단어의 빠른 임베딩 학습에 유리	다양한 단어의 포괄적인 의미 학습에 적합

 

정리

CBOW는 문맥을 이용해 중심 단어를 예측하고 학습 속도가 빠르지만 저빈도 단어에 약한 반면, Skip-gram은 중심 단어로 문맥을 예측하여 다양한 단어에 대한 표현 학습이 가능하며 드문 단어에도 강점이 있습니다.