구글 BERT의 정석 (수다르산 리비찬디란 지음), 한빛미디어

 

옮긴이 전희원, 정승환, 김형준  NLP 리서치 엔지니어 

 

자연어 처리(自然語處理) 또는 자연 언어 처리(自然言語處理)는 인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 묘사할 수 있도록 연구하고 이를 구현하는 인공지능의 주요 분야 중 하나다.

 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

 

BERT란  Bidirectional Encoder Representations from Transformers의 약자로, Google에서 개발한 자연어 처리 사전 교육을 위한 변압기 기반 기계 학습 기술이다. 

구글의 Devlin(2018)이 제안한 BERT는 사전 학습된 대용량의 레이블링 되지 않는(unlabeled) 데이터를 이용하여 언어 모델(Language Model)을 학습하고 이를 토대로 특정 작업( 문서 분류, 질의응답, 번역 등)을 위한 신경망을 추가하는 전이 학습 방법이다. 

 

NLP란, Natural Language Processing의 약자로, 자연어 처리 또는 자연 언어 처리는 인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 묘사할 수 있도록 연구하고 이를 구현하는 인공지능의 주요 분야 중 하나다.

 

2018년 BERT 등장으로 NLP영역에서도 인공지능 기술을 적용할 수 있다는 가능성을 보여줌과 동시에 NLP 발전에 기폭제가 되었습니다.(옮긴이 정승환, P5) 

 

NLP 영역을 잘 모르는 독자로서 이책을 접하면서 트랜스포머가 뭔지, BERT 아키텍처는 뭔지... 이책을 통해서 어렴풋이 알게 되었다. 트랜스포머의 양방향 인코더 표현(BERT)는 좋은 성능으로 자연어 처리 세계에 혁명을 일으켰다고 한다. 

BERT를 통해서 NLP에도 인공지능 기술이 접목되는 계기라는 것에 큰 의미가 있다고 생각된다. 

 

책 소개

인간보다 언어를 더 잘 이해하고 구현하는 고성능 AI 언어 모델 BERT

이 책은 자연어 응용 분야에서 상당한 성능 향상을 이뤄 주목받고 있는 BERT 모델을 기초부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서다. 가장 먼저 사전 학습을 개선하여 성능을 향상하는 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT와 같은 BERT 변형 모델을 간단한 언어로 잘 풀어서 친절하게 설명한다.

다음으로 BioBERT 및 ClinicalBERT와 같은 특정 도메인에 해당하는 BERT 모델을 배우고 BERT의 재미있는 변형 모델인 VideoBERT도 살펴본다. 특별히, 본문 맨 뒤에는 한국어에 잘 동작하는 한국어 언어 모델 KoBERT, KoGPT2, KoBART를 추가 집필하여 붙였다. 이 책을 따라 모든 학습을 마치고 나면 BERT와 변형 모델을 활용해 여러 자연어 처리 태스크를 수월하게 처리할 수 있을 것이다. 

 

2022년 6월 리뷰 도서

자연어 처리에서 가장 화두가 되는 BERT는 2019년 11월에 구글이 공개한 AI 언어 모델입니다. 일부 성능 평가에서 인간을 능가하며 자연어 처리 발전에 큰 영향을 끼쳤습니다. 많은 사람이 자연어 처리 분야만큼은 AI를 적용하는 건 쉽지 않다고 생각했습니다. 하지만 BERT의 등장으로 그 가능성을 입증했으며, 자연어 처리 기술의 폭발적인 발전을 이루어냈습니다. 언어를 활용한 서비스를 개발하는 기관에서는 이미 BERT를 사용하고 있습니다. 문장 내 어절을 한 글자씩 나눈 다음 앞뒤로 자주 만나는 글자를 한 단어로 인식하는 방식으로 언어 처리 11개 분야에서 많은 성능 향상을 이뤄 주목을 받고 있습니다.

이 책에서는 자연어 처리에서 핵심 트렌드로 자리 잡은 BERT의 기본 개념부터 다양한 변형 모델과 응용 사례까지 모두 소개합니다. 전반부에서는 BERT의 전체 과정을 이해하는 데 기본이 되는 BERT와 트랜스포머를 다룹니다. 이어서 트랜스포머의 인코더와 디코더가 어떻게 작동하는지도 배우게 됩니다. 후반부에서는 BERT 외에 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT 등 다양한 BERT의 파생 모델을 소개합니다. 마지막으로 역자가 한국어의 불규칙한 언어 특성을 극복한 한국어 모델인 KoBERT, KoGPT2, KoBART에 대한 내용을 추가했습니다.

이 책 한 권이면 복잡한 BERT 개념을 완벽하게 이해하고 적은 양의 데이터로 인공지능을 구현할 수 있게 됩니다. 자연어 처리 업무를 단순하게 만들고 싶거나 인공지능, 딥러닝의 최신 트렌드가 무엇인지 궁금한 모든 이에게 훌륭한 안내서가 되어줄 것입니다.

주요 내용

- 트랜스포머 모델
- BERT의 작동 원리
- 마스크 언어 모델과 다음 문장 예측 태스크를 활용한 사전 학습
- BERT를 활용해 상황에 맞는 단어 및 문장 임베딩 생성
- 다운스트림 태스크를 위한 BERT 파인 튜닝
- ALBERT, RoBERTa, ELECTRA, SpanBERT 모델
- 지식 증류 기반 BERT 모델
- XLM 및 XLM-R 언어 모델
- sentence-BERT. VideoBERT, BART 모델
- KoBERT, KoGPT2, KoBART 모델