[부산대 AI 콜로퀴엄 2022] 초거대 언어모델 기술 동향, 8/4(목) 임준호 책임연구원(한국전자통신연구원(ETRI))

부산대 AI 콜로퀴엄 2022 첫 강연을 안내드립니다.

초거대 언어모델 기술 동향 및 향후 언어모델 방향성에 대해 알아볼 수 있는 강연을 준비하였습니다.

관심 있는 분들의 많은 참석 바랍니다.

 

 

-----이하 강연 정보-----

일시: 2022. 8. 4(목) 오후 1:30-2:30

장소: 부산대학교 대학본부 3층 대회의실 및 온라인(Zoom)

제목: 초거대 언어모델 기술 동향

연사: 임준호 / 한국전자통신연구원(ETRI) 언어지능연구실 책임연구원

* 콜로퀴엄은 온오프라인으로 진행될 예정이며 오프라인 참석 사전 등록 및 온라인 참가 신청을 각각 받고 있습니다.

  가급적 오프라인으로 참석하시기를 권장드리며, 오프라인이 참석이 불가하신 경우 온라인 참가 신청을 해주시기 바랍니다.

 - 오프라인 참석 사전 등록 : https://bit.ly/PNUAI-colloquium-offline

 - 온라인 참가 신청 : https://bit.ly/PNUAI-colloquium

 

 

강연 요약:

초거대 언어모델은 GPT-3로 많은 관심을 받은 이후, 최근에는 구글 PaLM, 딥마인드 Gopher, Chinchilla 등 모델로 계속 발전 중이다.

본 강연에서는 초거대 언어모델 기술 동향에 대해 소개한다. 우선 초거대 언어모델이 많은 관심을 받는 배경에 대해 소개하고, 이후, 구글, 딥마인드, OpenAI 등 AI Leading 기업들의 최신 연구 결과 및 동향에 대해 소개한다. 그리고 언어모델 기술이 가진 본질적인 한계와 이를 개선하기 위한 향후 언어모델의 방향성에 대해 소개한다.

 

 

연사 소개:

연사는 2005년부터 한국전자통신연구원(ETRI)에서 근무하였으며, 2020년부터 엑소브레인이라는 한국어 인공지능 국가 연구개발 프로젝트의 총괄 책임을 맡았습니다.

엑소브레인 과제에서 BERT 및 T5와 같은 한국어 딥러닝 언어모델을 연구하고, 이를 기반으로 한국어 언어분석 및 심층 질의응답 기술을 연구하였습니다.

BERT 언어모델이 처음 등장하였을 시기, KorBERT 언어모델을 개발, 공개하여 1천회 이상 모델이 활용되었고, 2019년 11월에는 KorQuAD 기계독해 챌린지에서 1위를 하였습니다. 이후, 효율적인 인코더-디코더 기반 언어모델 학습 기술을 연구하여 국내 대기업에 기술이전하였으며, 초거대 규모 언어모델 학습을 위해 같이 협력하고 있습니다.