KoBART-summarization

Install KoBART

pip install git+https://github.com/SKT-AI/KoBART#egg=kobart

Requirements

pytorch==1.7.0
transformers==4.0.0
pytorch-lightning==1.1.0
streamlit==0.72.0

Data

• Dacon 한국어 문서 생성요약 AI 경진대회 의 학습 데이터를 활용함
• 학습 데이터에서 임의로 Train / Test 데이터를 생성함
• 데이터 탐색에 용이하게 tsv 형태로 데이터를 변환함
• Data 구조
  • Train Data : 34,242
  • Test Data : 8,501
• default로 data/train.tsv, data/test.tsv 형태로 저장함

How to Train

• KoBART summarization fine-tuning

pip install -r requirements.txt
python train.py  --gradient_clip_val 1.0 --max_epochs 50 --default_root_dir logs  --gpus 1 --batch_size 4

Generation Sample

Model Performance

• Test Data 기준으로 rouge score를 산출함
• Score 산출 방법은 Dacon 한국어 문서 생요약 AI 경진대회 metric을 활용함

Demo

• 학습한 model binary 추출 작업이 필요함
  • pytorch-lightning binary --> huggingface binary로 추출 작업 필요
  • hparams의 경우에는 ./logs/tb_logs/default/version_0/hparams.yaml 파일을 활용
  • model_binary 의 경우에는 ./logs/kobart_summary-model_chp 안에 있는 .ckpt 파일을 활용
  • 변환 코드를 실행하면 ./kobart_summary 에 model binary 가 추출 됨

 python get_model_binary.py --hparams hparam_path --model_binary model_binary_path

• streamlit을 활용하여 Demo 실행
  • 실행 시 http://localhost:8501/ 로 Demo page가 실행됨

streamlit run infer.py

• Demo Page 실행 결과
  • 원문링크

Reference

• KoBART
• KoBART-chatbot