exBERT at Github실험로그다운로드 & 커맨드 실행이슈1. 패키지 설치 안되어있음이슈2. Github의 커맨드는 엔터 \ 가 없음..이슈3. path_to_config_file_of_the_OFF_THE_SHELF_MODEL 없음
exBERT at Github
- 스타는 겨우 9개..
- issue 올라온거 처리 안해줌. (1달 전에 올라온건데.)
실험로그
다운로드 & 커맨드 실행
git clone https://github.com/cgmhaicenter/exBERT
이슈1. 패키지 설치 안되어있음
pip install torch transformers tqdm numpy
이슈2. Github의 커맨드는 엔터 \ 가 없음..
python Pretraining.py -e 1 -b 256 -sp path_to_storage -dv 0 1 2 3 -lr 1e-04 -str exBERT -config path_to_config_file_of_the_OFF_THE_SHELF_MODEL ./config_and_vocab/exBERT/bert_config_ex_s3.json -vocab ./config_and_vocab/exBERT/exBERT_vocab.txt -pm_p path_to_state_dict_of_the_OFF_THE_SHELF_MODEL -dp path_to_your_training_data -ls 128 -p 1
이슈3. path_to_config_file_of_the_OFF_THE_SHELF_MODEL
없음
아래와 같이 기존 모델인
beomi/kcbert-base
로 교체해주려고 함.python Pretraining.py -e 1 \ -b 256 \ -sp path_to_storage \ -dv 0 1 2 3 -lr 1e-04 \ -str exBERT \ -config beomi/kcbert-base ./config_and_vocab/exBERT/bert_config_ex_s3.json \ -vocab ./config_and_vocab/exBERT/exBERT_vocab.txt \ -pm_p beomi/kcbert-base \ -dp path_to_your_training_data \ -ls 128 \ -p 1