Pretrained 된 딥러닝 모델을 좀 더 학습시키고 싶을 때, 코드에 손대지 않고 내가 갖고 있는 데이터를 알맞게 수정해야 하기도 한다. 최근에는 tsv 데이터셋으로 학습된 모델을 Finetuning 하게 되어 갖고 있던 데이터셋을 변환해야 했다. 1. TSV 파일 tsv 는 Tab-Separated-Values 의 약자로 tab을 통해 구분되어 있는 파일이다. tsv 파일은 결국 콤마(Comma)로 구분되어 있는 csv 파일과 유사하다. 다만 구분자(delimiter)가 tab으로 이루어져 있다는 차이가 있을 뿐이다. 2. TSV 파일 읽고 쓰기 구분자의 차이만 있기 때문에 pandas를 통해 csv 파일을 읽고 쓰는 것과 같은 방법으로 tsv를 읽고 쓸 수 있다. import pandas as p..
딥러닝 모델을 학습시킬 때 학습 진척도(progress bar)를 살필 수 있는 방법으로 tqdm 패키지가 사용된다. 1. tqdm 패키지 설치!pip install tqdm 2. 기본 예제기본적으로 tqdm에 iteration이 가능한 객체를 입력하면 된다. tqdm(range(10))from tqdm import tqdmimport timen = 10for i in tqdm(range(n)): time.sleep(1)다른 설정이 없다면 progress bar는 진행도와 시간이 표시된다.진행도(%) | 완료 횟수(i) / 전체 반복 횟수(n) [현재까지 걸린 시간 3. 옵션1) 많이 사용되는 옵션: desc, postfix, unitdesc는 progress bar의 prefix(전위표기법)으..
[Python] pip 패키지 목록 requirements.txt 생성 및 설치 방법
개발에 있어서 개발 환경은 매우 중요한 요소이다. 딥러닝 모델을 구성할 때도 pytorch 버전에 따라 명령어가 차이가 나기 때문에 현재 진행하는 프로젝트에 어떤 패키지들이 어떤 버전으로 설치되어 있는지 기록해 두는 것이 중요하다. requirements.txt 파일은 현재 개발 환경(python)에 pip를 통해 설치된 모든 패키지 목록이 버전과 함께 기록되는 곳이다. 1. requirements.txt 생성 명령어 requirements.txt 파일을 만드는 방법은 두 가지가 있다. pip freeze 명령어를 사용하는 법 pip list 명령어를 사용하는 법 1.1. pip freeze 명령어 pip freeze > requirements.txt pip freeze를 사용하여 requirements..
[HTML / 티스토리 스킨] HTML 문서에서 LaTeX 로 수식 작성하기
논문 구현에 대한 설명을 하다 보니 함수에 쓰인 수식들을 표현해야 할 때가 많다. 하지만 사용하던 티스토리 스킨에서는 수식을 캡처하여 이미지로 입력해야 했다. 그렇기 때문에 쉽고 간편하게 수식을 작성하기 위해서 LaTeX라는 수식을 멋드러지게 작성할 수 있게 도와주는 문서 작성 도구를 스킨에 적용해보려고 한다. 1. 스킨에 LaTeX를 적용하기 스킨에 LaTeX를 적용하는 방법은 간단하다. Head 에 아래 script를 추가하면 끝!이다. 출처: Configuring and Loading MathJax — MathJax 3.2 documentation 2. LaTeX로 수식 작성하기 수식을 작성하기 위해서는 몇 가지 규칙을 알아야 한다. 수식은 $$ 사이에 작성한다. 기호 앞에는 \를 붙여야 한다. (..