Elasticsearch엘라스틱서치(Elasticsearch)는 아파치 루씬(Apache Lucene)을 기반으로 개발된 오픈소스 분산 검색 엔진이다. 루씬의 역색인(inverted index) 구조를 활용하여 문서 내 단어들을 빠르게 색인하고 검색할 수 있다.엘라스틱서치는 검색 엔진 기능 외에도 로그 분석과 실시간 모니터링 등에 사용된다.특히 Logstash와 Kibana와 함께 사용되어 데이터 수집, 저장, 분석, 시각화를 제공할 수 있다.Elasticsearch Python Client 사용하면 Python 애플리케이션에서 Elasticsearch를 쉽게 통합할 수 있다. 1) Elasticsearch 설치Elasticsearch Python Client를 설치하려면 pip를 사용하면 된다.pip ..
VSCode에서 MySQL Extension 설치하기먼저 VSCode에 MySQL Extension을 사용하기 전, 연결할 MySQL을 먼저 준비되어야 한다.혹시 개인 연습용이라면 MySQL을 설치하고 시작하면 좋다.[MySQL] MySQL 설치하기 (윈도우 / windows)연결할 MySQL의 Host와 Port, Username과 Password를 사전에 알아두자.주의! MySQL Extension은 기존 DB에 연결해주는 역할을 하는 것이기에 연결할 DB가 준비되어 있어야 한다! Extension을 통해 새로 만드는 것이 아님으로 주의하자. 1) Extensions 아이콘을 선택하여 MySQL을 검색한다.다양한 Extension 중에 Weijan Chen의 MySQL을 선택한다. 2) Install..
MySQLMySQL은 가장 많이 사용되는 데이터베이스 중 하나이다.무료이기에 간단히 설치해 바로 사용할 수 있다. 윈도우와 리눅스 등 다양한 운영체제에서 사용 가능해 확장성이 뛰어나다. 표준 SQL 형식을 사용해 쉽게 활용할 수 있다.1) MySQL Installer 다운로드하기아래 웹 페이지로 이동하여 MySQL Product Archives에서 MySQL Installer를 다운로드한다. MySQL :: Download MySQL Installer (Archived Versions)Please note that these are old versions. New releases will have recent bug fixes and features! To download the latest releas..
Colab에서 데이터를 다루다 보면 공유 받은 구글 드라이브 링크를 통해 데이터를 다운 받을 때가 있다. 로컬에 다운 받아 Colab에 추가할 수 있지만 코드 몇 줄로 손쉽게 다운 받는 방법이 있다. 여기서는 gdown과 gdrive dataset 방법을 소개하려고 한다. 1. gdown gdown은 Colab에 설치되어 있어 별도의 설치가 필요없다. 파일을 저장할 폴더가 생성되어 있어야 한다. 구글 드라이브의 open.zip 파일 링크를 공유 받았다면 file_id를 추출한다. https://drive.google.com/file/d/16YZxhGfwnvlSLDsfDcaM_Z7nTouqzRaW/view 주어진 링크에서 file_id는 초록색 강조 부분인 16YZxhGfwnvlSLDsfDcaM_Z7nTo..
압축 폴더를 푸는 방법에는 unzip, shutil, zipfile 3가지 방법이 있다. 3가지 방법 모두 output 폴더가 없다면 자동으로 생성해 주며, Colab에서 별도 설치 없이 실행 가능하다. 1. unzip unzip은 Linux에서 사용하는 명령어이다. Colab에서 unzip을 사용하는 방법은 두 가지이며 os 모듈을 통한 방법이 훨씬 빠르다. Command Line unzip [파일명] -d [저장위치] !unzip dataset.zip -d ./dataset/dataset os 모듈 Command Line 명령어를 그대로 os.system 함수 안에 입력하면 된다. import os file_name = "dataset.zip" output_dir = "dataset/dataset" ..
앞선 글에서 아래한글(hwp) 문서를 읽는 방법을 살펴보았다. [Python] Colab에서 아래한글(hwp) 문서 읽기 Colab을 사용해 아래한글 문서를 받아 엑셀로 정리하는 작업을 하려고 한다. 윈도우에서 한글 문서를 다루는 패키지로 pyhwp가 있지만, Colab에서는 리눅스 OS를 사용하기 때문에 pyhwp로 아래한글 문 code-angie.tistory.com 이번에는 학술대회 참가신청서를 예시로 한글 문서를 읽고, 데이터를 뽑아내 엑셀화 하는 작업을 하려고 한다. text를 split을 통해 나누고 replace를 통해 정제하는 정도만 알고 있어도 쉽게 할 수 있는 작업이다. 1. 패키지 불러오기 # 별도 설치가 필요한 패키지는 설치를 해준다. !pip install olefile impor..
Colab을 사용해 아래한글 문서를 받아 엑셀로 정리하는 작업을 하려고 한다. 윈도우에서 한글 문서를 다루는 패키지로 pyhwp가 있지만, Colab에서는 리눅스 OS를 사용하기 때문에 pyhwp로 아래한글 문서를 읽기가 쉽지 않았다. (exe 파일을 사용해서 그렇다고 본 것 같다.) 다행히 olefile 패키지를 사용하여 아래한글 문서를 바로 txt 문서로 변환하여 읽어 올 수 있는 방법을 찾았다. 1. olefile 패키지 설치 pip install olefile 2. 아래한글 문서 열기 import olefile path = "/content/file_name.hwp" f = olefile.OleFileIO(path) 3. 아래한글 문서 디코딩하기 기본적인 틀은 openstream 함수로 문서의 내..
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- 그리디
- 파이썬
- BFS
- python
- 누적합
- 분리집합
- greedy
- padding mask
- Prefix sum
- 코딩테스트실력진단
- disjoint set
- 구현
- pytorch
- boj
- 이분탐색
- Look-ahead Mask
- Algorithm
- dfs
- FastAPI
- 트랜스포머
- 코드트리
- 백준
- lis
- COLAB
- DP
- 알고리즘
- 수학
- 코딩테스트
- MySQL
- Transformer