Elasticsearch엘라스틱서치(Elasticsearch)는 아파치 루씬(Apache Lucene)을 기반으로 개발된 오픈소스 분산 검색 엔진이다. 루씬의 역색인(inverted index) 구조를 활용하여 문서 내 단어들을 빠르게 색인하고 검색할 수 있다.엘라스틱서치는 검색 엔진 기능 외에도 로그 분석과 실시간 모니터링 등에 사용된다.특히 Logstash와 Kibana와 함께 사용되어 데이터 수집, 저장, 분석, 시각화를 제공할 수 있다.Elasticsearch Python Client 사용하면 Python 애플리케이션에서 Elasticsearch를 쉽게 통합할 수 있다. 1) Elasticsearch 설치Elasticsearch Python Client를 설치하려면 pip를 사용하면 된다.pip ..
[VSCode] MySQL Extension으로 DB 연결하기
VSCode에서 MySQL Extension 설치하기먼저 VSCode에 MySQL Extension을 사용하기 전, 연결할 MySQL을 먼저 준비되어야 한다.혹시 개인 연습용이라면 MySQL을 설치하고 시작하면 좋다.[MySQL] MySQL 설치하기 (윈도우 / windows)연결할 MySQL의 Host와 Port, Username과 Password를 사전에 알아두자.주의! MySQL Extension은 기존 DB에 연결해주는 역할을 하는 것이기에 연결할 DB가 준비되어 있어야 한다! Extension을 통해 새로 만드는 것이 아님으로 주의하자. 1) Extensions 아이콘을 선택하여 MySQL을 검색한다.다양한 Extension 중에 Weijan Chen의 MySQL을 선택한다. 2) Install..
[MySQL] MySQL 설치하기 (윈도우 / windows)
MySQLMySQL은 가장 많이 사용되는 데이터베이스 중 하나이다.무료이기에 간단히 설치해 바로 사용할 수 있다. 윈도우와 리눅스 등 다양한 운영체제에서 사용 가능해 확장성이 뛰어나다. 표준 SQL 형식을 사용해 쉽게 활용할 수 있다.1) MySQL Installer 다운로드하기아래 웹 페이지로 이동하여 MySQL Product Archives에서 MySQL Installer를 다운로드한다. MySQL :: Download MySQL Installer (Archived Versions)Please note that these are old versions. New releases will have recent bug fixes and features! To download the latest releas..
개발을 하다 보면 두 개의 코드를 비교해야 하는 경우가 생긴다.이런 상황에서 보다 쉽게 코드를 비교할 수 있도록 도와주는 사이트가 있다. 1. Diff Checker원본을 왼쪽 빈칸에 넣고, 수정본을 오른쪽 빈칸에 넣는다.하단의 초록색 Find difference 버튼을 누르면 코드를 비교할 수 있다. 코드 비교 결과는 위의 이미지에서 보이는 것처럼 원본의 어떤 내용이 삭제되고 추가되었는지 표시된다.Highlight Change의 Word 버전은 단어 단위로 변경된 부분을 블록으로 표시하며, Character 버전은 스펠링 하나하나를 비교하여 변화를 나타낸다.Syntax Highlighting을 통해 각 언어별 코드를 더 명확히 확인할 수 있다.기타 Tool 기능으로는 공백을 제거하는 등의 간단한 작업을..
[Python] 구글 드라이브 링크로 파일 다운 받기 (gdown / gdrive dataset)
Colab에서 데이터를 다루다 보면 공유 받은 구글 드라이브 링크를 통해 데이터를 다운 받을 때가 있다. 로컬에 다운 받아 Colab에 추가할 수 있지만 코드 몇 줄로 손쉽게 다운 받는 방법이 있다. 여기서는 gdown과 gdrive dataset 방법을 소개하려고 한다. 1. gdown gdown은 Colab에 설치되어 있어 별도의 설치가 필요없다. 파일을 저장할 폴더가 생성되어 있어야 한다. 구글 드라이브의 open.zip 파일 링크를 공유 받았다면 file_id를 추출한다. https://drive.google.com/file/d/16YZxhGfwnvlSLDsfDcaM_Z7nTouqzRaW/view 주어진 링크에서 file_id는 초록색 강조 부분인 16YZxhGfwnvlSLDsfDcaM_Z7nTo..
[Python] 압축 폴더 해제하는 방법 (zip 압축 풀기)
압축 폴더를 푸는 방법에는 unzip, shutil, zipfile 3가지 방법이 있다. 3가지 방법 모두 output 폴더가 없다면 자동으로 생성해 주며, Colab에서 별도 설치 없이 실행 가능하다. 1. unzip unzip은 Linux에서 사용하는 명령어이다. Colab에서 unzip을 사용하는 방법은 두 가지이며 os 모듈을 통한 방법이 훨씬 빠르다. Command Line unzip [파일명] -d [저장위치] !unzip dataset.zip -d ./dataset/dataset os 모듈 Command Line 명령어를 그대로 os.system 함수 안에 입력하면 된다. import os file_name = "dataset.zip" output_dir = "dataset/dataset" ..
앞선 글에서 아래한글(hwp) 문서를 읽는 방법을 살펴보았다. [Python] Colab에서 아래한글(hwp) 문서 읽기 Colab을 사용해 아래한글 문서를 받아 엑셀로 정리하는 작업을 하려고 한다. 윈도우에서 한글 문서를 다루는 패키지로 pyhwp가 있지만, Colab에서는 리눅스 OS를 사용하기 때문에 pyhwp로 아래한글 문 code-angie.tistory.com 이번에는 학술대회 참가신청서를 예시로 한글 문서를 읽고, 데이터를 뽑아내 엑셀화 하는 작업을 하려고 한다. text를 split을 통해 나누고 replace를 통해 정제하는 정도만 알고 있어도 쉽게 할 수 있는 작업이다. 1. 패키지 불러오기 # 별도 설치가 필요한 패키지는 설치를 해준다. !pip install olefile impor..