SSAMKO의 개발 이야기

회사에서 AI모듈 패키징을 하며, 여러 대의 GPU를 효율적으로 사용하는 방법에 대한 고민이 있었다. 각각의 아이템들에 특정 gpu index를 부여해서, 해당 gpu에서 작업하도록 하는 방법을 사용중이었는데, (Round Robin Load Balancing Algorithm과 유사) 이 방법은 놀고 있는 gpu가 있어도 특정 gpu에 업무가 몰릴 수 있다는 단점이 있었다. 그래서 각 아이템에 gpu_index를 부여하는 대신, 아이템이 업로드 되면 대기중인 gpu를 찾아서 해당 아이템의 처리를 하게 하는 방식으로 로직을 다시 작성할 필요가 있었다. (Least Connections Load Balancing Algorithm과 유사) (물론, 이 방법을 처음부터 생각하지 못한 것은 아니었지만, 구현이..

한국어 처리기 knolpy를 import할 때, jpype._jvmfinder.JVMNotFoundException: No JVM shared library file (libjvm.so) found. Try setting up the JAVA_HOME environment variable properly. 위와 같은 메세지가 발생할 경우, JAVA설치가 안되어있거나, 환경변수에 등록이 안되어있는 것인데, 보통은(최신버전의 JAVA 혹은 ubuntu) JAVA를 설치해주면 이 문제가 해결된다. ubuntu20.04에서 JAVA는 아래의 커맨드로 설치할 수 있다. sudo apt install default-jdk 위 JAVA 설치를 docker에 추가하고 싶다면, Dockerfile내에 RUN sudo a..

python을 새 서버에서 운영해야 할 때, 버전관련한 이슈가 생기지 않도록, 개발할 때의 파이썬 버전을 필요로 할 때가 있다. 이럴때, 단순히 기존의 python을 제거하고, python old version을 받아서 설치하는 방법도 있지만, pyenv를 이용해 좀 더 세련되게 관리하는 방법에 대해 알아보자. pyenv의 공식 github는 github.com/pyenv/pyenv 이다. 자세한 내용은 여기서 확인이 가능하고, 해당 포스팅의 내용은 이곳에 나와있는 것을 초보자를 위해 꼭 필요한 부분만 한글로 번역해 안내함을 알린다. pyenv의 원리를 간단하게 나타내면, python이라는 명령어에 해당하는 환경변수(PATH)를 그때그때 변경해주는 것이다. 무슨 말이지 몰라도 괜찮다. pyenv자동 설치..

Google에서는 인공지능을 활용한 다양한 API를 제공하고 있는데, 매력적인 점은 개인적으로 사용할때는 대부분의 AI를 무료로 사용할 수 있다는 것이다. (개인사용자에게 무료로 제공하는 것은 아니고, 무료로 사용할 수 있는 일 할당량 혹은 월 할당량이 존재함) 그중에서 이미지에서 텍스트를 추출할 수 있는 API의 사용법을 알아보자. 필자는 쇼핑몰 상세이미지에서 텍스트를 추출하기 위해 사용했었는데, 퀄리티가 정말 매우매우 높다. 한글의 정확도도 99%정도로 매우 정확하고, 언어를 알아서 감지해주므로 다양한 언어가 있더라도 문제가 없다. 사용 예시 위 이미지에서 텍스트를 추출하면 고급스러운 합성가죽 고급스러움이 느껴지는 가죽으로 이물질이 묻어도 쉽게 제거가 가능하며, 정교한 박음질로 마감처리 되었습니다. ..

python에서 다른 폴더, 특히 상위폴더에 작성한 module 혹은 pacakge를 import할 때, 경로 문제가 자주 발생한다. 해당 스크립트를 직접 실행시킬때, package를 아래처럼 import해줄 수 있다. if __name__ == '__main__': if __package__ is None: import sys from os import path sys.path.append(path.dirname(path.dirname(path.abspath(__file__)))) from airtrack_banner import Banner else: from ..airtrack_banner import Banner

요즘 크롤링 할 일이 많은데, 시간이 오래걸려서 현재 진행상황을 파악하고자 간단한 진행상황 표시기를 만들어 보았습니다. import time sample = [x for x in range(10)] def some_process(x): return True total = len(sample) start = time.time() for i, some in enumerate(sample): some_process(some) now = time.time() print(f'\r{i+1}/{total} runtime: {now - start:.2f}', end='') # Use follow code if your python version is before v3.6 # print('\r{}/{} runtime: ..

python으로 손쉽게 API서버를 만들기 위해서 주로 flask를 많이 사용합니다. 플라스크 (웹 프레임워크) - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. ko.wikipedia.org 좀 더 큰 규모의 백엔드 서버를 위해서는 당연 django를 사용해야겠지만, 가벼운 API 몇 개만 운영하고자 할 때는 flask처럼 간편한 framework가 없습니다. 장고 (웹 프레임워크) - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 다른 뜻에 대해서는 장고 문서를 참조하십시오. 장고(Django, FAQ 발음으로는 "쟁고"(IPA: [ˈdʒæŋgoʊ])[2])는 파이썬으로 작성된 오픈 소스 웹 프레임워크로, 모델- ko.wikipedia.org flask를 API..

vue.js - node.js 에 django 끼워넣기 1. Django에서 socket-io[client] 연결 2. Django - DB서버(mariaDB) 연결 3. Django - GCS(Google-Cloud-Storage) 연결 4. node.js(javascript) 와 django(python) JSON response 통일시키기 5. API cors(csrf) 설정 시작 현재 회사에서 Backend(node.js) - Frontend(vue.js) 로 만들어진 웹사이트에 새로운 기능을 런칭하면서, 해당 기능을 django로 제공하고자 했다. 그래서 vue.js로 만들어진 페이지에 백엔드는 node.js, django 두 가지 서버가 운영되게 되었는데 내가 django서버 개발을 담당했다...