SSAMKO의 개발 이야기

회사에서 AI모듈 패키징을 하며, 여러 대의 GPU를 효율적으로 사용하는 방법에 대한 고민이 있었다. 각각의 아이템들에 특정 gpu index를 부여해서, 해당 gpu에서 작업하도록 하는 방법을 사용중이었는데, (Round Robin Load Balancing Algorithm과 유사) 이 방법은 놀고 있는 gpu가 있어도 특정 gpu에 업무가 몰릴 수 있다는 단점이 있었다. 그래서 각 아이템에 gpu_index를 부여하는 대신, 아이템이 업로드 되면 대기중인 gpu를 찾아서 해당 아이템의 처리를 하게 하는 방식으로 로직을 다시 작성할 필요가 있었다. (Least Connections Load Balancing Algorithm과 유사) (물론, 이 방법을 처음부터 생각하지 못한 것은 아니었지만, 구현이..

local에서 remote로 혹은 remote에서 remote로 보안을 유지하며 통신하기 위해 ssh tunneling을 사용할 수 있다. 이 ssh tunneling을 항상 작동시키고 싶다면 가장 쉬운 방법은 systemd를 활용하는 것이다. 아래와 같은 스크립트를 작성해서 사용할 수 있다. [Unit] Description=ssh tunneling After=multi-user.target [Service] User=ssamko Type=simple WorkingDirectory = /home/ssamko/ ExecStart = /usr/bin/ssh -i /home/ssamko/.ssh/ssamko -nNT -L 8585:127.0.0.1:3306 35.35.35.35 Restart = always..

1. macFuse 설치 osxfuse.github.io/ 2. fuse-xfs 설치 sourceforge.net/projects/fusexfs/ fuse-xfs Download fuse-xfs for free. A MacFuse (OSXFUSE) driver for XFS. Fuse-xfs is a MacFuse (OSXFUSE) driver for XFS filesystems. This driver allows Mac OS 10.7 with OSXFUSE/MacFuse to mount XFS filesystems in readonly mode. sourceforge.net 3. disk utility에서 disk 이름 확인 4. 터미널을 열고 명령어 입력 sudo fuse-xfs /dev/{disk2..

내 컴퓨터를 이용해 만든 사이트를 외부에 테스트 목적으로 공개하고 싶을 때,ngrok을 사용하면 간단하게 할 수 있다. 1. 먼저 ngrok사이트에 가서 프로그램을 다운로드 및 설치한다. https://ngrok.com/ngrok - secure introspectable tunnels to localhost@Botto ngrok, probably the best tool I have started to use for my webwork since firebug also great supportngrok.com 2. ngrok 실행터미널을 열고 ngrok을 설치한 폴더로 가서 아래 명령을 실행시킨다../ngrok http 5000원하는 localhost의 포트번호를 입력해주면 된다.여기서는 flask로 ..

먼저, 작업 폴더에 Dockerfile을 만들고 아래와 같이 작성한다. FROM python:3.8.5 WORKDIR /test COPY . . RUN pip install -r requirements.txt EXPOSE 5000 CMD python ./app.py 같은 폴더에 requirements.txt를 만들고 아래와 같이 flask를 추가해준다. Flask==1.1.2 app.py도 작성해준다. from flask import Flask app = Flask("api_test") @app.route('/') def hello(): return 'Hello' if __name__ == '__main__': app.run('0.0.0.0', port=5000, debug=True) docker를 이미..

한국어 처리기 knolpy를 import할 때, jpype._jvmfinder.JVMNotFoundException: No JVM shared library file (libjvm.so) found. Try setting up the JAVA_HOME environment variable properly. 위와 같은 메세지가 발생할 경우, JAVA설치가 안되어있거나, 환경변수에 등록이 안되어있는 것인데, 보통은(최신버전의 JAVA 혹은 ubuntu) JAVA를 설치해주면 이 문제가 해결된다. ubuntu20.04에서 JAVA는 아래의 커맨드로 설치할 수 있다. sudo apt install default-jdk 위 JAVA 설치를 docker에 추가하고 싶다면, Dockerfile내에 RUN sudo a..

vim editor에서 백스페이스키가 작동하지 않을 때, # ~/.vimrc set backspace=indent,eol,start ~/.vimrc에 가서 위와 같은 줄을 추가해주면 정상 작동한다.

docker로 python 이미지를 생성하고, requirements.txt를 이용해 pip install을 진행하다보면, pytorch같은 큰 라이브러리가 포함되어 있을 경우 kiilled 라는 에러메세지와 함께 종료되는 경우가 있다. 이런 경우 대부분 memory문제인데, docekr container에 기본적으로 memory가 1GB로 제한되어있어서 그렇다. 이를 해결해주려면, 아래와 같은 커맨드를 사용해 메모리를 늘려주면 된다. sudo docker run -it --memory=”[memory_limit]” [docker_image]예, sudo docker run -it --memory=”3g” myAppdocker-compose로 작성할때는 기존에 아마도 build: . 으로 되어있었을 부분..