SSAMKO의 개발 이야기

[ansible] 가상환경 설정. source 를 찾을 수 없다는 에러. "stderr": "/bin/sh: 1: source: not found"

SSAMKO — Wed, 1 Dec 2021 14:36:42 +0900

Ansible

ansible로 가상환경을 설정해 그 안에서 작업하려고 source 커맨드를 사용하면 아래와 같은 에러를 마주치게 된다.

fatal: [default]: FAILED! => {"changed": true, "cmd": "source /home/ubuntu/venv/bin/activate && pip install -r /home/ubuntu/requirements.txt", "delta": "0:00:00.003097", "end": "2021-12-01 05:22:18.087230", "msg": "non-zero return code", "rc": 127, "start": "2021-12-01 05:22:18.084133", "stderr": "/bin/sh: 1: source: not found", "stderr_lines": ["/bin/sh: 1: source: not found"], "stdout": "", "stdout_lines": []}

이는 ansible은 기본적으로 shell: 을 실행할 때, /bin/bash 대신에 /bin/sh 을 사용하기 때문에 그렇다.

따라서 우리가 /bin/bash를 사용하도록 직접 지정해주면 해결된다. executable을 이용해 지정해 줄 수 있다.

- name: Virtual Env
  shell: source home/ubuntu/venv/bin/activate
  args:
    executable: /bin/bash

| https://docs.ansible.com/ansible/2.5/modules/shell_module.html

[mac os]vagrant up시 `VBoxManage`Error 해결방법

SSAMKO — Sun, 10 Oct 2021 12:07:36 +0900

virtualbox를 설치하고,

vagrant 세팅 후 vagrant up으로 가상 머신을 생성하려고 할 때,

mac os에서는 아래와 같은 에러가 날 수 있다.

==> default: Booting VM...
There was an error while executing `VBoxManage`, a CLI used by Vagrant
for controlling VirtualBox. The command and stderr is shown below.

Command: ["startvm", "91db4587-1e42-4b43-bdba-7b38c5055f05", "--type", "headless"]

Stderr: VBoxManage: error: The virtual machine 'vagrant_study_default_1633830743228_76985' has terminated unexpectedly during startup with exit code 1 (0x1)
VBoxManage: error: Details: code NS_ERROR_FAILURE (0x80004005), component MachineWrap, interface IMachine

mac os에서 해당 문제가 발생하는 원인은 대부분의 경우 권한 문제이다.

설정 > 보안 및 개인정보보호(Security & Privacy) > 일반(general) 에서 자물쇠를 해제한 후 '상세정보 보기'에서

Oracle 을 허용해주면 재시작하라는 메세지가 나오는데, 재시작해주고 나면 해결된다.

[docker]boto3 사용시 Unable to locate credentials 에러 해결

SSAMKO — Tue, 7 Sep 2021 23:08:32 +0900

docker와 boto3 혹은 botcore를 사용할 때, 아래와 같은 에러가 발생한다.
botocore.exceptions.NoCredentialsError: Unable to locate credentials
~/.aws/credential에 접근할 수 없어서 발생하는 에러인데,
이때는 크게 두 가지 방법으로 해결할 수 있다.

먼저, 단순히 docker run 커맨드를 이용해서 docker를 사용중인 경우에는

docker run -v ~/.aws/:/root/.aws:ro {your_image} -e AWS_PROFILE=default

위와 같이 실행시켜주면 된다.

만약, docker-compose를 사용중이라면,

services: 
  app:
    image: {docker-image-name}:latest
    volumes:
      - ~/.aws/:/root/.aws/:ro

이렇게 이미지를 사용하거나

services: 
  app:
    build: .
    command: python manage.py runserver 0.0.0.0:8000
    volumes:
      - .:/code
      - ~/.aws/:/root/.aws/:ro

이렇게 build와 command를 사용할 수 있다. (위 예제는 django)

[github] access token으로 인증하기 - authentication

SSAMKO — Wed, 28 Jul 2021 19:10:36 +0900

이 글을 찾아오셨다면 아마도 아래와 같은 오류를 보신 적이 있으실겁니다

remote: Password authentication is temporarily disabled as part of a brownout. Please use a personal access token instead.
remote: Please see https://github.blog/2020-07-30-token-authentication-requirements-for-api-and-git-operations/ for more information.
fatal: unable to access 'https://github.com/AI/frontend.git/': The requested URL returned error: 403

github에서 조만간 token만을 이용해 인증을 하겠다고 하니까 이참에 token 인증 방법을 익혀두시면 편하실거에요

token을 사용하려면 먼저 token을 만들어 줍니다.

profile > settings > developer settings > personal access token 으로 가서

왼쪽에 generate new token을 눌러줍니다.

Note에 토큰에 대한 설명을 넣어주고,

expiration에는 토큰의 사용기한을 넣어줍니다. 개인이 본인 컴퓨터에서만 쓸 목적이라면 No expiration을 해주셔도 됩니다.

scopes는 토큰의 권한 범위를 지정해주는 건데, 디테일한 설정이 필요없으신 분이라면 아래와 같이 체크해주시면 일반적으로 사용하는데에는 무리가 없습니다.

이제 발급받은 토큰은 딱 한번만 볼 수 있으니 잘 기록해두시기 바랍니다.

토큰을 이용해 인증하는 방법은 remote를 지정할때 토큰을 입력해주는 겁니다.

만일, 위와같은 에러문구를 보고 오셨다면,

git remote set-url origin http://{token}@github.com/AI/frontend.git/

이렇게 origin remote의 url 앞에 token 정보를 넣어주시면 됩니다.

[django] migration file 초기화 하기

SSAMKO — Fri, 2 Jul 2021 20:11:32 +0900

개발 초기에 model 이름을 변경한다던지 column을 추가한다던지 할 경우 기존의 migration 파일과 충돌이 나거나 migration파일이 지저분해지는 경우가 생기는데, 이럴때는 한번씩 migration file을 초기화 해주는 것이 좋다.

1. db 삭제

먼저 기존의 DB를 삭제해준다.

(mariaDB/mysql)DROP DATABASE {database};

2. 모든 migrations 스크립트 삭제

다음으로 모든 migrations 스크립트를 삭제한다.

이때 주의할 점은 프로젝트 폴더 내에 가상환경(venv)이 있을 경우 가상환경 내의 migration 모듈이 함께 삭제되지 않도록 해주어야한다. (아래 참고)

1. project home 디렉토리로 이동

2. find . -path "\*/migrations/\*.py" -not -name "\_\_init\_\_.py" -not -path "./venv/\*" -delete

가상환경 내 migration모듈이 함께 삭제되지 않도록 실행전-delete옵션을 빼고 확인

3. find . -path "\*/migrations/\*.pyc" -delete

3. makemigrations

다시 makemigrations를 실행해서 새로운 migration file을 생성한다.

[Django] rest_framework APIClient 'json' 사용시 request 처리

SSAMKO — Thu, 1 Jul 2021 20:26:46 +0900

아래와 같이 test코드를 짤 때, APIClient를 활용해 post로 보내면서 format을 'json'으로 지정해주면

from rest_framework.test import APIClient
client = APIClient()
response = client.post("/api/hi/", {"some":"data"}, format="json")

view에서 처리할때는 request.POST대신 request.body를 사용해서 받아주면 된다.

class DockingView(View):
    def post(self, request):
        body = request.body
        # body = {"some":"data"}

[Flutter] geolocator - ios simulator에서 PlatformException(ERROR_UPDATING_LOCATION)오류 해결

SSAMKO — Sun, 18 Apr 2021 12:19:21 +0900

flutter 패키지 중 하나인 geolocator를 이용해서 현재 위치location를 가져올 때, 정상적으로 Info.plist에 권한요청을 했음에도 오류가 나는 경우가 있다.

PlatformException(ERROR_UPDATING_LOCATION)에러가 발생하는데, 시뮬레이터 상에서 location 정보를 가져오지 못해서 발생하는 에러다.

ios시뮬레이터(12.04 기준)에서 Features > Location > Any(free drive, Apple ...) 설정을 해주면, 시뮬레이터가 정상적으로 해당하는 location정보를 불러온다.

참고: github.com/Baseflow/flutter-geolocator/issues/190

Exception on IOS · Issue #190 · Baseflow/flutter-geolocator

Bug Report I'm using the stream feature for real time location updates and I ran into an issue. When my position is fixed in the simulator, the update works normally but when I set the locati...

github.com

[Flutter] 이전 버전에서 패키지 추가 이슈 - 'requires your app to be migrated to the Android embedding v2'

SSAMKO — Sun, 11 Apr 2021 18:00:48 +0900

이전 버전에서 제작된 플러터 프로젝트에서 패키지를 추가하려고 할 때,

audioplayers를 추가하고 싶다

아래와 같은 이슈가 발생한다.

android embedding 버전이 맞지 않아서 생기는 이슈인데, 몇가지 조치를 취해주면 해결할 수 있다.

먼저, MainActivity.java를 수정해준다.

아래의 원본 코드를

package co.appbrewery.magic8ball;

import android.os.Bundle;
import io.flutter.app.FlutterActivity;
import io.flutter.plugins.GeneratedPluginRegistrant;

public class MainActivity extends FlutterActivity {
  @Override
  protected void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    GeneratedPluginRegistrant.registerWith(this);
  }
}

아래와 같이 수정해준다.

package co.appbrewery.magic8ball;

import io.flutter.embedding.android.FlutterActivity;

public class MainActivity extends FlutterActivity {
 
}

그다음 AndroidManifest.xml파일도 수정해준다.

아래의 원본 코드에서 <application>과 그 아래의 <meta-data>부분을 수정해준다.

원본

...
<application
        android:name="io.flutter.app.FlutterApplication"
        android:label="magic_8_ball"
        android:icon="@mipmap/ic_launcher">
       	<activity
        	...>
        <meta-data
                android:name="io.flutter.app.android.SplashScreenUntilFirstFrame"
                android:value="true" />
...

아래와 같이 수정해준다. <application>의 android:name을 삭제하고, <meta-data>의 android:name과 android:value값을 변경한다.

...
<application
        android:label="magic_8_ball"
        android:icon="@mipmap/ic_launcher">
       	<activity
        	...>
        <meta-data
                android:name="flutterEmbedding"
                android:value="2" />
...

수정 후 아래 커맨드를 이용해 패키지를 다시 불러오면 정상적으로 패키지가 불러지는 것을 확인할 수 있다.

$flutter pub get

참고: github.com/flutter/flutter/wiki/Upgrading-pre-1.12-Android-projects

flutter/flutter

Flutter makes it easy and fast to build beautiful apps for mobile and beyond. - flutter/flutter

github.com

[python] 병렬 작업 처리 | 비동기 처리 - threading, asyncio

SSAMKO — Wed, 17 Feb 2021 20:45:55 +0900

회사에서 AI모듈 패키징을 하며, 여러 대의 GPU를 효율적으로 사용하는 방법에 대한 고민이 있었다.

각각의 아이템들에 특정 gpu index를 부여해서, 해당 gpu에서 작업하도록 하는 방법을 사용중이었는데, (Round Robin Load Balancing Algorithm과 유사)

기존 multi GPU 활용방법

이 방법은 놀고 있는 gpu가 있어도 특정 gpu에 업무가 몰릴 수 있다는 단점이 있었다.

그래서 각 아이템에 gpu_index를 부여하는 대신, 아이템이 업로드 되면 대기중인 gpu를 찾아서 해당 아이템의 처리를 하게 하는 방식으로 로직을 다시 작성할 필요가 있었다. (Least Connections Load Balancing Algorithm과 유사)

(물론, 이 방법을 처음부터 생각하지 못한 것은 아니었지만, 구현이 좀 더 복잡해서 미뤄뒀던 것이다.)

생각해낸 해결책은

감독Director과 작업자Worker를 두고,

감독이 1) 처리할 아이템이 있는지 확인하고, 2) 대기중인 GPU가 있다면, 3) Worker를 생성해서 해당 아이템을 처리하도록 한다.

그리고 4) Worker가 작업이 끝났는지 확인해서 작업이 끝난 Worker는 삭제한다.

작업자Worker는 생성되면 1) 아이템을 처리하고, 처리가 완료되면 2) 완료 상태로 바꾼다.

Director와 Worker의 관계도

이 로직을 구현하기 위해서는 비동기 처리가 필요했다.

처음엔 이 비동기 처리를 위해서 asyncio를 이용했다.

하지만, 이 asyncio로 비동기 처리는 됐지만, await로 각 비동기 프로세스들이 종료되기를 기다리는 부분이 있어야 한다는 문제가 있었다.

Director는 계속해서 본인의 할 일을 하고,

Worker는 자기 작업을 마치고 빠지면 되는 것인데,

Director가 각 Worker들의 작업이 다 끝나길 기다리면 이 로직이 성립되지 않는 것이었다.

그래서 다른 방법을 고민하다가 각각의 처리를 개별 thread로 처리하는 방안을 생각해냈다.

Worker클래스를 threading.Thread의 하위 클래스로 만들어서 thread를 실행시키고, 실행이 끝난 Worker는 소멸시키는 방법이다.

이 방법을 적용하니 Director는 메인 thread로 돌고, 각각의 Worker들이 독립적인 sub thread로 작업을 하면서,

원하던대로 작동하게 되었다.

이런 처리가 필요한 상황이 많을 것 같아 범용 모듈로 만들었다.

스크립트가 궁금한 사람은 아래 링크에서 확인하기 바랍니다.

더불어 더 좋은 아이디어나 개선점이 있다면 알려주시기 바랍니다 :)

github.com/teacherSsamko/DirectorWorker

teacherSsamko/DirectorWorker

Director and Worker. using thread. Contribute to teacherSsamko/DirectorWorker development by creating an account on GitHub.

github.com

thread에 관해서 궁금하신 분은 아래 위키피디아를 확인해보세요

ko.wikipedia.org/wiki/%EC%8A%A4%EB%A0%88%EB%93%9C_(%EC%BB%B4%ED%93%A8%ED%8C%85)

스레드 (컴퓨팅) - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 두 개의 스레드를 실행하고 있는 하나의 프로세스. 스레드(thread)는 어떠한 프로그램 내에서, 특히 프로세스 내에서 실행되는 흐름의 단위를 말한다. 일반적으

ko.wikipedia.org

[ubuntu] ssh tunneling - systemd로 관리하기

SSAMKO — Mon, 8 Feb 2021 20:59:22 +0900

local에서 remote로 혹은 remote에서 remote로 보안을 유지하며 통신하기 위해 ssh tunneling을 사용할 수 있다.

이 ssh tunneling을 항상 작동시키고 싶다면

가장 쉬운 방법은 systemd를 활용하는 것이다. 아래와 같은 스크립트를 작성해서 사용할 수 있다.

[Unit]
Description=ssh tunneling
After=multi-user.target

[Service]
User=ssamko
Type=simple
WorkingDirectory = /home/ssamko/
ExecStart = /usr/bin/ssh -i /home/ssamko/.ssh/ssamko -nNT -L 8585:127.0.0.1:3306 35.35.35.35
Restart = always
RestartSec = 1min

[Install]
WantedBy=multi-user.target

ssh tunneling 커맨드는

ssh -i {your_public_key} -nNT -L {A}:{B_LOCAL_IP}:{B_PORT} {B_REMOTE_IP}

A: 현재 서버에서 ssh tunnel로 사용할 포트번호

B_LOCAL_IP: 접속할 대상 서버의 로컬 ip

B_PORT: 접속할 대상 서버의 포트

B_REMOTE_IP: 접속할 대상 서버의 remote ip