목록2021/10 (12)
강
Google Cloud Platform에도 AWS와 같이 사용자 로컬 환경의 터미널에서 CLI를 이용할 수 있도록 지원한다. GCP에서는 gcloud라는 명령어로 cli를 이용할 수 있게 하는데 초기설정을 진행해보자. 패키지 설치 GCP CLI를 위해 관련 모듈이 포함된 파일을 로컬 환경에 저장해야 한다. Linux, Debian/Ubuntu, Red Hat/Fedora/CentOS, macOS, Windows 별로 파일을 다운받을 수 있는 경로가 다르다. Linux https://dl.google.com/dl/cloudsdk/channels/rapid/downloads/google-cloud-sdk-360.0.0-linux-x86_64.tar.gz macOS https://dl.google.com/dl..
Preemptible 인스턴스란? preemptible은 직역하자면 선점 가능한 이라는 뜻을 가지고 있다. Preemptible 인스턴스는 따라서 다른 사람이 리소스를 선점할 수 있는 인스턴스를 뜻한다. 예를 들어 내가 30분 동안 ResNet 모델을 training 해야하는데 중간에 GCP에서 내 VM의 위치(리전)과 근접한 곳에서 요청이 폭주하면 내가 사용하던 리소스를 중단시키고 그 곳에 배정해 줄 수 있다는 것이다. 이는 AWS의 Spot 인스턴스와 매우 유사하다. 그렇다면 이렇게 불안정한 인스턴스를 왜 사용할까? 바로 저렴하기 때문이다. 위의 요금표는 GCP 인스턴스 중 TPU에 대한 요금을 나타낸다. TPU의 경우 일반적인 v2 인스턴스의 경우 시간당 4.5달러를 요구하는 반면 Preemptib..
저번 포스팅에서 python boto3 라이브러리를 이용하여 s3를 download 받는 방법을 정리했다. 하지만 s3 download는 s3에 있는 이미지 데이터를 로컬에 저장해두어야 한다는 단점이 있다. 로컬에 이미지를 저장해야 하는 경우에는 괜찮겟지만, 나의 경우 굳이 이미지를 저장하지 않고 python 단에서 사용만 한 후 이미지에 대한 데이터만 뽑아두면 되는 상황이였다. 따라서 boto3의 object get 방식을 이용하여 python 단에서 이미지를 read하기만 하면 된다. import boto3 from PIL import Image s3 = boto3.resource('s3') def read_image_from_s3(filename): bucket = s3.Bucket(bucket_n..
Keras에는 미리 학습된 모델(pretrained model)들을 제공해 준다. 따라서 제공해주는 모델들을 자신의 컴퓨터 환경에 저장하고 추후에 로드하여 사용할 수 있다. 이번 포스팅에서는 pretrained model을 local 환경에 save하고 load해오는 방법을 알아보자. 작업 환경 pip install tensorflow pip install keras 필요한 라이브러리를 pip로 깔아주자. 나는 tensorflow 1.15.0, keras 2.1.5 버전에서 진행했다. pretrained model list keras에는 위와 같이 MobileNet처럼 Parameters수가 작은 모델 부터 VGG16같은 Heavy한 모델도 지원해주고 있다. save model save model을 위한..