강

GCP에서 제공하는 Cloud TPU는 먼저 생성을 한후 GCP VM과 네트워크 적으로 연결시켜 사용한다. GCP 콘솔에서 직접 버튼을 눌러 생성하는 방법도 있겠지만 상당히 번거롭다. 따라서 이번 포스팅에서는 gcloud를 이용하여 TPU를 생성하고, 삭제해 볼 것 이다. Gcloud 설정 우선 현재 환경에 gcloud가 설치되어 있어야 한다. 환경 설정을 하지 않았다면 아래의 링크에 포스팅 해두었으니 참고바란다. https://manchann.tistory.com/24 Cloud TPU 생성 gcloud compute tpus create "TPU 이름" \ --zone=us-central1-b \ --accelerator-type='v2-8' \ --version='2.5.0&#..

Google TPU를 사용하기 위해서는 현재 내가 생성한 TPU가 정상적으로 생성되었는지 확인이 필요하다. 사용하고 있는 TPU의 개수가 많을 수록 관리에 어려움이 있을 것이다. Gcloud 설정 우선 현재 환경에 gcloud가 설치되어 있어야 한다. 환경 설정을 하지 않았다면 아래의 링크에 포스팅 해두었으니 참고바란다. https://manchann.tistory.com/24 Tpu list gcloud compute tpus list --zone us-central1-b 해당 명령어로 TPU list를 확인한다. zone 옵션을 통해 생성한 region을 특정하여 확인할 수 있다. 참조 https://github.com/tensorflow/tpu/issues/227

Google TPU의 사용률이 어떻게 되는 지 체크하는 방법에 대해 소개한다. Gcloud 설정 우선 현재 환경에 gcloud가 설치되어 있어야 한다. 환경 설정을 하지 않았다면 아래의 링크에 포스팅 해두었으니 참고바란다. https://manchann.tistory.com/24 Cloud-tpu-profiler 설치 pip install cloud-tpu-profiler 사용률 확인 TPU 작업을 실행한 후 따로 터미널을 켜서 해당 명령어를 입력한다. capture_tpu_profile --tpu="TPU 이름" --monitoring_level=2 --num_queries 10000 tpu 옵션에는 생성한 google tpu의 이름을 넣어 connect가 이루어지도록 한다. monitoring_lev..

문제 직면 TPU로 학습을 하기 위해서 TFRecord로 된 Train Imagenet 데이터셋을 GCS에 올려야 했다. 따라서 gcloud를 이용하여 다음의 코드로 업로드를 시도했다. gsutil cp validation-00000-of-00001 gs://[내 버킷이름]/tf-record/train 하지만 다음과 같은 메세지를 받았다. Copying file://validation-00000-of-00001 [Content-Type=application/octet-stream]... ==> NOTE: You are uploading one or more large file(s), which would run significantly faster if you enable parallel composit..

AWS가 익숙한 나는 내 로컬 환경의 파일,폴더와 S3를 CLI로 업로드, 다운로드 한다. GCP에서도 딥러닝 작업을 위해 모델을 GCP의 Cloud Storage Bucket(GCS)에 올려두어야 하는 일이 생겼고 비슷하게 작업을 진행하고자 한다. 사전 작업 GCP CLI를 사용하려면 gcloud 관련 설정을 해주어야 한다. 관련하여 블로그에 글을 업로드 해두었으니 참고 바란다. gcloud 초기 설정 https://manchann.tistory.com/24 업로드, 다운로드 gsutil cp [내 환경의 파일] gs://[업로드할 버킷 경로] gcloud 환경설정을 하면 gsutil이라는 명령어로 Cloud Storage Bucket에 업로드를 할 수 있다. 이때 AWS와는 다르게 콘솔창에서 복사를 ..

GCP를 이용하여 딥러닝 작업을 진행하다가 위와같은 에러가 발생하였다. 나같은 경우는 ml.googleapis.com이라는 GCP의 AI Platform 서비스의 API를 이용중 이였고 "API [ml.googleapis.com] not enabled on project [project name]." 라고 에러 메세지가 확인되었다. 혹은 "Permission denied to enable service [ml.googleapis.com]" 라고도 나올 수 있다. 해결법 gcloud services enable ml.googleapis.com --project=[프로젝트 이름] gcloud 명령어로 해당 서비스에 대해서 enable 처리를 해주면 해결된다. 여기서 중요한 점은 GCP의 프로젝트 이름에 GC..

GCP는 프로젝트 단위로 서비스를 관리하도록 한다. 따라서 VM, Function 과 같은 서비스를 이용하려면 우선 프로젝트를 생성해야 한다. 이번 포스팅에서는 GCP에서 프로젝트를 생성하고 삭제하는 방법을 다룰 것이다. 프로젝트 생성 우선 상단바에서 프로젝트 목록 버튼을 눌러준다. 나 같은 경우 이미 "jg-project" 라는 프로젝트를 생성했었고 해당 프로젝트에서 작업을 진행중이였기 때문에 해당 프로젝트의 이름이 나타나있다. 새 프로젝트 버튼을 누른다. 원하는 프로젝트이름을 입력 후 만들기 버튼을 누른다. 특별히 조직을 설정해주어야 한다면 상위 조직을 선택한다. 그러면 프로젝트가 생성된다. 프로젝트 삭제 프로젝트를 삭제할 일이 생겼다면 다음과 같이 정리해준다. 상단바 우측에 버튼을 누르고 프로젝트 ..

Google Cloud Platform에도 AWS와 같이 사용자 로컬 환경의 터미널에서 CLI를 이용할 수 있도록 지원한다. GCP에서는 gcloud라는 명령어로 cli를 이용할 수 있게 하는데 초기설정을 진행해보자. 패키지 설치 GCP CLI를 위해 관련 모듈이 포함된 파일을 로컬 환경에 저장해야 한다. Linux, Debian/Ubuntu, Red Hat/Fedora/CentOS, macOS, Windows 별로 파일을 다운받을 수 있는 경로가 다르다. Linux https://dl.google.com/dl/cloudsdk/channels/rapid/downloads/google-cloud-sdk-360.0.0-linux-x86_64.tar.gz macOS https://dl.google.com/dl..