목록2021/11 (6)
강
GCP에서 제공하는 Cloud TPU는 먼저 생성을 한후 GCP VM과 네트워크 적으로 연결시켜 사용한다. GCP 콘솔에서 직접 버튼을 눌러 생성하는 방법도 있겠지만 상당히 번거롭다. 따라서 이번 포스팅에서는 gcloud를 이용하여 TPU를 생성하고, 삭제해 볼 것 이다. Gcloud 설정 우선 현재 환경에 gcloud가 설치되어 있어야 한다. 환경 설정을 하지 않았다면 아래의 링크에 포스팅 해두었으니 참고바란다. https://manchann.tistory.com/24 Cloud TPU 생성 gcloud compute tpus create "TPU 이름" \ --zone=us-central1-b \ --accelerator-type='v2-8' \ --version='2.5.0..
Google TPU를 사용하기 위해서는 현재 내가 생성한 TPU가 정상적으로 생성되었는지 확인이 필요하다. 사용하고 있는 TPU의 개수가 많을 수록 관리에 어려움이 있을 것이다. Gcloud 설정 우선 현재 환경에 gcloud가 설치되어 있어야 한다. 환경 설정을 하지 않았다면 아래의 링크에 포스팅 해두었으니 참고바란다. https://manchann.tistory.com/24 Tpu list gcloud compute tpus list --zone us-central1-b 해당 명령어로 TPU list를 확인한다. zone 옵션을 통해 생성한 region을 특정하여 확인할 수 있다. 참조 https://github.com/tensorflow/tpu/issues/227
Google TPU의 사용률이 어떻게 되는 지 체크하는 방법에 대해 소개한다. Gcloud 설정 우선 현재 환경에 gcloud가 설치되어 있어야 한다. 환경 설정을 하지 않았다면 아래의 링크에 포스팅 해두었으니 참고바란다. https://manchann.tistory.com/24 Cloud-tpu-profiler 설치 pip install cloud-tpu-profiler 사용률 확인 TPU 작업을 실행한 후 따로 터미널을 켜서 해당 명령어를 입력한다. capture_tpu_profile --tpu="TPU 이름" --monitoring_level=2 --num_queries 10000 tpu 옵션에는 생성한 google tpu의 이름을 넣어 connect가 이루어지도록 한다. monitoring_lev..
문제 발견 최근 맥북이 조금씩 느려지는 것 같아 다양한 원인을 찾던 중 맥북의 저장공간을 확인해 보았다. 사실 지금은 위의 캡쳐본은 어느정도 정리를 하고 난 후여서 44GB이지만, 당시 내 맥북에는 100GB가 넘는 공간을 차지하고 있었다. 맥북 저장 공간 관리 앱들을 여러개 사용해 본 결과 최근에 내 mac에 설치한 Docker가 64GB나 시스템 데이터 저장 공간을 먹고 있었다. Docker.raw reserving too much size · Issue #2297 · docker/for-mac Expected behavior Docker.raw should not grow much larger than the space used by docker containers, images, volumes. ..
문제 직면 람다에서 주기적으로 web에 request요청을 보내야 하는 작업을 해야했다. 기존에 python3.7 버전에서 람다를 즐겨 사용했던 나는 람다에서 리눅스 커맨드를 실행하는 방법으로 작업을 진행하려 했었다. 예시로 import os def lambda_handler(event,context): os.system("curl https://naver.com") python 내장 라이브러리인 os를 이용하여 람다에서 curl 명령어를 실행하려고 했었다. 하지만 어째서인지 아래와 같은 에러가 발생했다. bin/sh: curl: command not found 현재 람다가 사용하는 리눅스에 curl 명령어가 없다는 메세지였다. Stackoverflow를 통해 조금 더 공부해 보니, python3.7까지..
문제 직면 TPU로 학습을 하기 위해서 TFRecord로 된 Train Imagenet 데이터셋을 GCS에 올려야 했다. 따라서 gcloud를 이용하여 다음의 코드로 업로드를 시도했다. gsutil cp validation-00000-of-00001 gs://[내 버킷이름]/tf-record/train 하지만 다음과 같은 메세지를 받았다. Copying file://validation-00000-of-00001 [Content-Type=application/octet-stream]... ==> NOTE: You are uploading one or more large file(s), which would run significantly faster if you enable parallel composit..