강

서버리스 아키텍쳐를 AWS 에서는 Lambda, MicroSoft에서는 Azure Function으로 제공하고 있다. 두 제공 업체에서 모두 병렬적인 워크로드를 서버리스 환경에서 돌려보았다. AWS Lambda에서는 높은 처리량을 보였던 반면 Azure Function에서는 병렬적인 처리도 순차적으로 진행하는 경향을 보였다. 따라서 내부 구조에 대해 이해해 보려고 정리해보았다. Benchmarking Parallelism in FaaS Platforms 이라는 논문을 참고하여 구조에 대해 이해했다. 3.2. AWS Lambda architecture Control Plane은 사용자가 AWS Lambda 와Invoke Service 등을 구성하는 부분이다. Data Plane은 내부적으로 실행 환경을 구..

로컬 환경에서 S3에 파일을 업로드하거나 S3에서 파일을 다운로드 받고 싶은 경우가 있다. AWS CLI의 방법도 있지만 python의 boto3라는 라이브러리를 통해서도 진행할 수 있다. 우선 터미널을 켠다. 사전 작업 aws configure aws configure로 계정 등록은 필수다. pip install boto3 boto3 라이브러리를 설치한다 S3에서 다운로드 받기 import boto3 bucket_name = '' object_path = '' file_path = '/' s3 = boto3.client('s3') s3.download_file(bucket_name, object_path, file_path) S3에 로컬 파일 업로드하기 import boto3 bucket_name = ..

dynamodb에 올려져 있는 데이터를 로컬에 json 형태로 저장한다. 우선 터미널을 켠다. aws configure aws cli 명령어를 사용해야 하기 때문에 configure로 계정을 등록한다. aws dynamodb scan --table-name [table_name] --region ap-northeast-2 \ --output json > [file_name].json aws dynamodb의 scan 명령어를 활용한다. 테이블 이름, 해당 테이블이 있는 지역, json으로 만들 파일의 이름을 입력하면 끝이다.

깃허브를 이용하다 보면 특정 폴더만 pull 혹은 clone해오고 싶은 경우가 많다. 가져오고 싶은 프로젝트가 거대할 수록 굳이 필요없는 파일들 까지 받아오는 것은 비효율적이기 때문이다. 따라서 특정 폴더만 clone해 오는 방법을 소개한다. 클론 받을 폴더 생성 mkdir "폴더 이름" cd "폴더 이름"폴더를 생성하고 해당 폴더로 이동한다. Sparse Checkout 기능 활성화 git config core.sparseCheckout truegit remote 추가 git remote add -f origin 만약에 clone 받을 폴더에 이미 git remote가 있다면 git initgit init 명령어를 통해 독자적인 git remote를 생성하도록 한다. checkout 하기 echo >>..

딥러닝은 크게 두가지 단계로 나눌 수 있다. 한가지는 대다수의 사람들이 알고 있는 학습(Training) 이다. 학습과정의 특징은 축적된 많은 데이터를 바탕으로 각 신경망들의 Weight를 업데이트 해가며 딥러닝 모델을 만들어 가는 과정이다. 반면 추론(Inference)은 학습을 통해 만들어진 모델을 실제로 새로운 입력 데이터에 적용하여 결과를 내놓는 단계이다. 학습과 추론 비교 학습과 추론의 차이점을 조금 더 살펴보겠다. 그림에서 보면 알 수 있듯, 학습을 위해서는 많은 데이터가 필요하다. 그리고 그 데이터 들은 우선 순방향 전파를 통해 각 신경망을 거쳐가고 Loss function을 통해 에러율이 얼마나 되는지 판단하고, 그 에러율을 줄이기 위해 역방향 전파로 다시 신경망을 반대로 지나가면서 각 신..

리눅스 명령어에서 특정한 파일을 제외하고 명령어를 입력해야할 때가 있습니다. 그럴 때 grep 명령어를 활용하면 됩니다. 제외될 문자에 대해서 하나인 경우와 여러개인 경우 각각 다음과 같이 명령어를 입력합니다. cat 명령어를 예시로 듭니다. cat "파일명" | grep -v "제외될 문자" cat "파일명" | grep -ev "제외될 문자"|"제외될 문자" 참조 https://tipland.tistory.com/73

git 작업을 하다가 폴더 구조를 바꾸게 되어서 바꾼 폴더들에 git add, commit을 시도하니 다음과 같은 에러 메세지가 나왔습니다 fatal: Unable to create '.git/index.lock': File exists. Another git process seems to be running in this repository, e.g. an editor opened by 'git commit'. Please make sure all processes are terminated then try again. If it still fails, a git process may have crashed in this repository earlier: remove the file manually ..

현재 디렉토리에서 파일 개수 세기 ls -l | grep ^- | wc -l 현재 디렉토리에서 폴더 개수 세기 ls -l | grep ^d | wc -l 현재 디렉토리에서 하위 파일 개수 세기 find . -type f | wc -l