강

이번 포스트에서는 AWS S3에 버킷들이 많이 쌓여있을 때 필요한 버킷인지 아닌지 버킷안에 오브젝트를 보며 정리해 나갈 수 있는 프로그램을 소개합니다. shell script 기반으로 제작 되었습니다. 다음의 깃헙에 소스파일이 공유되어 있습니다. https://github.com/manchann/KMU-s3-delete 환경 세팅 AWS CLI를 사용하기 위해 다음과 같는 명령어를 사용하여 계정 로그인을 합니다. asw configure 실행 파일의 권한을 변경합니다. sudo chmod +x task.sh 작업을 시작하기 위해 명령어를 입력합니다. source task.sh local 폴더에 s3_bucket_list.txt라는 파일이 생길 것입니다. s3 버킷 이름에 대한 리스트가 저장되어 있고 ta..

서버리스에 대해 여러 연구가 진행되고 있는 만큼 Microsoft의 FaaS 모델인 Function또한 관심이 높아 지고 있습니다. 이번 포스트 에서는 Function의 log를 어떻게 확인할 수 있는지 알아 보겠습니다. Azure 포털에서 Function 탭들 중 Monitor를 클릭합니다. 그 후 Run query in Application Insights버튼을 눌러 쿼리문을 제공받습니다. Application Insights에서 traces 항목에 데이터가 저장됩니다. 다음과 같이 query문을 작성할 수 있는 창으로 넘어옵니다. 다음은 제가 test한 실험값을 얻기 위해 작성한 query문 입니다. azure query # traces탭 안에 있는 값만 가져옵니다. traces # 24시간 안에 ..

이번 포스트에서는 AWS Lambda로 MapReduce실험을 실제로 돌려보고 어떻게 동작 하는지에 대해 정리했습니다. 원문 내용의 주소와 깃헙 주소는 다음과 같습니다. https://aws.amazon.com/blogs/compute/ad-hoc-big-data-processing-made-simple-with-serverless-mapreduce/ https://github.com/awslabs/lambda-refarch-mapreduce 다음의 블로그를 참조하여 이해해 큰 도움을 얻었습니다. 코드에 대한 자세한 설명을 포함하므로 본 포스트를 읽기 전에 참고해 보시면 좋을 것 같습니다. https://jeongchul.tistory.com/622?category=495790 python3.6으로 구동..

AWS Lambda로 MapReduce 작업을 구현되어있는 코드를 수정하여 구성해볼 것 입니다. 이번 포스트에서는 원문에서 코드가 python2.6의 버전만을 지원하므로 python3.6으로 돌릴 수 있도록 변경해 볼 것 입니다. 원문 내용의 주소와 깃헙 주소는 다음과 같습니다. https://aws.amazon.com/blogs/compute/ad-hoc-big-data-processing-made-simple-with-serverless-mapreduce/ https://github.com/awslabs/lambda-refarch-mapreduce 다음의 블로그를 참조하여 이해해 큰 도움을 얻었습니다. https://jeongchul.tistory.com/622?category=495790 pytho..

1. EFS 생성 일단은 efs와 연결할 것인데, efs가 당연히 있어야 하므로 생성합니다. vpc는 특별한 사항이 아니면 default vpc를 이용하고 2번째 단계도 모두 디폴트 값으로 넘어갑니다. 위 그림이 중요하다. 이 부분 때문에 정말 많은 시간이 소요 되었었습니다. 보안적으로 빡빡하게 할 것이 아니라면, 체크박스를 모두 건너뛰고 Set policy를 합니다. 알아서 잘 생성해준다. 그리고 access points를 생성해줍니다. access point는 로컬 디렉토리가 efs 디렉토리와 연결될 수 있도록 access end point를 제공합니다. 저는 위와 같이 했습니다. 여기서 주의할 점은 Directory에 경로를 단지 '/' (root 디렉토리)로 하면, 접근할 때 permission ..