나는 문어~ 꿈을 꾸는 문어~

이전 포스팅에서 AWS 리소스들을 이용해 VPC 네트워크를 구축했다. 이전 포스팅 링크는 다음과 같다. https://harrykur139.tistory.com/29 AWS 네트워크 구성하고 모델 서빙하기 (1) 네트워크 구축 (VPC, Subnet, Internet gateway, NAT gateway, Route Tab AWS를 처음 배웠을 때, EC2라는 서비스를 사용했다. 이 서비스는 그냥 데이터 센터에 있는 컴퓨터를 빌려쓰는 것이었고, 클릭 몇 번으로 만들 수 있었다. 클릭 몇 번으로 만들어진 이 인스턴스에 harrykur139.tistory.com 이 시리즈에서 완성할 네트워크 구조는 아래와 같다. 이번 포스팅에서 만들 리소스들이다. EC2(Bastion server) : private sub..

AWS를 처음 배웠을 때, EC2라는 서비스를 사용했다. 이 서비스는 그냥 데이터 센터에 있는 컴퓨터를 빌려쓰는 것이었고, 클릭 몇 번으로 만들 수 있었다. 클릭 몇 번으로 만들어진 이 인스턴스에 접속하여 웹서버 코드를 다운받고 보안 그룹으로 포트만 열어주면 외부에서 접속하는 것까지 모든 것이 가능했다. 하지만 당연히 이 모든 것은 AWS에 이미 기본 환경이 셋팅되어 있기에 가능했고, 실제로 서비스 수준에서 AWS를 잘 사용하려면 이 뒷배경에 있는 모든 것들을 스스로 커스텀할 줄 알아야한다. 그래서 이번 포스팅에서는 EC2를 사용하기 위한 네트워크를 바닥부터 구축하며 아래 그림과 같은 네트워크를 구성해보려고한다. 네트워크를 구성한 후 두 개의 private subnet에 생성된 EC2 인스턴스 각각에 간..

Airflow는 워크플로를 관리하는 솔루션이다. 데이터 파이프라인을 정의할 수 있고 머신러닝 파이프라인도 airflow를 사용해 효율적으로 관리할 수 있다. 난 아직 실무에서 "이건 airflow 써야해...!"라는 상황을 아직 마주쳐본적 없다. (마주쳐보고싶다.) 예를 들어 1주일에 한 번씩 새로운 데이터로 학습을 하여 이온 음료 수요 예측 모델을 저장해야한다고 한다면, 아래와 같은 프로세스를 가정해볼 수 있다. 이온 음료 수요 데이터를 가져온다. 이온 음료 수요 데이터를 정제한다. 기상청 날씨 데이터를 가져온다. 기상청 날씨 데이터를 정제한다. 이온 음료 데이터와 날씨 데이터를 하나로 합친다. 모델을 학습한다. 대충 위와 같은 프로세스를 1주일마다 갱신된 데이터로 돌리고 싶다고 한다면 어떻게 해야 할..

이전 포스팅에서는 머신러닝 모델을 서빙하는 Flask 서버를 만들고 이를 도커 컨테이너로 실행했다. 이를 AWS의 EC2 인스턴스에 띄워놓고 외부에서 접속하는 작업까지 해보았다. 이는 아마 머신러닝 모델을 서비스에서 사용하기 위한 가장 간단하고 기본적인 형태일 것이다. 이것을 기반으로 조금 더 전처리 코드나 입력 값의 형태가 복잡한 모델도 서빙할 수 있을 것 같다. https://harrykur139.tistory.com/26 머신러닝 모델을 서빙해보자 (ec2 + sklearn + flask + docker) 머신러닝을 서비스에서 사용하기 위해서는 모델링과 서빙이 필요하다. 누군가 성능이 아주 좋은 모델을 만들었다고 해도 이를 서비스하기 위해서는 많은 고민이 필요하다. 모델을 어떤 서버에 harryku..

머신러닝을 서비스에서 사용하기 위해서는 모델링과 서빙이 필요하다. 누군가 성능이 아주 좋은 모델을 만들었다고 해도 이를 서비스하기 위해서는 많은 고민이 필요하다. 모델을 어떤 서버에 올릴 것인지, 시간이 지남에 따라 모델의 성능을 어떻게 모니터링 할 것인지, 특정 기간마다 어떻게 자동으로 재학습을 시킬 것인지 등이다. 이러한 것을 다루는 분야를 머신러닝 엔지니어링 혹은 MLOPS라고 부르는 것 같다. 이번 포스팅은 머신러닝 모델 서빙을 가장 간단한 수준으로 하여 첫 걸음을 떼보려한다. 전체 코드 링크는 다음과 같다. https://github.com/euiraekim/flask-model-serving 순서 sklearn으로 모델 학습 후 저장 어떤 모델을 학습시키냐보다 서빙에 중점을 두었기 때문에 ir..

도커를 시작하는 이유 프로그래밍을 하는 사람들이 많이 하는 말이 있다. 개발은 환경설정이 가장 어려워... 끙... 간단히 자바스크립트로 서버 코드를 짜서 구동시켜본다고 한다면 기본적으로 해야할 것이 몇가지 있다. aws든 뭐든 새로운 컴퓨터를 마주한 후 nginx를 깔고 nodejs를 babel, express 등 필요한 라이브러리를 설치해야한다. 그 후 내가 짠 코드를 구동시킨다. 물론 하려고 하는 작업이 본인 기준 매우 간단하다면 문제가 되지 않겠지만... 보통 이런 환경설정은 시간이 오래 걸리고 꼭 한번에 되는 경우가 없다. 나같은 경우 로컬 컴퓨터에 tensorflow를 gpu를 사용하여 구동시키기 위해 개발 환경을 만드느라 이틀이 꼬박 걸린 적이 있다. 아니 왜 비싸게 주고 산 그래픽카드를 사..