MLOps6 [Airflow] Airflow란? Airflow 소개 Airflow은 워크 플로를 개발하고 모니터링하기 위한 오픈 소스 솔루션이다. Airflow의 주요 기능은 유연한 파이썬 프레임워크를 사용해 쉽게 데이터 파이프라인을 구축할 수 있게 해주며, 최신 기술 환경에서 접하게 되는 서로 다른 기술들을 연결할 수 있는 다양한 빌딩 블록을 제공한다 Airflow는 거미줄의 거미와 같이 데이터 프로세스 과정에서 중요한 역할을 하며 다양한 (분산) 시스템에서 발생하는 작업을 조율한다. 여기서 Airflow는 직접적으로 데이터 처리 작업을 수행하지는 않지만 데이터 처리를 위한 구성 요소를 조정한다 DAG (Directed A cyclic Graph : 방향성 비순환 그래프) 태스크 간의 의존성을 명확하게 확인하는 방법 중 하나는, 데이터 파이프라인을 .. 2023. 1. 12. [Ops] Docker 컨테이너 정리 Docker 컨테이너 라이프 사이클 컨테이너 생성 (docker container create 명령) 이미지로부터 컨테이너를 생성한다. 이미지의 실체는 'docker'에서 서버 기능을 작동시키기 위해 필요한 디렉토리 및 파일들'이다. 구체적으로 Linux의 작동에 필요한 /etc나 /bin 등과 같은 디렉토리 및 파일들이다. docker container create 명령을 실행하면 이미지에 포함될 Linux의 디렉토리와 파일들의 스냅샷을 취한다. 스냅샷이란 스토리지 안에 존재하는 파일과 디렉토리를 특정 타이밍에서 추출한 것을 말한다. docker container create 명령은 컨테이너를 작성하기만 할 뿐 컨테이너를 시작하지는 않는다. 컨테이너 생성 및 시작 (docker container run.. 2022. 12. 20. [Ops] Docker 이미지 처리 이미지 다운로드 (docker image pull) docker image pull [옵션] 이미지명 [:태그명] 예를 들어 centOS의 버전 7(태그명 : 7)을 다운로드 하려면 다음의 명령을 실행하면 된다. docker image pull centos:7 태그명을 생략하면 최신판(latest) 취득하며, -a 옵션을 지정하면 모든 태그를 취득할 수 있다. 이때, -a 옵션을 지정 할 때는 Docker 이미지 명에 태그를 지정할 수 없으므로 주의해야 한다. docker image pull -a centos docker 이미지 명에 이미지를 취득할 URL을 지정할 수 있으며, URL은 프로토콜 (https://)을 제외하고 지정한다 docker image pull gcr.io.tensorflow/ten.. 2022. 12. 20. [Ops] Kubernetes란 쿠버네티스 (Kubernetes)란? 쿠버네티스는 컨테이너 오케스트레이션 도구의 일종이다 컨테이너 오케스트레이션이란 시스템 전체를 통괄하고 여러 개의 컨테이너를 관리하는 일을 말한다. 그 이르 그대로 오케스트라를 떠올리면 이해하기 쉽다. 지휘자가 전체 악단을 지휘하듯, 여러 개의 컨테이너를 지위하는 도구가 바로 쿠버네티스다 쿠버네티스를 k8s라고 줄여쓰디고 한다. k와 s사이에 8개의 글자가 있다는 의미의 약칭으로, 쿠버네티스와 관련된 검색어로 유용하다. 최근 쿠버네티스가 유행을 타고 있지만 그 본실상 일반적인 프로그래머가 쿠버네시스를 활발하게 사용할 일은 많지 않다. 왜냐하면 쿠버네티스는 앞서 설명했듯이 '여러 개의 컨테이너(=서버)'를 관리하는 도구이기 때문이다. 여기서 말하는 여러개란 동일한 구성의.. 2022. 11. 16. [Ops] 도커(docker)란 ? 도커란 무엇일까? 개발 당초에는 도커가 서버 엔지니어를 중심으로 개발환경에서 사용됐으나 지금은 운영환경은 물론이고 다양한 엔지니어의 개발환경에도 널리 도입되기에 이르렀다 도커는 '데이터 또는 프로그램을 격리시키는' 기능을 제공한다 한마디로 정리하자면 '데이터 또는 프로그램을 격리시키는 기능'을 제공하는 소프트웨어라고 할 수 있다 이 기능은 주로 서버에 사용된다. 클라이언트 컴퓨터에서도 사용할 수 있지만 현 시점에서는 서버에서 사용하는 것이 주 용도이다. 개인용 컴퓨터나 서버에는 여러가지 프로그램이 함께 동작한다. 아파티, MySQL 등 여러 프로그램(소프트웨어)이 함께 동작하며 도커는 이렇게 다양한 프로그램과 데이터를 각각 독립된 환경에 격리하는 기능을 제공한다. 그것도 운영체제(비슷한 것) 통째로 격리.. 2022. 11. 16. [Ops] FAISS (Fine-Grained Image Similarity Detection Using Facebook AI Similarity Search) https://github.com/facebookresearch/faiss FAISS (Fine-Grained Image Similarity Detection Using Facebook AI Similarity Search) 고속 벡터 검색 엔진으로 유사도 검색하기, Vector Search Engine : 벡터화 된 데이터를 인덱싱하고 데이터에 대한 효율적인 검색을 수행하기 위해서 Facebook AI에서 구축한 C++ 기반 라이브러리이다. - Faiss 는 벡터 검색 엔진이고 유사도 검색을 하거나 추천, 기계학습으로 만든 모델을 활용해서 응용 서비스를 만들 때 사용한다. 일반적으로 검색 엔진이라고 말하면 흔히 텍스트를 검색하는 것을 생각한다. 구글의 웹 검색, 네이버 검색, 다음 검색 같은 것은 검색.. 2022. 10. 23. 이전 1 다음
