airflow-sidecar/

[utterances-bot]

사이드카 컨테이너로 Airflow 기능 확장하기 | Swalloow Blog

Airflow 2.1 버전부터 공식 Helm Chart가 정식 릴리즈 되었습니다.
오늘은 공식 차트에서 사용할 수 있는 기능 중 옵션을 활용하는 방법을 3가지 예시를 통해 소개해보려 합니다. S3 Sync Container Permission Sync Container Kerberos Container Sidecar Container 분산 컨테이너 환경에서 사이드카 패턴이란 Pod…

https://swalloow.github.io/airflow-sidecar/

안녕하세요. 저는 S3 Sync Container 설정에 아래 부분이 추가되어야 정상적으로 마운트 되었습니다.
extraVolumeMounts:
- name: dags
mountPath: /opt/airflow/dags
extraVolumes:
- name: dags
emptyDir: {}

[hyangminj]

안녕하세요. 저는 S3 Sync Container 설정에 아래 부분이 추가되어야 정상적으로 마운트 되었습니다.
extraVolumeMounts:

• name: dags
  mountPath: /opt/airflow/dags
  extraVolumes:
• name: dags
  emptyDir: {}

[hyangminj]

안녕하세요. aws s3 sync 부분에서 --exact-timestamps 옵션을 추가해주어야 할거 같습니다.
아래와 같은 설명이 있습니다.
--exact-timestamps(부울) — Amazon S3 로컬 스토리지로 동기화할 때 타임스탬프가 정확히 일치하는 경우에만 같은 크기의 항목이 무시됩니다. 로컬 버전이 Amazon S3 버전보다 최신이 아닐 경우 기본 동작은 같은 크기의 항목을 무시하는 것입니다. [1]
[1] https://docs.aws.amazon.com/ko_kr/snowball/latest/developer-guide/using-adapter-cli.html

소스코드의 경우 파일 사이즈가 변경되기도 하지만 오타로 인해서 파일사이즈가 변경되지 않는 경우 변경이 적용되지 않는 현상을 발견하였습니다. 따라서 해당 옵션이 적용되는게 맞다고 생각합니다.

변경부분 추가하여 github로 pull request 보내드리겠습니다.

감사합니다.

[Swalloow]

@hyangminj 안녕하세요 확인해주셔서 감사합니다. 반영했습니다!