dbt + snowflake (openvpn) + sqlfluff + github actions

^^..

 

요약

 

<어떤 발악을 했는가>

 

발악과 노력

나는 멍청이다

<아래는 설명>

 

1. snowflake는 openvpn 환경에서만 사용 가능 (ovpn파일에 있는 cert 정보 필요)

2. dbt는 snowflake의 DA를 위해서 사용중

3. sqlfluff는 DA 과정에서 dbt model의 sql syntax lint&formatting을 위해 사용중 (로컬에서 수동으로)

4. sqlfluff의 sql format을 snowflake + dbt의 특성에 맞춰 하도록 세팅함

 

5. 1~4. 를 로컬로 하니까 멋이 없어서 github actions로 엮어서 PR 레벨에서 자동 lint, 그리고 comment 인식하여 format 진행할 수 있게 세팅하려고 함. -> 안됨.

 

6. 온갖 방법 써보면서 3시간 넘게 끙끙댔는데.....   결론 = github actions에서 openvpn으로 우회한 뒤 snowflake 접속 정보를 가지고 있어야, dbt sql formatting 방식으로 sqlfluff가 가능함.

 

= github repo에 opvn 정보를 파일로 업로드하거나, secret으로 담아서 어케 잘 써야 하는데

= 전자 : 개나 줘버린 보안

= 후자 : ovpn을 어떻게 쪼개서 secret으로 담을 거며, 어떻게 조합할 것이며...

 

 

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

 

그냥 로컬로 할게요

 

 

- 참고했던 레포1: https://github.com/sqlfluff/sqlfluff-github-actions/tree/main/menu_of_workflows/tails.com

GitHub - sqlfluff/sqlfluff-github-actions: The official resource for SQLFluff related GitHub Actions

 

- 레포2: https://github.com/yu-iskw/action-sqlfluff

GitHub - yu-iskw/action-sqlfluff: Run sqlfluff with reviewdog to check or format styles