Есть такой инструмент для сканирования на утечку секретов, паролей и API ключей – GitLeaks.
Очень популярный проект, но совершенно, на мой взгляд не заслуженно. Качество кода вызывает вопросы, нельзя указывать свои списки с regex паттернами для проверки, и он не умеет отдавать правильный JSON в stdout, что делает его бесполезным автоматизации или пользовании на бэкенде.
Прекрасная возможность:
Использовать Julia – один из лучших языков программирования, который почему-то считается нишевым. Область его применения гораздо шире HPC. Он идеально подходит для решения самых разных задач.
Научиться как правильно публиковаться на GitHub.
Научиться делать линуксовые пакеты.
Долго не будем останавливаться на коде. Код лучше писать или читать, обсуждать его не очень интересно.
Сам скрипт работает следующим образом:
Usage: julia leaquor.jl [options]
Options:
-h, --help Display this help message.
--json Output results in JSON format.
--output-file FILE Write JSON results to the specified file.
--patterns FILE Load additional patterns from a YAML file.
--ignore-files LIST Comma-separated list of files to ignore (e.g., "file1.txt,file2.json").
--repo URL Clone and scan a GitHub repository (e.g., https://github.com/user/repo.git).
--dir PATH Scan a specific directory on the file system.
--entropy-threshold FLOAT Set custom entropy threshold (default: 3.5).
--log-file FILE Write logs to the specified file.
Arguments:
Either --repo or --dir must be provided.
Examples:
julia leaquor.jl --repo https://github.com/user/repo.git --json --output-file out.json
julia leaquor.jl --dir ./my_project --patterns custom_patterns.yaml | jq .
--patterns <YAML файл с кастомными regex паттернами для поиска>
--dir указываем директорию для сканирования
--repo можно указывать сразу GitHub репо
Интереснее посмотреть как это правильно оформить для GitHub:
Docker и DEB пакеты
В одном Docker файле мы собираем проект на Julia. Julia в этом смысле ничем не отличается от Python или других более популярных языков.
В втором Docker файле мы так же собираем проект, но добавляется nfpm - инструмент на замну стандартному toolchainу для DEB и RPM пакетов.
# Generate DEB packages
RUN nfpm pkg --config nfpm.yaml --target leaquor.deb
# Final stage to output packages
FROM scratch
COPY --from=packager /app/leaquor.deb /leaquor.deb
Последние две директивы собирают и копируют пакет в текущую директорю.
Make
Создается Makefile который использует для Docker для сборки:
# Build the Docker image
docker-build:
@echo "Building Docker image $(DOCKER_IMAGE)..."
docker build -t $(DOCKER_IMAGE) .
# Run the Docker container
docker-run:
@echo "Running Docker container $(DOCKER_CONTAINER)..."
docker run --rm -v $(PWD):/app $(DOCKER_IMAGE) --help
Если вызвать его без аргументов то появится help:
make
Available targets:
test - Run unit tests
docker-build - Build the Docker image
docker-run - Run the Docker container
docker-push - Push the Docker image to Docker Hub
docker-clean - Clean up Docker artifacts (images, containers, volumes)
docker-clean-all - Force cleanup of all Docker images and artifacts
release - Create a GitHub release
open-issue - Open a new issue on GitHub
create-pr - Create a pull request
list-issues - List open issues
list-prs - List open pull requests
deploy-docs - Deploy documentation to GitHub Pages
check-workflows - Check GitHub Actions workflow status
generate-changelog - Generate a changelog
Этой командой можно запушить образ на DockerHub:
# Push the Docker image to Docker Hub
docker-push: docker-build
@echo "Logging into Docker Hub..."
@docker login -u $(DOCKER_HUB_USERNAME)
@echo "Tagging image for Docker Hub..."
docker tag $(DOCKER_IMAGE) $(DOCKER_HUB_REPO):latest
@echo "Pushing image to Docker Hub..."
docker push $(DOCKER_HUB_REPO):latest
@echo "Image pushed successfully to $(DOCKER_HUB_REPO):latest"
Ничто не мешает нам использовать GitHub CLI для того, чтобы тэгировать репо из грузить его, а также в GitHub release (да это там слева с цифрами v1.0.0):
# Target: Create a Git tag and release on GitHub
.PHONY: release
release:
@echo "Creating Git tag and releasing on GitHub..."
@read -p "Enter the version number (e.g., v1.0.0): " version; \
git tag -a $$version -m "Release $$version"; \
git push origin $$version; \
gh release create $$version --generate-notes
@echo "Release $$version created and pushed to GitHub."
# Upload .deb package to GitHub release
upload-release:
@if [ ! -f "leaquor.deb" ]; then \
echo "Error: leaquor.deb not found. Please run 'make package' first."; \
exit 1; \
fi
@echo "Uploading leaquor.deb to GitHub release $(RELEASE_TAG)..."
gh release upload $(RELEASE_TAG) leaquor.deb --repo $(GITHUB_REPO)
@echo "Upload complete"
Test
В данном случае мы просто запускаем скрипт в docker контейнере и используем на leaky-repo – тестовый репо где точно есть утечки секретных данных.
# Test target to validate the script
test: docker-build clone-test-repo
@echo "Running tests..."
docker run --rm \
-v $(PWD)/$(JULIA_SCRIPT):/app/$(JULIA_SCRIPT) \
-v $(PWD)/$(TEST_REPO_DIR):/app/$(TEST_REPO_DIR) \
--name $(DOCKER_CONTAINER) \
$(DOCKER_IMAGE) \
julia /app/$(JULIA_SCRIPT) --dir /app/$(TEST_REPO_DIR) \
--patterns patterns.yaml \
--output-file results.json \
--log-file /app/test.log
@echo "Tests completed. Check test.log for details."
Pipeline
Ну и наконец, чтобы все было по GitOps давайте сделаем пайплайн GitHub:
name: CI/CD Pipeline
on:
push:
branches:
- main
pull_request:
branches:
- main
jobs:
build-and-test:
runs-on: ubuntu-latest
steps:
- name: Checkout code
uses: actions/checkout@v3
- name: Set up Docker Buildx
uses: docker/setup-buildx-action@v2
- name: Log in to Docker Hub
if: github.event_name == 'push' && startsWith(github.ref, 'refs/tags/')
uses: docker/login-action@v2
with:
username: ${{ secrets.DOCKER_HUB_USERNAME }}
password: ${{ secrets.DOCKER_HUB_TOKEN }}
- name: Build Docker image
run: make docker-build
- name: Run tests
run: make test
- name: Build package (on tag push)
if: github.event_name == 'push' && startsWith(github.ref, 'refs/tags/')
run: make package
- name: Push Docker image to Docker Hub (on tag push)
if: github.event_name == 'push' && startsWith(github.ref, 'refs/tags/')
run: |
docker tag leaquor-image:latest ${{ secrets.DOCKER_HUB_REPO }}:${{ github.ref_name }}
docker push ${{ secrets.DOCKER_HUB_REPO }}:${{ github.ref_name }}
Здесь в очень просто, потому что мы завернули все в Make. Можно просто запускать таргеты make docker-build, make test и делать это автоматически при пуше.
На самом деле все очень просто. С помощью Julia можно решать стандартные каждодневные day-to-day задачи, и использовать для этого Docker и GitHub.
