Chào mọi người,
Mình đang thiết kế một DevSecOps CI/CD security pipeline gồm:
Fast gate: secret scan, lint, unit test, dependency check (block nếu fail)
SAST: SonarQube, Semgrep
Build + container scan: Trivy, Docker Scout
DAST: OWASP ZAP, Nuclei
Deploy + monitoring (Azure)
Hiện mình muốn bổ sung thêm một LLM chạy local để:
Correlate kết quả từ nhiều tool (SAST/DAST/container scan)
Giảm false positive
Risk scoring / decision trước khi deploy
Một số câu hỏi:
Với use case security pipeline như trên, nên dùng LLM local nào là hợp lý (ưu tiên open-source)?
Nên chọn model nhỏ (7B–8B) để tối ưu tốc độ hay model lớn hơn để tăng độ chính xác?
Có ai đã dùng LLM để reduce false positive trong SAST/DAST chưa? Kết quả thực tế thế nào?
Kiến trúc nên để LLM chạy synchronous trong pipeline hay async (tách riêng service)?
Có best practice nào để tránh LLM “hallucinate” khi xử lý security findings không?
Context:
CI/CD: GitLab
Mục tiêu: balance giữa security, performance và cost
Mong được chia sẻ từ kinh nghiệm thực tế 🙏