u/GrouchyGeologist2042

I'm tired of seeing AI agents break down trying to read poorly written PDFs from city halls via Playwright.

I built a scraper that downloads, injects into an LLM via Groq, and outputs structured and strictly typed JSON (Organization, Object, Value, Date, Modality).

The endpoint was made 100% focused on consumption by other Agents (internal instructions optimized for RAG/Tool Calling from CrewAI/LangGraph).

The average database latency (SQLite async cache) is 50ms.

I'm releasing 5 free Bearer keys for those building SDR (B2B Sales) or GovTech agents to test the integration. If your agent needs to hunt for opportunities in obscure city halls, send a DM or comment and I'll send you the Swagger (ngrok) link and the key.

Warning: The documentation doesn't have a fancy web interface. It's an M2M schema.

Cansado de ver projeto quebrar porque portal de transparência de cidade pequena é feito em PHP de 2005 e só solta PDF borrado, mudei a abordagem.

Fiz um motor de extração bruto: pdfplumber lê o lixo, jogo o texto cru na API do Groq (usando Llama 3 para não falir pagando OpenAI), peço um JSON estrito e faço cache em um banco SQLite assíncrono. Construí uma API em FastAPI em cima disso. A sacada não é para humanos lerem, é uma API "B2A" (Business-to-Agent). O Swagger é entupido de instruções de contexto para que outros scripts/agentes de IA consumam a rota sem alucinar.

Foi um parto fazer a latência cair de 8 segundos (tempo do LLM) para 50ms (lendo do cache) para a requisição não dar timeout na IA que está chamando.

Achei a arquitetura interessante para quem está lidando com RAG ou automação de scraping pesado. Se algum dev aqui estiver fazendo robôs para ler licitações/diários oficiais e quiser testar a carga do meu endpoint na própria máquina, comenta aí que eu mando um token no privado para vocês quebrarem meu servidor.

I'm building agents for government procurement (focusing on smaller municipalities in Brazil). The biggest bottleneck isn't the framework (CrewAI/LangGraph), it's the fact that transparency portals are garbage dumps of poorly scanned PDFs.

I gave up on using Playwright with the agents and built a separate M2M layer: an asynchronous scraper that downloads the PDFs, structures everything via Groq (Llama-3-70b for speed and low cost), and stores it in an SQLite async cache (50ms latency). >

The API exposes this via a perfectly typed OpenAPI 3.1 schema for the agents to consume directly.

Is anyone else experiencing agents crashing when trying to read PDFs in real time? If anyone wants to test the robustness of this endpoint in their own agent, let me know and I'll generate a free Bearer token. I want to test if the descriptions in the schema are clear enough for your LLM to make the correct call.

Cansei de ver agentes de IA quebrarem tentando ler PDF porco de prefeitura via Playwright.

Construí um scraper que baixa, injeta num LLM via Groq e cospe JSON estruturado e estritamente tipado (Órgão, Objeto, Valor, Data, Modalidade).

O endpoint foi feito 100% focado no consumo por outros Agentes (instruções internas otimizadas para RAG/Tool Calling do CrewAI/LangGraph).

A latência média do banco (SQLite async cache) está em 50ms.

Estou liberando 5 chaves Bearer gratuitas para quem está construindo agentes de SDR (Vendas B2B) ou GovTech testar a integração. Se seu agente precisa caçar oportunidades em prefeituras obscuras, manda DM ou comenta que eu envio o link do Swagger (ngrok) e a chave.

Aviso: A documentação não tem interface web frufru. É um schema M2M.