Architettura Dati Near Real-Time su Kubernetes
Il cliente è un'azienda innovativa operante nel settore della Sicurezza Cognitiva, che necessita di fornire ai propri utenti finali visibilità immediata e approfondita sugli eventi di sicurezza. In un mercato in cui la tempestività dell'informazione è critica, la capacità di offrire dashboard dinamiche e aggiornate diventa un vantaggio competitivo fondamentale, specialmente per interfacciarsi con figure di livello C-Level alla ricerca di reportistica avanzata.
L'infrastruttura di reportistica preesistente (As Is), seppur operativa, presentava evidenti limiti architetturali. Innanzitutto il sistema risultava poco personalizzabile rispetto alle crescenti e specifiche richieste dei clienti finali. Stante questa premessa, era impensabile elaborare flussi di dati altamente variabili, con escursioni da 5 fino a 200 transazioni al secondo (TPS). Inoltre il sistema non aveva la capacità di garantire aggiornamenti delle dashboard in tempo reale sotto stress (esigenza near real-time). Infine, per la natura dei clienti, la soluzione nuova doveva essere installabile in modo identico e affidabile sia in ambienti on-premises (per clienti con policy di sicurezza rigide) sia in cloud come servizio SaaS (senza vincoli di deployment).
Hybrid by Design
Una piattaforma di reportistica open source e cloud-native, capace di scalare dinamicamente per gestire flussi transazionali complessi. Grazie all'automazione basata su Helm Chart, l'architettura garantisce un time-to-market rapidissimo, abilitando modelli di delivery sia on-premises che SaaS, mantenendo i massimi standard di sicurezza e governance.
Per rispondere a queste sfide, Miriade ha progettato e implementato in circa 5 mesi (coprendo analisi, sviluppo e test) una piattaforma near real-time basata su infrastruttura Kubernetes.
Il cuore della soluzione è un'architettura completamente automatizzata basata su Helm Chart, che governa il deploy dell'intero stack. Questa ingegnerizzazione permette la generazione automatica delle pipeline di ingestion, delle strutture dati sottostanti e delle dashboard di base.
L'approccio Hybrid by Design assicura un deploy flessibile (on-premise o cloud) , mentre l'integrazione nativa con protocolli di autenticazione moderni come SAML e OIDC garantisce la governance e la sicurezza degli accessi richieste in ambito enterprise.
Per garantire scalabilità, performance e indipendenza dai vendor, la soluzione è stata costruita integrando i migliori layer open source.
- Kubernetes e Helm Chart per l'orchestrazione dei container e l'automazione totale del deploy in ambienti ibridi.
- Apache Superset che è stato scelto come motore per la data visualization e il dashboarding, garantendo massima flessibilità per l'utente finale.
- PostgreSQL con estensione Timescale, implementato per la storicizzazione altamente efficiente dei dati temporali (time-series).
- Apache Kafka e Kafka Connect utilizzati per la gestione resiliente delle code dati e l'ingestion asincrona in tempo reale.
- Redis integrato per il layer di caching, fondamentale per mantenere le performance durante i picchi di traffico