Streaming architektúra
A klasszikus batch-feldolgozás órákban gondolkodik; a stream-feldolgozás eseményekben. Egy üzenetsor (message queue / event stream) fogadja a forrásokból érkező eseményeket, a feldolgozók pedig folyamatosan, érkezéskor dolgozzák fel őket.
A backpressure, a particionálás és az at-least-once / exactly-once garanciák nem részletkérdések: ezeken múlik, hogy a rendszer terhelés alatt is helyes marad-e.
Élő dashboard és riasztás
Az élő irányítópult nem dísz: a döntéshozó ugyanazt látja, ami épp történik. Az alacsony késleltetésű vizualizáció és a küszöb-alapú riasztás együtt zárja a hurkot a mérés és a beavatkozás között.
- API-alapú és ügynök-alapú adatgyűjtés
- Idősoros adatbázis a nagy írási terheléshez
- Edge-előfeldolgozás a felhő-költség és késleltetés ellen
Skálázható feldolgozás
A csúcsforgalom nem boríthatja fel a rendszert. A vízszintes skálázás és a particionált feldolgozás lehetővé teszi, hogy a kapacitás a terheléssel együtt nőjön — automatikusan.
stream: eventspartitions: 12processing: exactly_onceautoscale: { lag_threshold: 1000 }