Il TTLab ha realizzato un prototipo di Big Data Platform (BDP), un’infrastruttura per il monitoraggio dell’attività del centro di calcolo dell’INFN-CNAF aperta a soluzioni di predictive maintenance basate su machine learning. È composta di quattro livelli. Il primo livello (ingestione) utilizza Filebeat per raccogliere i dati dalle macchine e formattarli come oggetti JSON secondo un formato prestabilito. I dati sono unificati, filtrati e indirizzati verso le destinazioni successive da Fluentd e inviate verso i diversi tipi di storage da Kafka. I dati vengono memorizzati attraverso Elasticsearch per periodi brevi (due settimane) e MinIO per le soluzioni a lungo termine. I dati conservati in Elasticsearch possono essere analizzati attraverso Kibana, mentre quelli salvati in MinIO sono accessibili attraverso una piattaforma basata su Notebook Jupyter istanziati on demand da un cluster Kubernetes attraverso pod che contengono ciascuno un container con un server Jupyter interfacciato a Spark. Autenticazione e autorizzazione sono gestite attraverso INDIGO IAM.
Si tratta di una infrastruttura informatica. Accesso dell'utente esterno attraverso sistema di autenticazione ed autorizzazione
Su preventivo da concordare