IC-Inference Engine
Runtime de inferență distribuit cu suport pentru batching dinamic, quantizare INT8/FP16 și rutare canary între versiuni de model. Expune endpoint-uri REST și gRPC, cu auto-scaling pe baza cozii de request-uri. Ideal pentru companii care au modele antrenate dar nu au infrastructură de servire optimizată.