Los investigadores de Moonshot AI y Tsinghua proponen PrfaaS: una arquitectura KVCache entre centros de datos que replantea cómo se ofrecen los LLM a escala
Durante años, la forma en que los grandes modelos lingüísticos manejan la inferencia ha estado atrapada dentro de una caja, literalmente. Las redes RDMA de alto ancho de banda que…