• TensorRT-LLM for Jetson是针对Jetson平台优化的高性能大语言模型(LLM)推理库,专为Jetson AGX Orin等高性能计算设备设计。该库集成了先进的量化技术、注意力核函数以及分页键值(KV)缓存,旨在提供高效
    admin2月前
    190
  • TensorRT(10):python版本安装
    admin2023-6-15
    380