FerrisInfer 是一个完全从零开始、不依赖任何第三方深度学习库的纯 Rust LLM 推理框架。我们的目标是用 Rust 小螃蟹的钳子,从最底层的张量计算开始,一步步夹出一个高性能、内存安全、可移植的大模型推理引擎。
⚠️ 声明:这是一个极限编程探索项目,旨在学习和验证 LLM 推理的全链路实现,不建议用于生产环境(至少目前不建议 😄)。
- 100% 纯 Rust:仅使用 Rust 标准库,无任何外部依赖。
- 从零构建:手动实现张量数据结构、核心算子、内存管理,每一行代码都可控。
- 内存安全:Rust 所有权机制保证推理过程无内存泄漏、无数据竞争。
- 极限优化:后续将支持 SIMD 指令集、多线程并行,追求极致性能。
- 克隆仓库:
git clone https://github.com/your-username/FerrisInfer.git cd FerrisInfer