Skip to content

Micro-ATP/FerrisInfer

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

18 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

FerrisInfer

Ferris the Crab

纯 Rust 从零构建的 LLM 推理框架

Rust Version License Stars

🦀 项目简介

FerrisInfer 是一个完全从零开始、不依赖任何第三方深度学习库的纯 Rust LLM 推理框架。我们的目标是用 Rust 小螃蟹的钳子,从最底层的张量计算开始,一步步夹出一个高性能、内存安全、可移植的大模型推理引擎。

⚠️ 声明:这是一个极限编程探索项目,旨在学习和验证 LLM 推理的全链路实现,不建议用于生产环境(至少目前不建议 😄)。

✨ 核心特性

  • 100% 纯 Rust:仅使用 Rust 标准库,无任何外部依赖。
  • 从零构建:手动实现张量数据结构、核心算子、内存管理,每一行代码都可控。
  • 内存安全:Rust 所有权机制保证推理过程无内存泄漏、无数据竞争。
  • 极限优化:后续将支持 SIMD 指令集、多线程并行,追求极致性能。

🚀 快速开始

前置要求

构建与运行

  1. 克隆仓库:
    git clone https://github.com/your-username/FerrisInfer.git
    cd FerrisInfer

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages