模型原理
用大白话理解 token、BPE、embedding、attention、RoPE、MLP、KV cache、lm_head 和量化，并逐项对应项目模块。
从一句话到下一个 token模型与 ZCU106 学习 Wiki
先理解“模型怎样预测下一个 token”，再沿着 GGUF、Host、HLS、PS/A53 和 ZCU106 的真实数据流学习工程实现。本网站把 Qwen2.5 学习材料和 M1i W8A8 架构文档并列展示，不把它们混成同一个项目。
TEXT_GENERATE、NL_GENERATE 是演示路径；MODEL_LOAD、TOKEN_STEP、TEXT_STEP 是 P4 命令样板，不执行模型推理或 HLS 调度。
项目流程
flowchart LR
A[Ollama manifest / GGUF blob] --> B[GGUF 解析]
B --> C[Tokenizer 资产导出]
B --> D[Tensor payload 导出]
C --> E[PS tokenizer bundle]
E --> F[Q25TOKRT runtime image]
D --> G[Host quant 参考计算]
D --> H[HLS fixture]
H --> I[HLS CSim / cosim / csynth]
F --> J[PS/A53 UART]
J --> K[ZCU106 UART transcript]
K --> L[Validator / archive]
模块框图
flowchart TB
subgraph Assets[模型资产]
GGUF[GGUF blob] --> TOK[Tokenizer 资产] --> Image[Q25TOKRT]
GGUF --> Tensor[Raw quant tensors]
end
subgraph Host[Host]
Ref[量化解码与 reference forward] --> Golden[golden / fixture]
end
subgraph PL[HLS / PL]
QKV[QKV + RoPE]
Attn[Attention]
MLP[MLP / matvec]
Head[lm_head top-k]
end
subgraph PS[PS / A53]
UART[UART parser] --> BPE[Tokenizer C API]
UART --> Stub[P4 runtime command stub]
end
Tensor --> Ref
Golden --> QKV
Golden --> Attn
Golden --> MLP
Golden --> Head
Image --> BPE
UART --> Board[ZCU106 transcript]
先从原理开始
知识库方法
了解目录式 Wiki、混合 RAG、GraphRAG 和入口优先的代码理解方法如何用于这个项目。
Wiki、RAG 与代码理解M1i W8A8 架构
用 13 个固定模块、ARM/FPGA 分界、211 组权重映射与六级证据阶梯，讲清 SmolLM2-135M 在 ZCU106 上的真实状态。
阅读完整系统架构模块入口
模型资产
GGUF 检查、tokenizer 导出、tensor payload 导出、PS bundle 和 runtime image。
查看模块说明Host 参考
量化解码、完整或局部 forward、logits/top-k、HLS fixture 和 golden。
查看模块说明HLS/PL
QKV、attention、MLP、quant matvec、lm_head 和 AXI 接口。
查看模块说明PS/A53 UART
命令解析、BPE image、文本编解码和 P4 命令样板。
查看模块说明板级执行
构建物、串口采集、transcript 校验和归档。
查看模块说明接口参考
Python CLI、UART 协议、tokenizer C API、HLS kernel 和 P4 API。
查看接口表关键接口
| 层 | 接口 | 数据 | 功能 |
|---|---|---|---|
| Host | export_gguf_* | GGUF、manifest | 导出 tokenizer 与原始量化 tensor。 |
| PS tokenizer | q25_nl_tokenizer_runtime_image_open | Q25TOKRT 地址和大小 | 打开 6-section tokenizer image。 |
| UART | TEXT_PROMPT / TEXT_GENERATE | UTF-8 文本 | 编码、演示性后缀拼接、解码和协议响应。 |
| HLS | m_axi + s_axilite | DDR buffers、标量控制 | 运行独立的 quant projection、attention、MLP 或 lm_head 算子。 |
| P4 | MODEL_LOAD / TOKEN_STEP / TEXT_STEP | 文本命令 | 固定格式的运行时样板响应。 |
完整文档
总索引 · 模型原理 · 项目总览 · 系统流程 · 模块框图 · 接口参考 · 模块功能 · Mermaid 图集 · Wiki、RAG 与代码理解 · M1i W8A8 系统架构