为了学习,我用TensorFlow.js重做了Karpathy的minGPT的一个简化版本(生成式预训练Transformer)。
这个自创的GPT语言模型的完整定义可以在单个model.ts文件里找到(不到300行代码)。
由于 model.ts 是用 TypeScript 编写的,你可以使用 自制 GPT 实验室 对它进行训练,调整参数,并直接在浏览器中,使用 GPU 生成预测结果。
该模型和实验环境用于学习,以便了解GPT的工作方式以及用WebGPU来训练。
想了解model.ts里的内容,可以观看Andrei Karpathy的动手实操的讲座"如何从零开始构建GPT:一步步用代码实现",这可能是关于GPT的最佳解释。
在./gpt/src/文件夹里,你可以找到以下文件:
CausalSelfAttention
中按顺序处理所有的 Heads
(而不是并行处理)。因此,模型运行稍慢,但更易读。你可以使用Homemade GPT JS实验平台进行模型参数实验、训练和文本生成。
描述
你也可以选择在本地启动 playground,以便修改和试验 transformer 模型的代码。
安装依赖项。
npm i # 安装依赖
全屏 退出全屏
启动本地 web 实验室:
npm run playground-web
点击全屏显示。点击退出全屏。
这个自制的GPT-JS平台可以通过http://localhost:3000/homemade-gpt-js访问。
运行这些命令,从项目根目录开始。你需要使用 Node.js ≥ 20.0.0。
您也可以在 Node.js 环境中测试模型。
安装依赖项。
npm i // 安装依赖包 (Install dependencies)
切换到全屏模式,退出全屏
启动 Node.js 实验区:
在终端中输入以下命令来启动 playground-node:`npm run playground-node`
点击进入全屏,然后退出全屏
该文件位于GitHub仓库中,展示了如何用自制的GPT模型来进行基础的训练和文本生成。
在项目根目录下运行这些命令。请确保已安装 Node.js 20.0.0 或更高版本。
此处为空
希望这个基于TS的GPT示例能帮助你学习。