炸裂！世上最小的GPT模型，能寫故事，手機瀏覽器就能跑。OpenAI要坐不住了。

emojiGPT

不是玩具，能寫故事，覆蓋訓練推理全流程

8,704 參數(shù) · 160 詞匯 · 30 秒訓練 · 零依賴 · 一個 HTML

你好，我是文兄，原諒我在標題里用了一驚一乍的詞匯，這太不符合MindCode的調性了，但我完全理直氣壯，因為：

我將向你發(fā)布，我親手搓的，并且可能是你最近看到的最炸裂的東西：emojiGPT。

目前已知的信息看，它應該是世界上最小的、功能可用的、完整的、并能完成有意義的推理成果的GPT“大”模型。

它只有44kb，如果剔除掉訓練管理后臺UI，估計只有幾k，但是它…（…好吧，我詞窮了…）就是很強！

這是它的樣子：

▲ 打開頁面就是這樣。所有超參數(shù)都能調：embedding 維度、注意力頭數(shù)、層數(shù)、學習率、溫度。訓練數(shù)據(jù)也可以直接編輯。

默認配置下，emojiGPT有8704 個參數(shù)，160 個詞匯，你訓練的時候還可以自由調整。

對比一下，GPT-4 有 1.8 萬億參數(shù)，emojiGPT是它的兩億分之一。

但它不是玩具，是真訓練，真推理！

emojiGPT 覆蓋從模型訓練到正式上線的全步驟，包括：數(shù)據(jù)準備-訓練-驗證-線上推理。

以下就是訓練結束后的驗證環(huán)節(jié)，模型會自動生成 8 條樣本故事供你驗證：

▲ 模型自動生成的故事樣本。畢業(yè)故事、戰(zhàn)爭故事、失戀療愈…

完整架構，不是某種“簡化版”

emojiGPT 不是教學簡化版、模擬版。它是一個實打實覆蓋全部核心組件的 GPT：

· 自動微分引擎 —— 完整反向傳播，基于標量 Value 節(jié)點

· Transformer 架構 —— 多頭自注意力、RMSNorm、MLP、位置編碼

· Adam 優(yōu)化器 —— bias correction + 學習率衰減

· KV-cache 推理 —— 逐 token 自回歸生成，實時概率可視化

默認配置：16 維 embedding，4 個注意力頭，1 層 Transformer，block size 32。所有超參數(shù)、訓練數(shù)據(jù)均可在界面上實時調整。

▲ emojiGPT 配置界面。所有超參數(shù)和訓練數(shù)據(jù)均可實時編輯。

它真能推理，能寫故事

你能想想這么小的模型就能寫故事嗎？它真的能…我哭死。這是最有趣的地方，訓練完成后，你可以在Playground 里讓它給寫故事。

你給它一個開頭，它會一個 token 一個 token 地往下接，直到最后輸出出一個完整的故事。這個故事是用表情符號寫的——嗯，這就是它叫emojiGPT的由來。

一個細節(jié)，emojiGPT推理的每一步會顯示概率分布，你能看到它在猶豫什么，在哪些選項之間糾結。

你問故事質量？這么說吧，這取決于你如何訓練它，但僅僅在默認參數(shù)配置下，它給到我和MindCode俱樂部同學的經驗程度，就可以用震撼來形容。

▲ 輸入 （日出、公雞、音樂）后的推理過程。模型續(xù)寫了完整的早晨場景。底部的概率條顯示了模型對每個 token 的置信度。

價值？不只是教學，是真有用

關于受挫emojiGPT的初衷，確實只是為了咱們MindCode企圖心俱樂部的訓練營。但做出來之后，才發(fā)現(xiàn)它的可能性太大了：

AI 教育 —— 這是最基本的價值，可以說emojiGPT能把現(xiàn)今的AI教育往前推進一大塊。

對絕大多數(shù)人來說，emojiGPT讓你可以嚴肅、真實地體驗一把訓練模型的全過程，你將獲得對GPT的深刻理解，既有邏輯上的，也有體感上的。

你能親眼看到完整的 pipeline：數(shù)據(jù) → 訓練 → loss 曲線 → 推理 → 生成。調個參數(shù)看看會怎樣，乃至故意把模型搞壞，看看會怎樣。你甚至可以進行消融實驗。這在以前是不可想象的。

再說一遍，不是玩具，不是模擬！是非常嚴謹、真實的看見、操作、體驗。過程中你所遇到的，就是一個AI科學家會遇到的。

幫助跨語言敘事 —— 讓emojiGPT給你生成故事，實現(xiàn)跨語言交流。

作為創(chuàng)意工具 —— 用生成的故事當即興寫作的 prompt，當派對游戲的題目，當社交媒體的內容素材。

做敘事原型驗證 —— 在深入細節(jié)之前，先用emojiGPT生成故事框架，把握一個故事結構行不行，幾乎零成本。

好吧，我知道它并非那么強大，至少還是不如Opus4.6的，但相比于它的規(guī)模和成本，它真的很厲害。

哪里可以玩？

整個項目就一個 index.html 文件。下載后用打開瀏覽器就可以體驗。無需安裝任何其他配套軟件和依賴，沒有任何電腦配置要求，畢竟手機瀏覽器都行。

隨意，無論你是對 GPT 的工作原理好奇，或者是正在/想要從事相關領域，又或者是想用emojiGPT完成特定創(chuàng)意工作，都可以來試試，下載地址：

GitHub 地址：https://github.com/MattWenJun/emojiGPT

技術致謝

emojiGPT 基于 Andrej Karpathy 的 microGPT 和 Xenova 的 microgpt.js 移植版構建。

在相關項目基礎上，emojiGPT 做大幅改進和多處關鍵創(chuàng)新，將其從只能簡單的生成英文名字，擴展到能完成基于 emoji 的敘事生成，并新增了訓練數(shù)據(jù)集管理、推理 Playground 等關鍵環(huán)節(jié)，以及完整的web端 UI。

好了我知道我寫得有點亂，因為emojiGPT確實太強了，很多可以寫，反而不知道咋寫。

而且手搓大模型這幾天，手也累。你好奇的話，直接去下載體驗吧，絕對值記得給我的項目點個小星星。

對了，歡迎加入MindCode企圖心俱樂部，詳情：。

文兄是誰？ 科技領域連續(xù)創(chuàng)業(yè)者，目前在AI+心理領域創(chuàng)業(yè)，中美幾家AI公司的CEO心智與戰(zhàn)略教練，原阿里巴巴早期移動端核心產品負責人。

MindCode是什么？ 一個小眾公眾號，日常短篇+偶爾深度長文。關注AI、腦科學、心理學、創(chuàng)業(yè)。因在多領域深入思考，關注者中不乏頂級牛人。

AI時代，讀他人之未讀對你很重要。關注并發(fā)送"1"可加討論小群，還可參加"讀完周報再來聊聊"的閉門交流會。