這不巧了嗎……智譜和DeepSeek，又雙叒撞車了。

太卷了，DeepSeek-OCR剛發(fā)布不到一天，智譜就開源了自家的視覺Token方案——Glyph。

既然是同臺對壘，那自然得請這兩天瘋狂點(diǎn)贊DeepSeek的卡帕西來鑒賞一下：

或許你也會對我們的工作感興趣。

發(fā)論文就發(fā)論文，怎么還爭上寵了。（doge）

網(wǎng)友調(diào)侃be like：AI界也有自己的霸總愛情片。

智譜也做視覺壓縮

是的，與DeepSeek-OCR一樣，智譜這篇論文的目標(biāo)同樣也是通過視覺的方式，破解當(dāng)下LLM上下文冗長的難題。

激增的上下文

隨著LLM能力一路狂飆，用戶和廠商對于長上下文的需求也越來越迫切。

畢竟，不論是長文檔分析、代碼審查，還是多輪對話，模型可不能像金魚那樣看過就忘。要讓它們真正靠譜地執(zhí)行任務(wù)，就得有足夠穩(wěn)定的「工作記憶」。

但擴(kuò)充上下文可是個相當(dāng)吃力不討好的工作。

舉個例子：如果把上下文從50K擴(kuò)到100K，算力的消耗大約會變成原來的四倍。

原因在于，更多的Token，就意味著模型需要記住更多的激活值、緩存、注意力權(quán)重，這些東西在訓(xùn)練和推理階段都是靠真金白銀堆出來的。

如果能實實在在地提升性能，多花點(diǎn)錢也認(rèn)了。

可最讓人心痛的是，砸了重金擴(kuò)上下文，模型還不一定更聰明。

IBM的研究就指出，光靠“多塞 Token”并不能保證模型表現(xiàn)線性提升。

相反，當(dāng)輸入太長、信息太雜時，模型反而可能陷入噪聲干擾和信息過載，越看越糊涂。

關(guān)于這類問題，目前大概有三種比較主流的解決方案：

第一類，是擴(kuò)展位置編碼。

在Transformer結(jié)構(gòu)里，模型并不知道輸入的先后順序，因此要給每個Token加上“位置編碼”，告訴模型這是誰先誰后。

而擴(kuò)展位置編碼的做法，就是把原有的位置編碼區(qū)間直接向外延伸。

比如，把0～32K的位置區(qū)間“插值”到0～100K，這樣，模型就能在工作時接受更長的輸入，而不必重新訓(xùn)練。

雖然如此，這并沒有解決推理成本的問題，模型在推理階段依舊要遍歷所有上下文。

而且，模型雖然能繼續(xù)讀下去，但由于它在訓(xùn)練中從未見過如此長的上下文，現(xiàn)在逼著人家讀肯定表現(xiàn)不會好。

第二類，是改造注意力機(jī)制。

既然上下文變長了，那就讓模型「讀」快一點(diǎn)，比如用稀疏注意力、線性注意力等技巧，提高每個Token的處理效率。

但再怎么快，賬還是那本賬，Token的總量沒有減少，如果上下文都到了幾十萬，多高的效率也頂不住。

第三類，是檢索增強(qiáng)RAG路線。

它通過外部檢索先挑重點(diǎn)、再喂給模型，輸入變短了，推理輕快了。

但大家也知道，RAG的輸出結(jié)果肯定不如模型基于訓(xùn)練數(shù)據(jù)的回答，而且還會因多出來的檢索步驟拖慢整體響應(yīng)。

踏破鐵鞋無覓處，上下文真是個令人頭疼的問題。

看「圖」說話

為了解決這個問題，研究團(tuán)隊提出了一種新范式——Glyph。

大道至簡：既然純文本的信息密度不夠，那就把它放進(jìn)圖片里。

普通LLM處理文本時，是把句子拆成一個個獨(dú)立的Token依次輸入，效率很低。

比如，如果一句話能分成1000個Token，模型就得老老實實算1000個向量，還要在它們之間做注意力計算。

相比之下，Glyph不會逐字閱讀，而是先把整段文字排版成圖像式的視覺Token，再把這張「截圖」交給VLM去處理。

之所以要這么做，是因為圖像能承載的信息密度遠(yuǎn)高出純文本，僅需一個視覺Token就能容納原先需要好幾個文本Token的內(nèi)容。

借助這種方式，即便是一個上下文固定的VLM，無需借助稀疏注意力、RAG等工具，也能輕松吃下足以「撐死」LLM的超長文本。

舉個例子：小說《簡·愛》大約有240K的文本Token，對一臺上下文窗口只有128K的傳統(tǒng)LLM來說，只能塞進(jìn)去一半。

這種情況下，如果你想問一些涉及到故事跨度比較大的問題，傳統(tǒng)模型多半答不上來。

比如：女主離開桑菲爾德后，誰在她陷入困境時幫助了她？

但如果使用Glyph，把整本書渲染成緊湊的圖像，大約只需要80K視覺Token。

這樣一來，同樣是128K上下文的VLM就能輕松看完整部《簡·愛》，對故事脈絡(luò)心中有數(shù)，也能從更大的全局視角來回答問題。

這么立竿見影的效果，是怎么實現(xiàn)的呢？

Glyph的訓(xùn)練流程主要分為三個階段：

第一階段：持續(xù)預(yù)訓(xùn)練（Continual Pre-training）

這一階段的目標(biāo)，是讓模型把自己的長上下文理解能力從文字世界遷移到視覺世界。

具體而言，研究團(tuán)隊先盡可能多地將海量長文本渲染成不同風(fēng)格的圖像，把VLM扔在各式各樣排版、字體、布局中“讀圖識文”，以便訓(xùn)練出更強(qiáng)的泛化能力。

在這個過程中，模型會不斷學(xué)習(xí)如何把圖像中的文字信息，與原始文本語義對齊。

第二階段：LLM驅(qū)動的渲染搜索（LLM-driven Rendering Search）

雖然多樣化的渲染方式能提升模型的泛化能力，但在實際應(yīng)用中，效率和精度必須兼顧。

文字如何轉(zhuǎn)成圖，決定了壓縮率與可讀性之間的微妙平衡。

字體太大、排版太松固然不好，這樣做信息密度太低，有悖于視覺Token的初衷。

不過，過于追求信息密度也不是好事。

字體小、布局緊，雖然壓縮率高，卻可能讓模型“看不清”，理解出現(xiàn)偏差。

為此，研究團(tuán)隊引入由LLM驅(qū)動的遺傳搜索算法，讓模型自動探索最優(yōu)的渲染參數(shù)——比如字體大小、頁面布局、圖像分辨率等——力求在盡可能壓縮的同時不丟語義。

第三階段：后訓(xùn)練（Post-training）

在找到最優(yōu)的渲染方案后，研究團(tuán)隊又動手做了兩件事：有監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)，旨讓模型在“看圖讀文”這件事上更聰明、更穩(wěn)。

此外，他們還在SFT和RL階段都加上了輔助OCR對齊任務(wù)，教模型學(xué)會從圖像里準(zhǔn)確還原文字細(xì)節(jié)，讓視覺和文本兩種能力真正融為一體。

最終，Glyph一舉練成兩大神功：

1、看懂長文，推理穩(wěn)準(zhǔn)狠。

2、認(rèn)清細(xì)節(jié)，讀圖不傷腦。

靠著這套組合拳，Glyph在高壓縮的視覺上下文任務(wù)里依然能游刃有余。

狂砍75%上下文

讀懂了原理，接下來讓我們看看Glyph的實際表現(xiàn)如何。

事實證明，Glyph的確有助于大幅削減Token數(shù)。

實驗結(jié)果顯示，Glyph在多項長上下文基準(zhǔn)測試中實現(xiàn)了3–4倍的Token壓縮率，同時依然保持與主流模型（如Qwen3-8B）相當(dāng)?shù)臏?zhǔn)確度。

這種壓縮不僅減輕了算力負(fù)擔(dān)，還帶來了約4倍的prefill與解碼速度提升，以及約2倍的SFT訓(xùn)練加速。

更令人驚喜的是，在極端壓縮的情況下，一個上下文窗口僅128K的VLM，依然能夠應(yīng)對相當(dāng)于百萬Token級的文本任務(wù)，并絲毫不落下風(fēng)。

此外，雖然Glyph的訓(xùn)練數(shù)據(jù)主要來自渲染后的文本圖像，但它在多模態(tài)任務(wù)上同樣表現(xiàn)出色，證明了其強(qiáng)大的泛化潛力。

綜上所述，這篇論文提出了一種名為Glyph的長上下文建模框架。

核心思路是把長文本“畫”成圖，再讓VLM去看圖讀文，做到一目十行，從而能實現(xiàn)高效的上下文擴(kuò)展。

論文作者

這么厲害的成果，都是誰做出來的？

論文的一作是Jiale Cheng，他是清華大學(xué)的博士生，主要研究方向包括自然語言生成、對話系統(tǒng)和相關(guān)的人工智能交互技術(shù)。

目前，Jiale已發(fā)布了多篇論文，并在谷歌學(xué)術(shù)上有不錯的影響力。

此外，論文還有三位主要貢獻(xiàn)者：Yusen Liu、Xinyu Zhang、Yulin Fei。

遺憾的是，都沒有太多公開資料。

擔(dān)任本文通訊作者的是黃民烈教授。

黃教授本科與博士均畢業(yè)于清華大學(xué)，目前是清華大學(xué)計算機(jī)科學(xué)與技術(shù)系長聘教授，同時兼任智能技術(shù)與系統(tǒng)實驗室副主任、清華大學(xué)基礎(chǔ)模型中心副主任。

此外，他還是北京聆心智能科技有限公司的創(chuàng)始人兼首席科學(xué)家。

黃教授的研究方向主要集中在人工智能、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)，自然語言處理等。

像素或成最終Token

繼MoE名聲鵲起后，DeepSeek-OCR的出現(xiàn)再次在AI領(lǐng)域掀起了一波技術(shù)革命。

截至10月22日，抱抱臉上最受歡迎的前四個模型，全部都支持OCR。

一方面，自然是視覺Token本身的巨大潛力。

在上下文建模方面，視覺Token的表現(xiàn)堪稱驚艷——

DeepSeek-OCR僅用100個視覺Token，就能在原本需要800個文本Token的文檔上取得高達(dá)97.3%的準(zhǔn)確率。

這種效率提升，意味著AI的門檻正被迅速拉低。

據(jù)DeepSeek介紹，引入OCR技術(shù)后，單張NVIDIA A100-40G GPU每天可處理超過20萬頁文檔。

按這個速度推算，僅需一百多張卡，就足以完成一次完整的模型預(yù)訓(xùn)練。

降本增效歷來是開源陣營的強(qiáng)項，但在這次熱議中，大家的關(guān)注點(diǎn)不再僅僅停留于此——

視覺Token的出現(xiàn)，或許正在從底層重塑LLM的信息處理方式。

未來，像素可能取代文本，成為下一代AI的基本信息單元。

卡帕西指出，像素天生比文本更適合作為LLM的輸入，主要有兩點(diǎn)原因：

1、信息壓縮更高 → 更短的上下文窗口，更高的效率。

2、信息流更廣泛 → 不僅能表示文字，還能包含粗體、顏色、任意圖像。

馬斯克的觀點(diǎn)則更加激進(jìn)：

從長遠(yuǎn)來看，人工智能模型的輸入和輸出中 99% 以上都將是光子。

此外，OCR的爆火也不禁讓人再次思考AI與腦科學(xué)之間千絲萬縷的聯(lián)系。

用圖像而非文本作為輸入，乍看之下似乎反直覺，但細(xì)想便會發(fā)現(xiàn)，這反而更貼近人腦的信息處理方式。

人類獲取任何新信息時，最先感知到的都是圖像。

即便是閱讀，我們的大腦最初接收的也只是由像素按特定規(guī)律排列組合的一串圖形，在經(jīng)過一層層視覺處理后，這些像素才被翻譯成“文字”的概念。

從這個角度來看，OCR的表現(xiàn)固然驚艷，但也沒那么出乎意料了。

畢竟，視覺才是人類數(shù)萬年來接觸世界的一手資料。

相比之下，語言不過是我們基于視覺與其他感官體驗提煉出的高度濃縮的抽象層。它標(biāo)準(zhǔn)化、成本低，但本質(zhì)上依舊是視覺的降維產(chǎn)物。

即便再清晰的影子，也注定會流失不少細(xì)節(jié)。

有趣的是，當(dāng)AI在各項指標(biāo)上不斷逼近人類、引發(fā)普遍焦慮的同時，每當(dāng)技術(shù)發(fā)展陷入瓶頸，我們又總能從那個被質(zhì)疑“沒那么智能”的人腦里重新找到答案。

神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制、MoE……都是這個規(guī)律下的產(chǎn)物。

而這一次，深不可測的「人類智能」，從視覺Token上再次得到了印證。