豆包又一次靠實力坐實了「數不清包」的桂冠,這波連北美的大豆包哈基米(Gemini)都能正確生成。
但是先別笑,豆包只是暫時生活在沒有0的世界,而人類發明1之後,居然也過了接近3000年沒有0的世界。
那我們就從0開始講講這個故事吧。
零、不會數數的豆包
昨天我很早就發現這個梗了。網傳讓豆包生成13個雞蛋的圖片,豆包多次生成始終不對。
要麼生成12個,要麼15個,甚至9個,甚至最後採用編號的方式還是不對。

編號那版最好笑。它畫出第一排1、2、3、4,第二排5、6、7、8,第三排9、10、12、13。11號就是不在了。使用者問「11號呢」,模型承認這版又漏掉了11號,說不再讓模型自動排版、直接把每個位置都寫死成明確編號格——然後畫出同一張還是漏掉11號的圖。

與此同時用GPT、Gemini等大模型生圖,基本上一次就對了。

但是換一個數字,比如8、9或者15,它都能很好地一次性生成對。
那麼是不是它對質數比較苦手,無法處理呢?
也不是。我們換個提示詞,比如下面兩種:
提示詞一。 生成一個打開的雞蛋盒。第一排5個雞蛋,第二排5個雞蛋,第三排3個雞蛋,總共13個。
提示詞二。 生成一個3行5列的蛋盒。前兩行每格一個雞蛋,第三行只有中間3格放雞蛋,兩側各空1格。
神奇的事情出現了,用這兩個提示詞它幾乎能一次做對。

但是更神奇的事情出現了。同樣是描述空間關係,生成一個15格的雞蛋盒,只有13格放著雞蛋,另外2格必須保持空著——這個提示詞會再次讓豆包變回數不清包。

你發現問題在哪裡了嗎?
大模型生圖的時候其實不太會數數。
雞蛋少的時候還好,像9=3×3、16=4×4這種還可以按照矩陣來生成,但是你讓它生成25個的時候,哪怕25=5×5,也已經摸到了豆包的極限。

尤其是讓它自己決定空出來幾個的時候,更是為難得不知所措。
它好像不太擅長,用0來佔位。
其實人類曾經也非常不擅長這事。
一、沒有零的世界
想像你是幾千年前的一位牧羊人。
你有一群羊,每天早上把牠們趕出去,晚上再趕回來。
為了確保羊沒有丟失,你可以每趕出一隻羊,就在石頭上刻下一道痕跡。
一隻羊,一道刻痕。

這種方法不要求你認識阿拉伯數字,也不要求你會加減乘除等運算。
只要羊的數量跟刻痕一一對應就行。
但是如果今天一隻羊都沒有呢?
那你就沒必要記錄了,不是嗎?
所以對於0的處理,在很長的歷史時期內,不同文明對此給出了不同的答案。
早在公元前兩千年,巴比倫人就已經擁有成熟的六十進位位值記數系統。
他們能夠進行複雜計算,卻曾長期缺乏穩定的0佔位符。
今天的101與11,雖然都只含有兩個非零數字,但中間那個0使它們的意義完全不同。
沒有明確的佔位符,某些數字就必須依靠上下文才能區分。
後來,巴比倫數學中逐漸出現專門表示空數位的符號。
但這還不是現代意義上的0。
表示某個位置上什麼都沒有的0,與把「0」當成一個可以參與運算的數字,是兩次不同的革命。
公元628年,印度數學家婆羅摩笈多在《婆羅摩修正體系》中系統討論了零以及負數的運算規則。這成為零作為數學對象的發展史上一個重要節點。
雖然他關於除法的某些規則並不符合現代數學,但0已經不只是一個空位標記了。
從1到0,花了人類2700年。
現在,回到雞蛋。
對於大模型來說,它要理解0當然比人類快多了。
但是畫圖和能理解是兩回事。
如果你要求它生成一個13個雞蛋的盒子,讓它自己決定在哪裡留下空格,問題就不太一樣了。
此時,模型不僅需要表示13個物體的存在,還需要明確表示至少另外一個位置上物體的缺席。因為大模型生圖似乎總是優先生成規整的盒子,那麼至少得生成一個2×7的盒子,但是從目前的結果來看,生成15個的盒子幾乎是大多數模型的選擇。
用現代數學表達,每個格子都可以定義一個狀態:x_i ∈ {0, 1}。
1代表有雞蛋,0代表沒有雞蛋。
15個格子就對應15個狀態,而且必須滿足:x_1 + x_2 + … + x_15 = 13。
對電腦程式而言,這非常簡單。
然而,對一個主要學習圖像視覺規律的生成網路來說,正確理解13個雞蛋,並不保證它能在最終圖片中準確維持13個被佔用的位置和2個空位置。
於是你會發現一個非常神奇的事情:
AI在今天能夠輕易幫助人類解決那些成百上千年的數學難題,卻還會在生成兩位數的雞蛋問題上栽跟頭。
這就是出名的莫拉維克悖論。
二、莫拉維克悖論:為什麼越簡單的事情,AI反而越不會?
1980年代,人工智慧研究者漢斯·莫拉維克(Hans Moravec)注意到了一個非常反直覺的現象。
電腦能進行複雜的邏輯推理,或者下出高水平的棋。
但是在感知和運動能力方面卻比不上一歲的嬰兒。
因為一歲的嬰兒能自然地走路,能輕易識別媽媽和陌生人的臉,也能識別各種物體,那時候的AI還沒有這樣的能力。
這後來被稱為莫拉維克悖論(Moravec's Paradox)。
在人類看來,走路、認人、數桌上的雞蛋有多少個,是再自然不過的事情。
但從電腦的角度來看,這些任務非常複雜。
假如你想拿起一個雞蛋,大腦必須在極短時間內完成大量工作:識別雞蛋的邊界,判斷其三維位置,估計距離和大小,調整手指的運動軌跡,控制抓握力度,還要避免把雞蛋捏碎。
假如你想簡單地走兩步,大腦必須在極短時間內完成大量工作:感知身體的重心,判斷地面的起伏和障礙物的位置,協調雙腿交替邁步,控制數百塊肌肉的收縮與放鬆,實時調整步幅、速度和身體姿態,還要不斷修正平衡,避免讓自己摔倒。
你幾乎意識不到這些計算正在發生。
人類的視覺與運動系統經過漫長的生物演化,已經高度適應這些任務。
相比之下,人類的形式數學與符號運算能力,在認知演化史中出現得要晚得多。
這導致了一個令人意外的結果:
人類主觀上覺得最輕鬆的能力,未必是計算上最容易實現的能力。
對於傳統電腦,計算17×17非常容易。
但要在一張複雜圖片中識別出17個相互遮擋的物體(影子也算遮擋),可能需要一套完整的視覺感知系統。
今天的大模型已經顯著改善了這個情況,但並沒有徹底消除莫拉維克悖論所揭示的能力不對稱。
一個模型可以參與複雜數學推理,卻在具體的視覺生成和識別任務中犯下看似低級的錯誤。
要說明這個,最簡單的例子就是早期神經網路研究裡出現的對抗貼紙。
在早期的訓練當中,靠的是大量已有的圖片去訓練模型的識別能力。
但是一隻明顯是羊的動物在開車卻會被識別為狗在開車,因為模型的訓練資料庫裡沒有羊開車這麼離譜的東西。
當年有人在社交網路發帖故意收集這些羊出現在離譜地方的圖片,模型無一例外地都識別成了狗或者貓等常見寵物。

甚至有研究人員發明了對抗貼紙這種東西:
本來神經網路能識別出香蕉,但是如果給圖片裡加上彩色的、意義不明的貼紙,這張圖片卻變成了一台烤吐司機。

這篇論文發表於2017年。現在的大模型沒這麼蠢,即便加上各種干擾,哪怕把香蕉抽象化也能識別香蕉,因為2017年有一篇神一樣的論文發表了:
《Attention is all you need》。
2017年這篇革命性的文章引領了Transformer架構誕生。
2018年基於Transformer的ChatGPT譜系橫空出世。
2022年11月30日正式發布的ChatGPT震驚了全世界。
雖然2014到2021年也有AI的文生圖,但是2022年,在擴散模型與注意力機制的共同推動下,高品質文生圖才迎來爆發(當年備受推崇的Stable Diffusion就是穩定擴散的意思,對應擴散模型),文生視頻快速起步。
2023年,DiT進一步將Transformer推向圖像生成的核心,隨後的事情你們都知道了(字節跳動的Seedance系列也採用了Transformer技術)。





