在金融市場分析中，大砲模型是一種常用的工具，它基於經濟數據和歷史資料來預測市場走勢。大砲模型的應用範圍廣泛，從股票市場到外匯市場，從投資組合管理到風險控制，都能發揮重要作用。透過大砲模型，投資者可以更好地理解和預測市場的動態，從而做出更為明智的投資決策。
值得注意的是，參數量的減少並非通過剪枝和量化來實現，這些方法僅用於推理加速，而不會實際減少模型的參數。在預訓練階段，為了獲得更優的效果，往往需要使用大量的數據來進行硬訓練。如果參數規模不足，那麼就需要提高數據質量和數據數量來彌補。在指令微調階段，通常會對更優秀的大模型進行蒸餾，以提升小模型的表現。一個常用的做法是利用GPT-3.5、GPT-4的數據直接進行指令微調，這是一種對閉源大模型進行蒸餾的方法。然而，也可以在蒸餾過程中引入閉源大模型作為裁判，比較教師模型和學生模型的解答，並讓學生模型從中學習和進步。如果擁有更多更好的大模型，則可以直接使用知識蒸餾的方法，通過KL散度來訓練學生模型，讓其模仿教師模型的輸出概率分佈。
最近，Google發佈了面向移動端的Gemini模型，根據手機性能選擇1.8B或3.25B參數的版本。微軟則推出了2.7B參數的Phi-2模型，表現十分出色。本文作者也一直在研究參數規模在1-2B左右的模型，並在此基礎上分享一些心得體會，同時總結了市面上已開源的1-2B參數規模的大模型。
值得注意的是，參數量的減少並非通過剪枝和量化來實現，這些方法僅用於推理加速，而不會實際減少模型的參數。在預訓練階段，為了獲得更優的效果，往往需要使用大量的數據來進行硬訓練。如果參數規模不足，那麼就需要提高數據質量和數據數量來彌補。在指令微調階段，通常會對更優秀的大模型進行蒸餾，以提升小模型的表現。一個常用的做法是利用GPT-3.5、GPT-4的數據直接進行指令微調，這是一種對閉源大模型進行蒸餾的方法。然而，也可以在蒸餾過程中引入閉源大模型作為裁判，比較教師模型和學生模型的解答，並讓學生模型從中學習和進步。如果擁有更多更好的大模型，則可以直接使用知識蒸餾的方法，通過KL散度來訓練學生模型，讓其模仿教師模型的輸出概率分佈。
小規模模型的開源列表與分析
下表列出了已知的1-2B參數規模的大模型，按照參數量從大到小排序：
Bloom-1.7B & 1.1B
介紹
Bloom-1.7B和1.1B是由Hugging Face主導的BigScience項目中開發並開源的大語言模型。這些模型在訓練中使用了多種語言的數據，包括自然語言和編程語言，總計達到了1.6TB的文本數據量。Bloom-1.7B模型具有24層的結構，隱藏層維度為2048，並且能夠處理2048個單位的輸入。而Bloom-1.1B模型則在層數和隱藏層維度上有所不同，分別為24層和1536維。
TinyLlama模型簡介
TinyLlama模型是由研究人員開發的一種輕量級語言模型，擁有1.1B參數，基於3TB Token的數據進行初步訓練，並最終擴展到2.5TB Token的數據規模。該模型具有以下特點：
應用與部署
如果組織需要部署大語言模型，但又受到資源限制且效果要求不是非常高的情況下，選擇一個參數規模在1-2B之間的模型是一個不錯的折中方案。TinyLlama模型作為一款輕量級的大語言模型，可能會是這樣情況下的良好選擇。
延伸閲讀…
①パンジャンドラムも飛ばせる!中世の大砲模型を作ってパンジャンドラムを飛ばした動畫
ヨドバシ.com
模型結構
模型的結構包含了22層，每一層都有2048個隱藏單元。這樣的結構設計能夠幫助模型捕捉文本數據中的複雜模式。
應用與部署
如果組織需要部署大語言模型，但又受到資源限制且效果要求不是非常高的情況下，選擇一個參數規模在1-2B之間的模型是一個不錯的折中方案。TinyLlama模型作為一款輕量級的大語言模型，可能會是這樣情況下的良好選擇。
延伸閲讀…
ヨドバシ.com
ヨドバシ.com
學術交流
研究者們可以通過關注知乎上的「劉聰NLP」來獲得更多有關TinyLlama模型和其他自然語言處理主題的信息。如果有任何問題，也歡迎添加微信「logCong」來進行私下的討論和交流。
訓練與學習口號
該項目遵循「生命不止，學習不停」的口號，強調了持續學習的重要性。同時，研究者們的新書《ChatGPT原理與實戰》已經出版，這本書對於想要深入瞭解ChatGPT模型及其應用的人來説是一本非常有價值的學習資源。
其他值得關注的大模型
在當前的百模大戰中，存在許多參數規模在10-20億之間的大模型。這些模型在文本生成、
