廣州益美票據銷毀公司10月23日 報導:智源團隊最近發布了中英雙語基礎模型 Aquila2-34B 和中英雙語互動模型 AquilaChat2-34B。這兩個模型在中英雙語主 / 客觀綜合評測中表現優良，超過了其他全球開源模型，包括 LLama-70B 等。

同時，Aquila2-34B 在多項推理評測中超越了 LLama2-70B 和 GPT3.5模型，僅次于 GPT4。

為了降低使用大模型的門檻，智源 Aquila 團隊將 Int4量化技術和 QLoRA 微調推理技術整合到 AquilaChat2系列模型中，從而顯著降低了34B 級別大模型的訓練和推理所需的資源。

通過 Int4量化，AquilaChat2-34B 模型可能用7B 量級模型相近的 GPU 資源消耗，供應超過 Llama2-70B 模型的性能。QLoRA 技術將量化技術與 LoRA 微調技術相混入，通過4位量化和 Low Rank Adapters （LoRA） 方法進行微調，從而實目前不損失模型性能的情況下節省內存和提升訓練速度。

據悉，Aquila2-34B 類別模型已經在國產芯片上進行了適配，并成功進行了推理。經過使用 Int4量化和 QLoRA 微調技術，用戶可以在低資源環境中運行大參數模型。

項目地址：

https://github.com/FlagAI-Open/Aquila2/blob/main/examples/predict_chat_quantize.py

（舉報）