通義千問(wèn)近日開(kāi)源了其首個(gè)千億級(jí)參數(shù)模型Qwen1.5-110B，這是其全系列中首個(gè)達(dá)到千億級(jí)別的開(kāi)源模型。Qwen1.5-110B模型繼承了Qwen1.5系列的Transformer解碼器架構(gòu)，并在技術(shù)上引入了分組查詢注意力方法（GQA），極大地提升了模型在推理時(shí)的效率。

這款擁有1100億參數(shù)的模型支持高達(dá)32K的上下文長(zhǎng)度，同時(shí)展現(xiàn)出了卓越的多語(yǔ)言能力。無(wú)論是中文、英文、法語(yǔ)、德語(yǔ)、西班牙語(yǔ)、俄語(yǔ)，還是日語(yǔ)、韓語(yǔ)、越南語(yǔ)和阿拉伯語(yǔ)等，Qwen1.5-110B都能提供精準(zhǔn)、流暢的語(yǔ)言處理體驗(yàn)。這一里程碑式的開(kāi)源模型，無(wú)疑將為AI領(lǐng)域的科研人員、開(kāi)發(fā)者和愛(ài)好者提供更為強(qiáng)大、靈活的工具。