“Artificial Intelligence Generated Content”(AIGC)是指生成式人工智能,可以生成包括文本、圖像、音頻等形式內(nèi)容。基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)的自然語言處理、計(jì)算機(jī)視覺和音頻處理,可以訓(xùn)練AIGC模型來自動(dòng)創(chuàng)建相關(guān)內(nèi)容。AIGC的應(yīng)用會(huì)越來越廣泛,例如自動(dòng)摘要、文章生成、自動(dòng)翻譯、圖像風(fēng)格遷移、視頻合成等方面。盡管AIGC有它的優(yōu)勢(shì)和潛在的商業(yè)價(jià)值,但也需要注意其可能引發(fā)的倫理和版權(quán)問題。
垂直領(lǐng)域大模型案例分享
垂直領(lǐng)域大模型是對(duì)某個(gè)特定行業(yè)或領(lǐng)域的文本等數(shù)據(jù)采集、標(biāo)注,開展模型訓(xùn)練和優(yōu)化。與通用語言模型相比,它更專注于該領(lǐng)域的知識(shí)和技能,因此具有更高的領(lǐng)域?qū)I(yè)性和實(shí)用性。例如應(yīng)用在文本分類、信息檢索和自動(dòng)摘要等任務(wù)。垂直領(lǐng)域大模型可以更好地理解特定領(lǐng)域內(nèi)的術(shù)語和概念,可以提高自然語言處理的準(zhǔn)確性和效率,在特定領(lǐng)域的應(yīng)用上具有非常大的優(yōu)勢(shì)。
DoctorGLM:
基于深度學(xué)習(xí)技術(shù)訓(xùn)練的中文問診模型,可以用于醫(yī)療領(lǐng)域輔助診斷與治療建議。

LaWGPT:
一種基于中文法律知識(shí)的大型語言模型,與其他比較通用的大型語言模型(如BERT、GPT等)相比,LaWGPT 更專注于法律領(lǐng)域的具體任務(wù)和應(yīng)用。
XuanYuan(軒轅):
XuanYuan(軒轅)是一個(gè)基于自然語言處理和深度學(xué)習(xí)技術(shù)的中文金融大模型。該模型由中國百度公司開發(fā),擁有1760億個(gè)參數(shù)。XuanYuan 模型具有很高的對(duì)話質(zhì)量和智能程度,在金融服務(wù)領(lǐng)域方面表現(xiàn)出非常出色的性能,是一種非常優(yōu)秀的中文金融大模型,應(yīng)用于金融服務(wù)領(lǐng)域,可以幫助提高客戶體驗(yàn)和金融產(chǎn)品銷售效率。

以上提到的垂直領(lǐng)域大模型僅僅是一小部分代表,現(xiàn)在越來越多的公司和組織開始關(guān)注和投入研發(fā)垂直領(lǐng)域大模型,以滿足特定領(lǐng)域的需求。可以預(yù)見,未來將出現(xiàn)更多針對(duì)不同領(lǐng)域和場(chǎng)景的領(lǐng)域大模型,它們將為各行各業(yè)提供更加優(yōu)質(zhì)的自然語言處理服務(wù)。
場(chǎng)景下的大模型實(shí)施難度
實(shí)施AIGC大模型的難度主要集中在以下幾個(gè)方面:
1. 硬件
AIGC大模型通常擁有很多參數(shù)和層數(shù),因此需要大量計(jì)算資源來訓(xùn)練和部署,不僅需要強(qiáng)大的GPU或TPU,還需要高效的分布式計(jì)算架構(gòu)來加速訓(xùn)練和部署。
2.數(shù)據(jù)
AIGC大模型所需的數(shù)據(jù)規(guī)模非常大,需要大量高質(zhì)量的樣本數(shù)據(jù)(據(jù)報(bào)道,ChatGPT聘用博士來做標(biāo)注),通常需要付出巨大的成本和精力來收集、清洗和標(biāo)注。
3.技術(shù)
AIGC大模型是一種高級(jí)人工智能技術(shù),實(shí)施過程需要具備相關(guān)的深度學(xué)習(xí)和自然語言處理知識(shí),以及相關(guān)的開發(fā)經(jīng)驗(yàn)和實(shí)踐經(jīng)驗(yàn)。因此,在實(shí)際應(yīng)用中,需要具備相應(yīng)的技術(shù)能力和團(tuán)隊(duì)支持。
4.可解釋性(符合邏輯)
AIGC 大模型往往比較復(fù)雜,其推理結(jié)果可能難以解釋,或者不存在(胡編亂造),可能會(huì)對(duì)業(yè)務(wù)決策和風(fēng)險(xiǎn)控制產(chǎn)生潛在的影響。因此,確保 AIGC 大模型的可解釋性是一個(gè)重要的挑戰(zhàn)。

實(shí)施AIGC大模型確實(shí)存在一定難度,需要綜合考慮硬件、數(shù)據(jù)、技術(shù)和可解釋性等多個(gè)方面因素。不過,通過豐富的經(jīng)驗(yàn)積累和技術(shù)創(chuàng)新,這些挑戰(zhàn)都可以克服。
不得不提的硬傷“硬件配套設(shè)施”
通過查找資料總結(jié)發(fā)現(xiàn),OpenAI訓(xùn)練集群的規(guī)模可以用來進(jìn)行線性估算,預(yù)計(jì)耗費(fèi)1到4周完成一輪模型訓(xùn)練,估計(jì)用到22臺(tái)8卡GPU服務(wù)器(1000至2000萬RMB)進(jìn)行ChatGPT-6B的訓(xùn)練,以此預(yù)估訓(xùn)練一個(gè)標(biāo)準(zhǔn)ChatGPT-175B需要375至625臺(tái)的8卡A100服務(wù)器(預(yù)估投資人民幣3到5億RMB),如果愿意等待的話,預(yù)計(jì)150至200臺(tái)8卡A100,耗時(shí)1個(gè)多月可以完成一輪訓(xùn)練。

盡管建立大型模型需要巨大的計(jì)算資源和數(shù)據(jù)規(guī)模,但由于深度學(xué)習(xí)框架和云計(jì)算平臺(tái)的不斷發(fā)展,中小企業(yè)也可以進(jìn)入大模型領(lǐng)域,已有很多模型框架可以完成在消費(fèi)級(jí)顯卡上進(jìn)行大模型推理,也可以租賃公有云廠商提供的GPU資源(如AWS、騰訊云、華為云等),以獲取充足的計(jì)算資源,同時(shí)我們也得考慮到數(shù)據(jù)隱私等各方面的問題,另外,要想成功地建立大模型,需要具備一定的深度學(xué)習(xí)和自然語言處理技術(shù)知識(shí),并建立起專業(yè)的團(tuán)隊(duì)。
探究垂直領(lǐng)域細(xì)分場(chǎng)景
垂直領(lǐng)域細(xì)分場(chǎng)景大模型是可以將其日常工作融入到業(yè)務(wù)流程中,幫助業(yè)務(wù)實(shí)現(xiàn)“提質(zhì)增效”的人工智能技術(shù),其具有很強(qiáng)的針對(duì)性和個(gè)性化定制能力,因此可以根據(jù)不同業(yè)務(wù)需求,進(jìn)行專門的優(yōu)化和調(diào)整。例如,通過訓(xùn)練大規(guī)模的自然語言生成模型,可以生成符合業(yè)務(wù)要求的高質(zhì)量文本和內(nèi)容,從而減少人工介入成本,提高工作中的閱讀效率和全面性。結(jié)合實(shí)際業(yè)務(wù)需求,從而實(shí)現(xiàn)業(yè)務(wù)的“提質(zhì)增效”。

在未來,這種技術(shù)將會(huì)隨著深度學(xué)習(xí)算法的不斷改進(jìn)和優(yōu)化,有著非常廣泛的應(yīng)用前景。雖然目前存在一些問題需要解決,例如數(shù)據(jù)可靠性、隱私和透明度等,但隨著不斷的探索和創(chuàng)新,相信這些問題將會(huì)得到有效的解決,更廣泛地應(yīng)用到各個(gè)行業(yè)中,從而為推動(dòng)數(shù)字經(jīng)濟(jì)和智能社會(huì)建設(shè)做出重要的貢獻(xiàn)。
積累、創(chuàng)新和實(shí)踐
未來將會(huì)有更多的可能性和機(jī)遇