近年來(lái)，大型語(yǔ)言模型（LLM）的誕生刺激了對(duì)即插即用人工智能系統(tǒng)的需求不斷增長(zhǎng)，而在各種人工智能技術(shù)中，Prompt工程，即通過(guò)不斷調(diào)整給予大模型的指令以優(yōu)化大模型生成結(jié)果顯得尤為重要。

然而，由于陡峭的學(xué)習(xí)曲線和大量的時(shí)間投入，用戶在編寫提示時(shí)經(jīng)常面臨挑戰(zhàn)，就連目前最熟練的“提示工程師”也很難保證調(diào)試出最優(yōu)化的提示，而這限制了大模型實(shí)際落地的效果。同時(shí)，現(xiàn)有的自動(dòng)提示工程（APE）模型可能難以使用。

為了解決這個(gè)痛點(diǎn)，來(lái)自北京大學(xué)的團(tuán)隊(duì)提出了一套“即插即用”的提示自動(dòng)增強(qiáng)系統(tǒng)——PAS，一種基于LLM的即插即用APE系統(tǒng)。PAS 利用在高質(zhì)量、自動(dòng)生成的即時(shí)補(bǔ)充數(shù)據(jù)集上進(jìn)行訓(xùn)練的大語(yǔ)言模型，從而實(shí)現(xiàn)了卓越的性能。它不僅實(shí)現(xiàn)了超過(guò)6個(gè)層次的效果提升，更重要的是，它真正實(shí)現(xiàn)了“全自動(dòng)化”的效果，將“提示工程師”從繁瑣的調(diào)試工作中解放出來(lái)，為大模型的應(yīng)用打開(kāi)了新的篇章，接下來(lái)本文將簡(jiǎn)單介紹一下這個(gè)系統(tǒng)。

相關(guān)背景

近年來(lái)，大語(yǔ)言模型（LLM)的快速發(fā)展凸顯了數(shù)據(jù)管理和人工智能系統(tǒng)在利用這些技術(shù)方面的重要性，作為提升LLMs性能的關(guān)鍵技術(shù)之一，自動(dòng)提示工程（Automatic Prompt Engineering，APE）的目標(biāo)是通過(guò)自動(dòng)化的方式增強(qiáng)提示（prompts），以改善LLMs在特定任務(wù)的性能，并減少人工干預(yù)和時(shí)間成本。

然而，現(xiàn)有的提示工程方法，包括鏈?zhǔn)剿伎迹–hain of Thought）和思維樹(shù)（Tree of Thought）等策略，雖然在編程上提高了邏輯的一致性和準(zhǔn)確性，但缺乏可擴(kuò)展性。此外，近期的一些其他提示工程研究，包括從優(yōu)化器視角自動(dòng)尋找提示的方法，以及將演化算法引入到特定領(lǐng)域的離散提示優(yōu)化中，雖然表現(xiàn)出了一定的潛力，但在實(shí)際應(yīng)用中面臨著明顯的挑戰(zhàn)，如評(píng)估每個(gè)提示的適應(yīng)度需要大量資源，而探索多組提示的適應(yīng)度會(huì)帶來(lái)巨大的負(fù)擔(dān)。

本文介紹的即插即用系統(tǒng)（Plug-and-Play Systems，PAS）因其在不同機(jī)器學(xué)習(xí)工作流程中的模塊化和易集成性而受到重視，這些系統(tǒng)允許快速靈活地增強(qiáng)功能，輕松添加或替換新的處理模塊，而無(wú)需重新設(shè)計(jì)整個(gè)算法。由于它們能夠無(wú)縫增強(qiáng)現(xiàn)有AI系統(tǒng)的功能，隨著LLM技術(shù)的快速發(fā)展，對(duì)即插即用系統(tǒng)的需求也在不斷增長(zhǎng)。本文提出的PAS方法，正是基于即插即用系統(tǒng)所實(shí)現(xiàn)的，通過(guò)簡(jiǎn)單地增強(qiáng)輸入提示，并充分了利用底座LLM的優(yōu)勢(shì)，不僅成本效益高，而且使得計(jì)算資源的利用更加優(yōu)化。

項(xiàng)目實(shí)操

數(shù)據(jù)收集

本文從LMSYS-1M數(shù)據(jù)集和WildChat數(shù)據(jù)集中選擇高質(zhì)量的Prompt，數(shù)據(jù)選擇過(guò)程包括三個(gè)主要步驟：

1. 首先，使用SimCSE模型通過(guò)嵌入對(duì)Prompt進(jìn)行去重，然后應(yīng)用HNSW聚類算法對(duì)這些嵌入進(jìn)行分組，并從每個(gè)聚類中提取少量數(shù)據(jù)以減少冗余。

2. 隨后，進(jìn)行質(zhì)量篩選，使用BaiChuan 13b模型對(duì)數(shù)據(jù)進(jìn)行評(píng)分，從而篩選出低質(zhì)量的樣本，提高整體數(shù)據(jù)質(zhì)量。

3. 最后，利用BaiChuan內(nèi)部標(biāo)記的6萬(wàn)個(gè)分類數(shù)據(jù)對(duì)BaiChuan 13b模型進(jìn)行微調(diào)，然后使用該分類模型將Prompt歸類為常用的類別，如問(wèn)答（Q&A）和編碼。這一系列步驟確保了數(shù)據(jù)的多樣性、質(zhì)量和準(zhǔn)確分類。

在自動(dòng)補(bǔ)充Prompt數(shù)據(jù)生成階段，本文設(shè)計(jì)了一個(gè)基于少樣本學(xué)習(xí)（FewShot Learning）的自動(dòng)化數(shù)據(jù)生成Pipeline。該算法主要包括兩個(gè)階段：

1. 首先，在“數(shù)據(jù)生成”階段，研究者們利用一組精選的golden數(shù)據(jù)對(duì)上述每個(gè)類別中的Prompt進(jìn)行少樣本學(xué)習(xí)（FewShot Learning），以生成相應(yīng)的補(bǔ)充Prompt。這些golden數(shù)據(jù)包含了每個(gè)類別的少量示例，它們作為生成高質(zhì)量（Prompt，補(bǔ)充Prompt）對(duì)的基礎(chǔ)。生成的“Prompt-補(bǔ)充Prompt”對(duì)隨后被添加到生成的數(shù)據(jù)集中。

2. 為確保數(shù)據(jù)集的質(zhì)量，在“數(shù)據(jù)選擇和再生”階段，每個(gè)生成的“Prompt-補(bǔ)充Prompt”對(duì)都會(huì)經(jīng)過(guò)評(píng)估，以確定其正確性。如果評(píng)估結(jié)果不正確，該對(duì)會(huì)被移除，并重新進(jìn)入“數(shù)據(jù)生成”階段，利用少樣本學(xué)習(xí)重新生成答案，直至生成正確答案。這一過(guò)程不斷迭代，直到所有的“Prompt-補(bǔ)充Prompt”對(duì)都達(dá)到預(yù)期的質(zhì)量標(biāo)準(zhǔn)。

通過(guò)這一自動(dòng)化的數(shù)據(jù)生成和嚴(yán)格的選擇再生流程，最終生成的數(shù)據(jù)集包含了大約9000個(gè)高質(zhì)量的（Prompt，補(bǔ)充Prompt）對(duì)，這些數(shù)據(jù)被分為14個(gè)類別，每個(gè)類別包含大約500個(gè)數(shù)據(jù)，覆蓋了絕大多數(shù)常見(jiàn)的Prompt類別。

使用PAS系統(tǒng)

前述的數(shù)據(jù)生成Pipeline創(chuàng)建的高質(zhì)量（Prompt，補(bǔ)充Prompt）數(shù)據(jù)對(duì)被用于微調(diào)選定的LLMs，以賦予它們自動(dòng)生成補(bǔ)充Prompt的能力，從而得到PAS模型。當(dāng)?shù)玫窖a(bǔ)充Prompt后，將其與原始Prompt進(jìn)行拼接，輸入到下一個(gè)LLMs當(dāng)中，生成最終的答案。

作為一個(gè)自動(dòng)的提示補(bǔ)充工具，PAS可以集成到任何可用的LLMs中，通過(guò)公共API或開(kāi)放參數(shù)進(jìn)行集成。這種靈活性使得PAS能夠在不同的平臺(tái)和系統(tǒng)中廣泛應(yīng)用，增強(qiáng)現(xiàn)有LLMs的能力，而無(wú)需進(jìn)行廣泛的重新訓(xùn)練或修改。

小結(jié)

隨著LLM技術(shù)的應(yīng)用和實(shí)踐經(jīng)驗(yàn)的不斷積累，“如何編寫Prompt”也逐步形成了一套新的方法論。然而，實(shí)際操作過(guò)的人可能都會(huì)有這樣的體驗(yàn)：即使“理想再美好”，LLM實(shí)際輸出的結(jié)果往往與我們的預(yù)期存在一定的“小差距”。因此，不斷地調(diào)整和優(yōu)化Prompt以縮小這些“小差距”無(wú)疑是一項(xiàng)既耗時(shí)又耗力的任務(wù)。

而本文提出的PAS系統(tǒng)就旨在解決這一痛點(diǎn)，通過(guò)自動(dòng)化的Prompt補(bǔ)充，顯著提高了LLMs的性能，與之前最先進(jìn)的模型BPO相比實(shí)現(xiàn)了超過(guò)6個(gè)百分點(diǎn)的提升。而PAS這一成果的取得也僅僅只使用了BPO 不到65%的微調(diào)數(shù)據(jù)量，進(jìn)一步展示了PAS在數(shù)據(jù)效率上的優(yōu)勢(shì)，為APE的研究和拓展提供了一個(gè)強(qiáng)有力的指導(dǎo)方向。