久久久久精品久久九九,久久精品国产亚洲av麻豆长发,精品视频一区二区三三区四区,久久久久国产亚洲av麻豆,护士张开腿被奷日出白浆

!
也想出現(xiàn)在這里? 聯(lián)系我們
廣告信息
!
也想出現(xiàn)在這里? 聯(lián)系我們
廣告信息

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

請注意:本文章教程,適用于閃豚速寫Pro訓(xùn)練。初次使用,請務(wù)必瀏覽本內(nèi)容進行學(xué)習(xí)。

兩個模型的區(qū)別:

標(biāo)準(zhǔn)模型Small模型
訓(xùn)練時長訓(xùn)練5輪左右就可用(訓(xùn)練越多越好)訓(xùn)練30~50輪左右可用(訓(xùn)練越多越好)
訓(xùn)練要求GPU顯存≥24GBGPU顯存≥6GB
訓(xùn)練速度3090每秒2~4條數(shù)據(jù)訓(xùn)練
4090每秒5~8條數(shù)據(jù)訓(xùn)練
3090每秒10~15條數(shù)據(jù)訓(xùn)練
4090每秒20~25條數(shù)據(jù)訓(xùn)練
模型超長輸出能力支持語料長度3倍生成輸出
(例如,原始語料1000字,模型能生成3000字)
對訓(xùn)練語料原始字?jǐn)?shù)生成超長輸出不太好
(例如,原始語料1000字,模型僅能生成1000字)
成品模型大小成品模型大約在6Gb左右成品模型大約在2Gb左右
知識訓(xùn)練能力能承載百萬級以上語料訓(xùn)練僅承載50萬級語料以下訓(xùn)練

對于模型的訓(xùn)練速度預(yù)測,可以使用官網(wǎng)在線計算器,根據(jù)你顯卡型號的CUDA數(shù)量進行訓(xùn)練時間預(yù)估計算,在線計算器請點擊下方URL鏈接:

http://yunzou.com.cn/mdcalculator

一、軟件安裝工使用

軟件安裝使用,需要安裝CUDA驅(qū)動以及安裝CUDNN提供訓(xùn)練加速。具體請參照以下文章教程,點擊跳轉(zhuǎn)。請務(wù)必按照教程中步驟,進行驅(qū)動安裝和CUDNN的安裝。

(請注意,CUDA驅(qū)動是CUDA驅(qū)動,顯卡驅(qū)動是顯卡驅(qū)動,請不要搞混淆。教程中最下面提供CUDA驅(qū)動和CUDNN安裝包。自行下載根據(jù)教程流程安裝。)

【新手必看教程】閃豚速寫軟件安裝教程以及CUDA和CUDNN安裝教程

二、軟件注冊激活

1、用戶注冊

打開軟件后,首先點擊用戶注冊按鈕,跳轉(zhuǎn)注冊頁面,按照要求進行資料填寫,邀請碼可不用填寫。注冊完成后,會自動跳轉(zhuǎn)“激活”頁面,輸入激活碼進行激活即可使用。

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

2、軟件激活

在激活頁面中,需要輸入您注冊的用戶名和密碼以及激活卡號。點擊激活即可。

(請注意:無需填寫充值卡密碼)

獲得的激活碼,一共有三次綁定/兩次解綁換綁服務(wù),超出后每次收取500元服務(wù)費(僅支持同一IP段換綁,非同IP段換綁則需新購)

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

三、數(shù)據(jù)處理

1、數(shù)據(jù)的準(zhǔn)備

閃豚速寫Pro訓(xùn)練語料數(shù)據(jù)要求如下:

每篇學(xué)習(xí)語料以TXT文件形式保存,文件名推薦使用內(nèi)容的標(biāo)題。

格式為:

TXT的第一行為內(nèi)容的標(biāo)題

TXT的第二行請保留空行(用作于區(qū)分識別作用)

TXT的第三行為內(nèi)容(內(nèi)容需要段落分明,盡量不要加載亂七八糟的符號、HTML標(biāo)簽等,少許英文也可以)

可以參考以下圖片樣例:

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

訓(xùn)練語料排版需要段落分明,這樣最終學(xué)習(xí)的模型也會參照語料排版進行學(xué)習(xí)。

訓(xùn)練數(shù)據(jù)需要5萬篇以上,太少的話,模型能力會很弱。

關(guān)于語料數(shù)量的解釋:

1、數(shù)據(jù)越多,你的模型能力就越強,并不是數(shù)據(jù)越多,你的模型生成的內(nèi)容就越多。模型生成的數(shù)量是無限的,不管多少數(shù)據(jù)量訓(xùn)練的模型,同標(biāo)題生成不同數(shù)量的文章內(nèi)容,都不會重復(fù),僅可能出現(xiàn)少數(shù)句子,段落重復(fù)。

2、訓(xùn)練語料的多少,決定模型的知識含量而已,增加它的詞匯量以及句子理解能力。比如:10萬的訓(xùn)練數(shù)據(jù),都是小學(xué)生學(xué)習(xí)的詞語和句子等內(nèi)容;20萬的語料數(shù)據(jù)里,就有初中生的學(xué)習(xí)的內(nèi)容。不可能模型學(xué)習(xí)了10萬的數(shù)據(jù),你讓他生成初中的內(nèi)容,模型是無法生成出來的。因為它都沒學(xué)習(xí)到知識,肯定是不無法生成您所需要的內(nèi)容。

簡單點講:數(shù)據(jù)量越多,模型對內(nèi)容的詞匯和知識就掌握的越多。

但推薦模型訓(xùn)練數(shù)據(jù)在5~50萬就可以,不必要上百萬。數(shù)據(jù)量太大,訓(xùn)練時間太長,成本太大,不建議這么操作。

2、工具的使用

訓(xùn)練語料準(zhǔn)備好了后,推薦以下工具進行清洗處理:

免費工具:

閃豚速寫訓(xùn)練數(shù)據(jù)二次篩選強制清洗工具

收費工具:(根據(jù)個人需求選擇使用)

語料格式、內(nèi)容、編碼清洗小工具[出售]

閃豚AI語料內(nèi)容重復(fù)檢索工具[出售]

3、訓(xùn)練數(shù)據(jù)的處理

請參照下圖解釋說明,填寫好對應(yīng)的路徑,點擊開始處理即可。

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

四、模型訓(xùn)練

1、參數(shù)說明

顯卡設(shè)備序號:默認(rèn)為0,指的是您顯卡在您電腦中的設(shè)備序號,基本都是0,無需更改。您可以打開您的電腦任務(wù)管理器,在性能里面,有個GPU,GPU后面會有個序號:

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

訓(xùn)練數(shù)據(jù)路徑:選擇您上一步處理的學(xué)習(xí)語料的文件,也就是JSON文件。

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

訓(xùn)練次數(shù):對你的數(shù)據(jù)訓(xùn)練多少次,訓(xùn)練步數(shù)=你的數(shù)據(jù)量。

訓(xùn)練總數(shù)=你的語料數(shù)據(jù)x訓(xùn)練次數(shù)。

例如:您的語料數(shù)據(jù)為10萬,那么你的訓(xùn)練步數(shù)就是10萬步。您設(shè)置訓(xùn)練5次,那就是100000x5=50萬步。

Batch_size:顯卡的批處理,24Gb顯存顯卡,如果使用標(biāo)準(zhǔn)模型,請保持參數(shù)為“1”,如果使用small模型,該參數(shù)可以調(diào)大,每增加1,占用顯存會大一倍。調(diào)整此處可以增加模型訓(xùn)練學(xué)習(xí)效率。

比如:您顯存為24Gb,如果使用標(biāo)準(zhǔn)模型,那么僅能設(shè)置“1”,如果您使用small模型,該參數(shù)可以設(shè)置“4”,因為small模型訓(xùn)練占用顯存為:“6Gb”左右。

save_steps:該參數(shù)為模型保存步數(shù),也就是您訓(xùn)練多少步后保存一個模型,防止模型出錯。建議使用默認(rèn)每一萬步就保存一個模型。如果覺得保存太多,占用太多的硬盤空間,那么可以調(diào)整該參數(shù),可以設(shè)置每5萬或者10萬或者更多保存一個模型。

學(xué)習(xí)效率:該參數(shù)請保持默認(rèn)

epsilon:該參數(shù)請保持默認(rèn)

logging_steps:該參數(shù)為訓(xùn)練日志的保存,訓(xùn)練日志能直觀的看到每條訓(xùn)練數(shù)據(jù)的學(xué)習(xí)成果,也就是loss值,一個模型loss值推薦在2以下,就可以很好使用。該參數(shù)建議請保持跟save_steps參數(shù)保持一致。

max_len:Token詞匯量的輸入,推薦使用900,參數(shù)設(shè)置900能更穩(wěn)定的訓(xùn)練標(biāo)準(zhǔn)模型。如果您使用的是Small小模型,可以使用1024參數(shù)。

sed:該參數(shù)請保持默認(rèn)

模型保存路徑:該參數(shù)請選擇訓(xùn)練好的模型保存位置,路徑也需要使用英文或者拼音,請避免使用中文路徑。

定制化模型:該參數(shù)請不要填寫,該參數(shù)為企業(yè)用戶私有化定制訓(xùn)練模型的路徑。

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

2、使用流程

根據(jù)要求,填寫好對應(yīng)的參數(shù)后,請點擊預(yù)載模型:

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

點擊后,則會從中央驗證服務(wù)器中下載加載模型權(quán)重:

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

完成后會有以上提醒,模型預(yù)載完成后,就可以點擊開始訓(xùn)練按鈕進行模型訓(xùn)練。

請注意:每次關(guān)閉軟件后,需要使用模型訓(xùn)練功能,都需要重新點擊預(yù)載模型。

3、中斷訓(xùn)練說明

如果模型訓(xùn)練過程中出現(xiàn)意外導(dǎo)致訓(xùn)練中斷,需要接著訓(xùn)練的時候,要確保模型保存路徑下至少已保存2份步伐模型;

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

也就是以上圖片中的文件夾,請至少確保有2個文件夾以上,才能接著訓(xùn)練。

中斷訓(xùn)練會加載倒數(shù)第二個文件夾中 的模型權(quán)重進行訓(xùn)練。

例如:您的總訓(xùn)練步伐是100萬,在您訓(xùn)練26萬步的時候,訓(xùn)練中斷了,您設(shè)置的參數(shù)是,每1萬步保存一個模型。那么您的路徑下應(yīng)該有:

checkpoint-260000

checkpoint-250000

checkpoint-240000

......

等等模型文件夾。需要繼續(xù)訓(xùn)練的時候,請保持您上一次的模型訓(xùn)練參數(shù),然后點擊預(yù)載模型,模型預(yù)載完成后,點擊開始訓(xùn)練即可。

軟件算法會加載您路徑下所有的已存儲的模型文件夾,自動檢索模型權(quán)重,最終會從checkpoint-250000開始往后訓(xùn)練。

4、訓(xùn)練其他說明

1、訓(xùn)練完成后,不支持增量訓(xùn)練,僅支持增加訓(xùn)練次數(shù),加深訓(xùn)練。(增量訓(xùn)練是指,您首次訓(xùn)練模型使用的是10萬語料,然后第二次訓(xùn)練,重新預(yù)處理了20萬語料,再訓(xùn)練。這樣的話就需要新訓(xùn)練,而不能繼續(xù)訓(xùn)練,否則導(dǎo)致模型損壞。)

2、訓(xùn)練開始前,可以打開軟件的根目錄,找到y(tǒng)ingpan.ini

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

打開它。您會看到如下:

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

該配置文件主要是給模型訓(xùn)練提供足夠的存儲空間保障。當(dāng)您的硬盤空間不足時,達到了軟件設(shè)置的磁盤空間閾值,軟件每次新保存訓(xùn)練模型,則自動刪除最老的模型文件,這樣循環(huán)下去,始終會為您的硬盤保留指定值的空間進行存儲新的模型。

如果覺得你硬盤中保存過多的步伐模型保存文件,影響硬盤空間,可以手動刪除一些,或者調(diào)大保存步伐。手動刪除的話,要確保至少預(yù)留五個步伐模型,以防止意外。

3、訓(xùn)練過程中,您會看到界面中輸出如下值:

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

5、模型訓(xùn)練日志

1、首先界面中的:Iter(loss=x.xxx),這個數(shù)值僅代表該條訓(xùn)練數(shù)據(jù)對我們預(yù)訓(xùn)練模型的詞典進行匹配學(xué)習(xí)的loss值。僅僅是該條數(shù)據(jù)的學(xué)習(xí)值。正確的每批次訓(xùn)練的loss值,在軟件的根目錄下,logs文件夾內(nèi),train-2023-xx-xx-xx-xx.log,該文件內(nèi)進行查看。該文件名為:train-年-月-日-時-分.log,也就是你開始訓(xùn)練的時間,每次訓(xùn)練,都會有一個開始訓(xùn)練的時間為命名的訓(xùn)練日志。在該日志內(nèi)查看訓(xùn)練的loss值。

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

打開日志文件后,日志的記錄內(nèi)容是上圖顯示;

Epoch代表的是第幾輪的訓(xùn)練,從0開始。

global_step:代表的是訓(xùn)練的步數(shù),也就是界面中設(shè)置的。

最后看,train_loss值,loss值在2左右,就說明模型基本上學(xué)習(xí)到了你的數(shù)據(jù)內(nèi)容。Loss值越低,模型越好。

五、訓(xùn)練功能其他說明

待補充

六、生成教學(xué)

重要說明:載入模型路徑,模型文件存儲的路徑不要有中文!目錄路徑一定要英文或者拼音!

1、批量生成數(shù)據(jù)表格式要求:

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

自行創(chuàng)建生成數(shù)據(jù),要求格式如上圖,新建一份TXT文檔,里面生成數(shù)據(jù)每行一條。

推薦使用官方語料生成數(shù)據(jù)表提取工具,生成效果會更好。

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

點擊下方卡片推薦內(nèi)容跳轉(zhuǎn)下載。

閃豚AI生成語料數(shù)據(jù)表提取工具

如果提取語料的數(shù)量比較大,導(dǎo)致數(shù)據(jù)表很大,建議使用數(shù)據(jù)表分割工具,進行分割使用。

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

點擊下方卡片推薦,進行跳轉(zhuǎn)下載。

閃豚AI生成數(shù)據(jù)分割小工具

提取完成后的數(shù)據(jù)表標(biāo)準(zhǔn)如下圖展示:

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

可以看到,標(biāo)準(zhǔn)數(shù)據(jù)表里面,前面是該條生成任務(wù)的標(biāo)題,###三個井號后面,就是起始句,也就是文章的第一句話。

2、為什么要標(biāo)題和起始句,直接使用關(guān)鍵詞載入生成不行?

對于這個問題,AI模型需要更好的提示,才能推理生成更準(zhǔn)確更符合要求的內(nèi)容。一個關(guān)鍵詞僅幾個中文字,模型是無法判斷你這個任務(wù)的最終需求,比如讓你自己寫一份材料,只有一個關(guān)鍵詞,相信你也無法下手寫作。AI模型也是一樣的道理,需要給它更多的提示和任務(wù)指令,它才能更好的輸出符合你要求的內(nèi)容。

AI訓(xùn)練的時候,語料也是有標(biāo)題和內(nèi)容的,AI模型學(xué)習(xí)訓(xùn)練,它需要先學(xué)習(xí)每篇文章的標(biāo)題,再學(xué)習(xí)內(nèi)容,也就能明白這個標(biāo)題的作用,所以推理生成的時候,也是一樣,需要給它標(biāo)題和第一句話,引導(dǎo)AI推理更準(zhǔn)確的內(nèi)容。

如果只有關(guān)鍵詞,沒有標(biāo)題和起始句怎么辦?可以購買根據(jù)關(guān)鍵詞抓取相關(guān)標(biāo)題和起始句的收費插件。

上面推薦的卡片鏈接,插件就能實現(xiàn)根據(jù)關(guān)鍵詞,去爬取相關(guān)的標(biāo)題和起始句。然后會生成標(biāo)準(zhǔn)的生成數(shù)據(jù)表。

還是更加推薦直接提取語料的標(biāo)題和起始句,用作生成任務(wù)。不用擔(dān)心,即使同一標(biāo)題和起始句,最終生成的數(shù)據(jù)內(nèi)容,也不會重復(fù)一致。

3、提取完數(shù)據(jù)表后,就可以使用各種批量生成功能

開始生成的時候,建議使用單篇生成,進行模型生成參數(shù)調(diào)整修改,根據(jù)你的模型任務(wù),找到一個最適合的參數(shù),因為軟件自帶的參數(shù),屬于通用參數(shù),中規(guī)中矩,用戶仔細訓(xùn)練的不同任務(wù)的行業(yè)模型,都需要調(diào)整生成參數(shù),這樣才能達到生成效果更好的狀態(tài),參數(shù)調(diào)整教程請點擊下方卡片推薦:

閃豚速寫軟件推理生成功能中的參數(shù)調(diào)整說明教程

調(diào)整到了適合的參數(shù)后,就去批量生成或者雙標(biāo)題、圖文生成中修改你調(diào)整的參數(shù),最后就可以進行內(nèi)容的生產(chǎn)。

4、使用雙標(biāo)題為什么推理會很慢?

因為雙標(biāo)題功能,我們采用的策略是去獲取百度下拉結(jié)果,需要與百度進行通信,所以就會導(dǎo)致有個時間損耗,會比普通生成慢。如果自己有雙標(biāo)題工具,完全可以使用自己的工具,把數(shù)據(jù)表的標(biāo)題,先單獨弄成雙標(biāo)題,然后再開啟普通的批量生成就行。生成的內(nèi)容也是聚合生成。

5、圖文功能是怎么樣的?

軟件中,圖文生成功能,并不是根據(jù)生成內(nèi)容,生成出圖片,而是生成內(nèi)容的同時,軟件算法會根據(jù)你需要給內(nèi)容加入多少張配圖,會對內(nèi)容進行分析,再根據(jù)標(biāo)題,段落內(nèi)容,去百度圖庫調(diào)取相關(guān)圖片的URL,最終保存為TXT。(請注意,調(diào)用百度圖片會有侵權(quán)風(fēng)險,請自行甄別使用)

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

圖文生成功能如上圖展示,TXT的內(nèi)容里,穿插<img>URL的標(biāo)簽

6、軟件支持標(biāo)題聚合生成

什么是聚合生成?

當(dāng)你的標(biāo)題格式如下:

斑鳩吃什么(斑鳩飼養(yǎng))###斑鳩吃什么?野外生活的斑鳩一般都是在地面找食,

標(biāo)題中,斑鳩吃什么(斑鳩飼養(yǎng))這樣的,軟件算法則會生成兩篇內(nèi)容,聚合成一篇內(nèi)容:

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

聚合生成支持多種標(biāo)題格式,如:

標(biāo)題A(標(biāo)題B)###起始句

標(biāo)題A(標(biāo)題B)###起始句

標(biāo)題A!標(biāo)題B###起始句

標(biāo)題A?標(biāo)題B###起始句

以上的標(biāo)題格式,都會進行聚合生成。優(yōu)先級如下:

()>()>?。??

中文括號(全角括號)>英文括號(半角括號)>感嘆號>問號

請注意:如果在括號內(nèi)的副標(biāo)題,小于三個中文漢字時候,是不生效的,副標(biāo)題需要大于三個中文漢字。

所以,在生成數(shù)據(jù)表中,如果標(biāo)題含有以上數(shù)據(jù)格式,都會進行聚合生成,這樣就極大避免文章有多標(biāo)題,但是沒有副標(biāo)題的內(nèi)容,導(dǎo)致內(nèi)容關(guān)聯(lián)性不強的問題。

七、其他教學(xué)

使用過程中遇到其他問題,先進入教程專區(qū)看有沒有教程解決,無教程再聯(lián)系技術(shù)售后。

教程專區(qū):http://yunzou.com.cn/aidownload/aixuexi

其他問題待補充

給TA打賞
共{{data.count}}人
人已打賞
教程專區(qū)

閃豚速寫Pro-1.9.1更新說明

2023-8-29 22:34:40

教程專區(qū)

閃豚速寫軟件推理生成功能中的參數(shù)調(diào)整說明教程

2023-8-30 0:11:16

!
也想出現(xiàn)在這里? 聯(lián)系我們
廣告信息
2 條回復(fù) A文章作者 M管理員
  1. 指甲油樂觀

    怎么聯(lián)系客服

  2. 奮斗等于蝸牛

    真的是生成的嗎

?
個人中心
購物車
優(yōu)惠劵
今日簽到
有新私信 私信列表
搜索

本網(wǎng)站服務(wù)生成的所有內(nèi)容均由人工智能模型生成,其生成內(nèi)容的準(zhǔn)確性和完整性無法保證,不代表我們的態(tài)度或觀點。請自行甄別內(nèi)容的可靠性。