注意:不管是訓(xùn)練還是生成,不要把模型放到中文文件夾路徑內(nèi),路徑需要用英文!建議不管是什么數(shù)據(jù),路徑都選擇英文或者拼音,不要用中文!
訓(xùn)練其實跟V3一樣的。沒什么難度。
語料格式:

語料格式跟V3要求一樣:
每個語料一個TXT文本。
第一行為標(biāo)題
第二行留空
第三行就是正文內(nèi)容。(正文內(nèi)容需要段落分明,不要有夾雜廣告等亂七八糟的)
以下就是訓(xùn)練教程:
首先你要準(zhǔn)備好你的訓(xùn)練語料,數(shù)據(jù)在10萬左右,肯定是越多越好。現(xiàn)在5萬的數(shù)據(jù)量也能訓(xùn)練,但是需要訓(xùn)練稍微步伐多點就行。
首先打開我們的閃豚速寫Pro

進入數(shù)據(jù)處理功能
選擇好你的原始數(shù)據(jù)路徑,選擇好保存路徑,就可以點擊開始處理了。就會生成到你保存路徑下有個train_data.json

打開后,數(shù)據(jù)就是這樣的

處理完了,就可以進入模型訓(xùn)練的功能了。

選擇好你的訓(xùn)練數(shù)據(jù),就是你剛剛處理的JSON這個文件。
顯卡設(shè)備基本上都是0(基本不用更改)
訓(xùn)練次數(shù):默認(rèn)也可以,你調(diào)多點也可以,當(dāng)是數(shù)據(jù)少的時候,就要調(diào)多些,什么10輪,20輪。
Batch_size:這個默認(rèn)1就行。如果你是A100啥的,你這個就調(diào)高,1=23Gb的顯存。
save_steps:這個默認(rèn)就可以,但是如果你的數(shù)據(jù)就幾萬,你可以調(diào)小點,比如:1000,默認(rèn)是100000,意思就是,每訓(xùn)練10000步,就會先保存一個階段性的模型。(如果你不想每10000步就保存一個模型,怕占用硬盤空間大,那就把這個值設(shè)置大一些,步伐模型保存是根據(jù)這個值保存的,設(shè)置10萬步,則就跑完10條訓(xùn)練數(shù)據(jù)才保存一個步伐模型)
其他的參數(shù)都默認(rèn)就可以
選擇好你的模型保存路徑就行。
定制化模型:這個基本上不用選,這個是給大客戶定制的一些私有化預(yù)訓(xùn)練模型用的。
最后,點擊:預(yù)載模型(加載預(yù)訓(xùn)練模型)
不預(yù)載模型的話,是訓(xùn)練不了的,開始訓(xùn)練的時候都需要根據(jù)自己的顯存預(yù)載對應(yīng)的模型(24Gb顯存就預(yù)載標(biāo)準(zhǔn)模型,低于24Gb顯存的顯卡就預(yù)載Small模型),預(yù)載模型需要從我們驗證服務(wù)器上下載,時間需要長一些,耐心等待加載完成就行。后面就預(yù)載后就很快。
預(yù)載完成后就可以點擊訓(xùn)練。
挺好的