精品久久久久一区二区作者,激情爆乳一区二区三区 http://yunzou.com.cn SEO原創(chuàng)文章AI生成訓(xùn)練系統(tǒng)軟件 Thu, 13 Mar 2025 05:26:51 +0000 zh-Hans hourly 1 https://wordpress.org/?v=6.8.1 http://yunzou.com.cn/wp-content/uploads/2022/12/cropped-閃豚-騰訊藍(lán)-單LOGO-32x32.png 教程專區(qū) - 閃豚AI http://yunzou.com.cn 32 32 訓(xùn)練閃豚Pro模型過(guò)程中,數(shù)據(jù)集的數(shù)量和學(xué)習(xí)率的關(guān)系 http://yunzou.com.cn/88055.html http://yunzou.com.cn/88055.html#comments Thu, 14 Nov 2024 11:19:19 +0000 http://yunzou.com.cn/?p=88055 在訓(xùn)練閃豚速寫Pro模型時(shí),學(xué)習(xí)率的選擇是一個(gè)關(guān)鍵的超參數(shù),它會(huì)顯著影響模型的收斂速度和最終效果。

我們默認(rèn)使用的是5e-5,這個(gè)學(xué)習(xí)率是一個(gè)常見(jiàn)的默認(rèn)值,但不確保適合所有行業(yè)數(shù)據(jù)或數(shù)據(jù)量的大小,更好的學(xué)習(xí)率則要根據(jù)數(shù)據(jù)集的大小、訓(xùn)練目標(biāo)、優(yōu)化器的選擇等因素來(lái)調(diào)整。

學(xué)習(xí)率與數(shù)據(jù)集大小的關(guān)系

一般來(lái)說(shuō),隨著訓(xùn)練數(shù)據(jù)集的增大,可以使用稍微較高的學(xué)習(xí)率,因?yàn)楦嗟臄?shù)據(jù)有助于模型更穩(wěn)健地學(xué)習(xí),從而能夠承受更大的學(xué)習(xí)率而不容易出現(xiàn)震蕩。反之,數(shù)據(jù)集較小時(shí),較小的學(xué)習(xí)率可以幫助模型穩(wěn)定收斂,避免過(guò)擬合或損失函數(shù)波動(dòng)較大。

通??梢宰裱韵乱恍┙?jīng)驗(yàn)法則來(lái)設(shè)置學(xué)習(xí)率:

  1. 較小的數(shù)據(jù)集(< 10萬(wàn)條)
    • 學(xué)習(xí)率一般會(huì)選擇較小的值,比如5e-5或3e-5。這有助于模型在小數(shù)據(jù)集上穩(wěn)定訓(xùn)練,避免過(guò)度擬合。
  2. 中等大小的數(shù)據(jù)集(10萬(wàn)-50萬(wàn)條)
    • 學(xué)習(xí)率可以稍微提高,比如選擇5e-5或6e-5。在這種規(guī)模的數(shù)據(jù)集上,模型有足夠的樣本來(lái)學(xué)習(xí)復(fù)雜的模式,但學(xué)習(xí)率不宜過(guò)大,以免錯(cuò)過(guò)最優(yōu)解。
  3. 大規(guī)模數(shù)據(jù)集(> 100萬(wàn)條)
    • 對(duì)于非常大的數(shù)據(jù)集,可以考慮稍微增加學(xué)習(xí)率到7e-5或1e-4,或者使用學(xué)習(xí)率調(diào)度(如warm-up策略)來(lái)逐步提高學(xué)習(xí)率,確保模型能有效收斂。

最好通過(guò)實(shí)驗(yàn)多次訓(xùn)練同一批數(shù)據(jù)來(lái)驗(yàn)證學(xué)習(xí)率的選擇,采用交叉驗(yàn)證等方法來(lái)找到最適合你數(shù)據(jù)集和任務(wù)的學(xué)習(xí)率。

]]>
http://yunzou.com.cn/88055.html/feed 1
閃豚速寫使用過(guò)程報(bào)錯(cuò)/閃退的問(wèn)題處理解決辦法合集 http://yunzou.com.cn/74415.html http://yunzou.com.cn/74415.html#comments Mon, 06 Nov 2023 00:04:01 +0000 http://yunzou.com.cn/?p=74415 問(wèn)題一:預(yù)載模型不完整。
OSError: Unable to load weights from pytorch checkpoint file for  '
C:\...\Stdownload\train_model\pytorch_model.bin' at '
C:\...\Stdownload\train_model\pytorch_model.bin'. 
If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.

如果剛開(kāi)始點(diǎn)擊訓(xùn)練,就報(bào)錯(cuò)遇到這種,看到:Stdownload\train_model\pytorch_model.bin這個(gè)字段,就說(shuō)明是預(yù)載模型不完整。

解決方案:使用官網(wǎng)緩存清理工具,對(duì)閃豚軟件全面的清理緩存,重新從中央驗(yàn)證服務(wù)器預(yù)載模型權(quán)重。

工具下載地址:http://yunzou.com.cn/app/69618.html

問(wèn)題二:顯存不足導(dǎo)致的閃退或終止訓(xùn)練報(bào)錯(cuò)。

【閃豚Ai】訓(xùn)練出錯(cuò)319!錯(cuò)誤信息:
CUDA out of memory. Tried to allocate 12.00 MiB 
(GPU 0; 23.99 GiB total capacity; 11.95 GiB already allocated; 10.36 GiB free; 11.96 GiB reserved in total by PyTorch)

當(dāng)看到報(bào)錯(cuò)信息:CUDA out of memory.等關(guān)鍵信息,就說(shuō)明是顯存不足導(dǎo)致的。

顯存不足導(dǎo)致的原因有很多,不好解決,可能是其他應(yīng)用占用,也有可能是顯卡的CUDA驅(qū)動(dòng),沒(méi)來(lái)得及自己清理緩存,導(dǎo)致模型訓(xùn)練的時(shí)候,緩存得不到釋放,就導(dǎo)致顯存不足,訓(xùn)練終止了。

初步解決方案一:

初始訓(xùn)練的時(shí)候,用強(qiáng)制清理JSON工具,清理一遍你的訓(xùn)練JSON數(shù)據(jù)文件。

工具下載:http://yunzou.com.cn/app/69557.html

初步解決方案二:

訓(xùn)練界面中,默認(rèn)Max_len參數(shù)是:900,可以調(diào)整更小,比如800,700。

初步解決方案三:

save_steps參數(shù)和logging_steps參數(shù)不要設(shè)置太大,保持默認(rèn)10000即可。過(guò)多的模型生成出來(lái),可以手動(dòng)刪除舊的模型文件夾,保留最新的3~5個(gè)模型文件夾即可。或者等系統(tǒng)默認(rèn)會(huì)根據(jù)硬盤設(shè)置的大小自動(dòng)刪除舊的模型。

問(wèn)題三:繼續(xù)訓(xùn)練剛開(kāi)始的報(bào)錯(cuò)。

【閃豚Ai】訓(xùn)練出錯(cuò)319!錯(cuò)誤信息:
Unable to load weights from pytorch checkpoint file for '
.../checkpoint-xxxxx\pytorch_model.bin' 
at '.../checkpoint-xxxxx\pytorch_model.bin'. 
If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.

checkpoint-xxxxx:后面的XXX代表的是數(shù)字。

當(dāng)繼續(xù)訓(xùn)練,遇到報(bào)錯(cuò)信息是:.../checkpoint-xxxxx\pytorch_model.bin,說(shuō)明這個(gè)模型損壞,需要?jiǎng)h除這個(gè)模型,再重新繼續(xù)訓(xùn)練即可。

原因是:沒(méi)有在這個(gè)模型文件夾下,找到可用完整的模型和可繼續(xù)訓(xùn)練的記憶模型。

問(wèn)題四:繼續(xù)訓(xùn)練卻提醒模型訓(xùn)練完成

當(dāng)繼續(xù)訓(xùn)練的時(shí)候,卻沒(méi)達(dá)到最終步數(shù),卻提示“模型訓(xùn)練完成”,這個(gè)是因?yàn)?,模型機(jī)制判定問(wèn)題,因?yàn)榻咏詈蟮挠?xùn)練次數(shù),沒(méi)有完整的一個(gè)Epoch輪次,所以會(huì)提醒“模型訓(xùn)練完成”。

解決方法:增大你的訓(xùn)練次數(shù),就可以解決。比如原本是10次,繼續(xù)訓(xùn)練的時(shí)候提醒“模型訓(xùn)練完成”,則你可以增加到15次,20次。

其他訓(xùn)練報(bào)錯(cuò)問(wèn)題,后續(xù)完善補(bǔ)充

生成過(guò)程中遇到的報(bào)錯(cuò)問(wèn)題

生成問(wèn)題一:list index out of range

批量生成中,當(dāng)點(diǎn)擊生成后,出現(xiàn):

[閃豚Ai] 生成出錯(cuò),數(shù)據(jù)標(biāo)題: xxxxx!錯(cuò)誤信息: list index out of range

說(shuō)明是你的生成數(shù)據(jù)表沒(méi)按標(biāo)準(zhǔn)處理,標(biāo)準(zhǔn)的生成數(shù)據(jù)表如下格式:

每行一條數(shù)據(jù),前面是標(biāo)題,### 號(hào)后是正文的起始句。

生成問(wèn)題二:點(diǎn)擊生成后,就閃退

遇到這個(gè)問(wèn)題,80%是因?yàn)槟隳P吐窂接兄形?,一定要切記,模型路徑不能有中文,把中文改成拼音或者其他英文即可解決。

生成問(wèn)題三:生成一段時(shí)間后,閃退

百分之八十也是因?yàn)轱@存不足,當(dāng)你開(kāi)了多個(gè)生成任務(wù),每個(gè)生成任務(wù)會(huì)占用4~6G左右的顯存,顯存的占用也會(huì)隨著字?jǐn)?shù)的長(zhǎng)短而變化。如果多個(gè)生成任務(wù),開(kāi)了一段時(shí)間后,就閃退了,基本就是顯存不足導(dǎo)致的。

減少生成任務(wù)窗口或者軟件的多開(kāi),就能解決。

建議是每一個(gè)生成任務(wù)單獨(dú)開(kāi)一個(gè)軟件,避免使用軟件自帶的窗口1~5來(lái)生成,每單獨(dú)一個(gè)軟件生成,能更好的控制任務(wù)。

]]>
http://yunzou.com.cn/74415.html/feed 2
閃豚速寫軟件推理生成功能中的參數(shù)調(diào)整說(shuō)明教程 http://yunzou.com.cn/46750.html http://yunzou.com.cn/46750.html#respond Tue, 29 Aug 2023 16:11:16 +0000 http://yunzou.com.cn/?p=46750

很多用戶已經(jīng)使用上了推理,但是想要模型生成出來(lái)的質(zhì)量更好,需要根據(jù)自己的應(yīng)用場(chǎng)景和模型質(zhì)量進(jìn)行調(diào)參。

下面我們來(lái)講解一下這些參數(shù)的說(shuō)明:

seqiences:表示生成的序列個(gè)數(shù)。如果設(shè)置為大于1的值,模型會(huì)生成指定數(shù)量的不同序列。這對(duì)于希望得到多種可能輸出的場(chǎng)景是有用的。

penalty:這個(gè)參數(shù)用于控制生成文本中的重復(fù)性。值越大,生成的文本中的重復(fù)內(nèi)容就越少。調(diào)整此參數(shù)可以影響生成文本的多樣性和唯一性。

top_k:在生成過(guò)程中,模型會(huì)在每個(gè)時(shí)間步驟為每個(gè)可能的下一個(gè)詞賦予一個(gè)分?jǐn)?shù)。top_k用于限制在每個(gè)時(shí)間步驟中,模型只考慮分?jǐn)?shù)最高的k個(gè)詞。如果top_k設(shè)置的太小,可能會(huì)導(dǎo)致生成的文本過(guò)于單一;設(shè)置的太大,可能導(dǎo)致生成的文本缺乏連貫性。

top_p:這也是一種限制模型考慮的可能下一個(gè)詞的方法,不同的是,它是基于分?jǐn)?shù)的累積概率而不是個(gè)數(shù)。即在每個(gè)時(shí)間步驟中,模型會(huì)考慮到使得下一個(gè)詞的分?jǐn)?shù)的累積概率超過(guò)top_p的最小集合。這種方法又被稱為nucleus sampling。它可以增加生成文本的多樣性。

調(diào)整這些參數(shù)可以影響生成的質(zhì)量。例如,適當(dāng)增大penalty可以減少生成文本中的重復(fù);合理設(shè)置top_ktop_p可以影響生成文本的多樣性和連貫性。但需要注意的是,沒(méi)有一組適合所有場(chǎng)景的最優(yōu)參數(shù),需要根據(jù)具體任務(wù)和數(shù)據(jù)進(jìn)行嘗試和調(diào)整。

字?jǐn)?shù)限制:請(qǐng)注意,該參數(shù)為內(nèi)容的生成最高字?jǐn)?shù),如果覺(jué)得模型生成的字?jǐn)?shù)低,請(qǐng)調(diào)整該參數(shù),比如,字?jǐn)?shù)限制是800,那么模型生成的字?jǐn)?shù)絕對(duì)不會(huì)超過(guò)800字。

字?jǐn)?shù)限制還有個(gè)問(wèn)題請(qǐng)注意,模型的生成字?jǐn)?shù)長(zhǎng)度多少,取決于訓(xùn)練語(yǔ)料的字?jǐn)?shù),如果您的訓(xùn)練語(yǔ)料字?jǐn)?shù)普遍只有三四百字,那么模型最終生成的字?jǐn)?shù)也是三四百字。標(biāo)準(zhǔn)模型則可以最高支持3倍以上的字?jǐn)?shù)生成。

最簡(jiǎn)單的調(diào)整參數(shù)教學(xué):

penalty:你就把它看成,控制生成內(nèi)容的重復(fù)性的,減少它,則會(huì)讓內(nèi)容有更多重復(fù)的語(yǔ)句,詞語(yǔ)出現(xiàn)。

top_k:這個(gè)參數(shù)是調(diào)整生成的內(nèi)容的隨機(jī)性的,調(diào)整大,則會(huì)出現(xiàn)隨機(jī)性越大,越能拓展你的學(xué)習(xí)語(yǔ)料。調(diào)小則會(huì)更貼近你的訓(xùn)練樣本。

top_p:這個(gè)參數(shù)也是調(diào)整生成內(nèi)容的隨機(jī)性,只不過(guò)它是控制概率采樣的,也就是生成推理時(shí)候,預(yù)測(cè)下一個(gè)組詞命中我們模型詞典數(shù)據(jù)。

減少top_k并增加top_p參數(shù)值,模型的輸出會(huì)變得更有確定性,更接近它在訓(xùn)練數(shù)據(jù)中看到學(xué)習(xí)的內(nèi)容。

軟件操作教程:

生成數(shù)據(jù)表格式要求:

閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程

如果你只有關(guān)鍵詞,可以使用下面的工具進(jìn)行數(shù)據(jù)表轉(zhuǎn)換

工具下載鏈接:

http://yunzou.com.cn/app/75359.html

]]>
http://yunzou.com.cn/46750.html/feed 0
閃豚速寫Pro全流程訓(xùn)練指導(dǎo)使用教程 http://yunzou.com.cn/57457.html http://yunzou.com.cn/57457.html#comments Tue, 29 Aug 2023 16:01:10 +0000 http://yunzou.com.cn/?p=57457 請(qǐng)注意:本文章教程,適用于閃豚速寫Pro訓(xùn)練。初次使用,請(qǐng)務(wù)必瀏覽本內(nèi)容進(jìn)行學(xué)習(xí)。

兩個(gè)模型的區(qū)別:

標(biāo)準(zhǔn)模型Small模型
訓(xùn)練時(shí)長(zhǎng)訓(xùn)練5輪左右就可用(訓(xùn)練越多越好)訓(xùn)練30~50輪左右可用(訓(xùn)練越多越好)
訓(xùn)練要求GPU顯存≥24GBGPU顯存≥6GB
訓(xùn)練速度3090每秒2~4條數(shù)據(jù)訓(xùn)練
4090每秒5~8條數(shù)據(jù)訓(xùn)練
3090每秒10~15條數(shù)據(jù)訓(xùn)練
4090每秒20~25條數(shù)據(jù)訓(xùn)練
模型超長(zhǎng)輸出能力支持語(yǔ)料長(zhǎng)度3倍生成輸出
(例如,原始語(yǔ)料1000字,模型能生成3000字)
對(duì)訓(xùn)練語(yǔ)料原始字?jǐn)?shù)生成超長(zhǎng)輸出不太好
(例如,原始語(yǔ)料1000字,模型僅能生成1000字)
成品模型大小成品模型大約在6Gb左右成品模型大約在2Gb左右
知識(shí)訓(xùn)練能力能承載百萬(wàn)級(jí)以上語(yǔ)料訓(xùn)練僅承載50萬(wàn)級(jí)語(yǔ)料以下訓(xùn)練

對(duì)于模型的訓(xùn)練速度預(yù)測(cè),可以使用官網(wǎng)在線計(jì)算器,根據(jù)你顯卡型號(hào)的CUDA數(shù)量進(jìn)行訓(xùn)練時(shí)間預(yù)估計(jì)算,在線計(jì)算器請(qǐng)點(diǎn)擊下方URL鏈接:

http://yunzou.com.cn/mdcalculator

一、軟件安裝工使用

軟件安裝使用,需要安裝CUDA驅(qū)動(dòng)以及安裝CUDNN提供訓(xùn)練加速。具體請(qǐng)參照以下文章教程,點(diǎn)擊跳轉(zhuǎn)。請(qǐng)務(wù)必按照教程中步驟,進(jìn)行驅(qū)動(dòng)安裝和CUDNN的安裝。

(請(qǐng)注意,CUDA驅(qū)動(dòng)是CUDA驅(qū)動(dòng),顯卡驅(qū)動(dòng)是顯卡驅(qū)動(dòng),請(qǐng)不要搞混淆。教程中最下面提供CUDA驅(qū)動(dòng)和CUDNN安裝包。自行下載根據(jù)教程流程安裝。)

【新手必看教程】閃豚速寫軟件安裝教程以及CUDA和CUDNN安裝教程

二、軟件注冊(cè)激活

1、用戶注冊(cè)

打開(kāi)軟件后,首先點(diǎn)擊用戶注冊(cè)按鈕,跳轉(zhuǎn)注冊(cè)頁(yè)面,按照要求進(jìn)行資料填寫,邀請(qǐng)碼可不用填寫。注冊(cè)完成后,會(huì)自動(dòng)跳轉(zhuǎn)“激活”頁(yè)面,輸入激活碼進(jìn)行激活即可使用。

2、軟件激活

在激活頁(yè)面中,需要輸入您注冊(cè)的用戶名和密碼以及激活卡號(hào)。點(diǎn)擊激活即可。

(請(qǐng)注意:無(wú)需填寫充值卡密碼)

獲得的激活碼,一共有三次綁定/兩次解綁換綁服務(wù),超出后每次收取500元服務(wù)費(fèi)(僅支持同一IP段換綁,非同IP段換綁則需新購(gòu))

三、數(shù)據(jù)處理

1、數(shù)據(jù)的準(zhǔn)備

閃豚速寫Pro訓(xùn)練語(yǔ)料數(shù)據(jù)要求如下:

每篇學(xué)習(xí)語(yǔ)料以TXT文件形式保存,文件名推薦使用內(nèi)容的標(biāo)題。

格式為:

TXT的第一行為內(nèi)容的標(biāo)題

TXT的第二行請(qǐng)保留空行(用作于區(qū)分識(shí)別作用)

TXT的第三行為內(nèi)容(內(nèi)容需要段落分明,盡量不要加載亂七八糟的符號(hào)、HTML標(biāo)簽等,少許英文也可以)

可以參考以下圖片樣例:

訓(xùn)練語(yǔ)料排版需要段落分明,這樣最終學(xué)習(xí)的模型也會(huì)參照語(yǔ)料排版進(jìn)行學(xué)習(xí)。

訓(xùn)練數(shù)據(jù)需要5萬(wàn)篇以上,太少的話,模型能力會(huì)很弱。

關(guān)于語(yǔ)料數(shù)量的解釋:

1、數(shù)據(jù)越多,你的模型能力就越強(qiáng),并不是數(shù)據(jù)越多,你的模型生成的內(nèi)容就越多。模型生成的數(shù)量是無(wú)限的,不管多少數(shù)據(jù)量訓(xùn)練的模型,同標(biāo)題生成不同數(shù)量的文章內(nèi)容,都不會(huì)重復(fù),僅可能出現(xiàn)少數(shù)句子,段落重復(fù)。

2、訓(xùn)練語(yǔ)料的多少,決定模型的知識(shí)含量而已,增加它的詞匯量以及句子理解能力。比如:10萬(wàn)的訓(xùn)練數(shù)據(jù),都是小學(xué)生學(xué)習(xí)的詞語(yǔ)和句子等內(nèi)容;20萬(wàn)的語(yǔ)料數(shù)據(jù)里,就有初中生的學(xué)習(xí)的內(nèi)容。不可能模型學(xué)習(xí)了10萬(wàn)的數(shù)據(jù),你讓他生成初中的內(nèi)容,模型是無(wú)法生成出來(lái)的。因?yàn)樗紱](méi)學(xué)習(xí)到知識(shí),肯定是不無(wú)法生成您所需要的內(nèi)容。

簡(jiǎn)單點(diǎn)講:數(shù)據(jù)量越多,模型對(duì)內(nèi)容的詞匯和知識(shí)就掌握的越多。

但推薦模型訓(xùn)練數(shù)據(jù)在5~50萬(wàn)就可以,不必要上百萬(wàn)。數(shù)據(jù)量太大,訓(xùn)練時(shí)間太長(zhǎng),成本太大,不建議這么操作。

2、工具的使用

訓(xùn)練語(yǔ)料準(zhǔn)備好了后,推薦以下工具進(jìn)行清洗處理:

免費(fèi)工具:

閃豚速寫訓(xùn)練數(shù)據(jù)二次篩選強(qiáng)制清洗工具

收費(fèi)工具:(根據(jù)個(gè)人需求選擇使用)

語(yǔ)料格式、內(nèi)容、編碼清洗小工具[出售]

閃豚AI語(yǔ)料內(nèi)容重復(fù)檢索工具[出售]

3、訓(xùn)練數(shù)據(jù)的處理

請(qǐng)參照下圖解釋說(shuō)明,填寫好對(duì)應(yīng)的路徑,點(diǎn)擊開(kāi)始處理即可。

四、模型訓(xùn)練

1、參數(shù)說(shuō)明

顯卡設(shè)備序號(hào):默認(rèn)為0,指的是您顯卡在您電腦中的設(shè)備序號(hào),基本都是0,無(wú)需更改。您可以打開(kāi)您的電腦任務(wù)管理器,在性能里面,有個(gè)GPU,GPU后面會(huì)有個(gè)序號(hào):

訓(xùn)練數(shù)據(jù)路徑:選擇您上一步處理的學(xué)習(xí)語(yǔ)料的文件,也就是JSON文件。

訓(xùn)練次數(shù):對(duì)你的數(shù)據(jù)訓(xùn)練多少次,訓(xùn)練步數(shù)=你的數(shù)據(jù)量。

訓(xùn)練總數(shù)=你的語(yǔ)料數(shù)據(jù)x訓(xùn)練次數(shù)。

例如:您的語(yǔ)料數(shù)據(jù)為10萬(wàn),那么你的訓(xùn)練步數(shù)就是10萬(wàn)步。您設(shè)置訓(xùn)練5次,那就是100000x5=50萬(wàn)步。

Batch_size:顯卡的批處理,24Gb顯存顯卡,如果使用標(biāo)準(zhǔn)模型,請(qǐng)保持參數(shù)為“1”,如果使用small模型,該參數(shù)可以調(diào)大,每增加1,占用顯存會(huì)大一倍。調(diào)整此處可以增加模型訓(xùn)練學(xué)習(xí)效率。

比如:您顯存為24Gb,如果使用標(biāo)準(zhǔn)模型,那么僅能設(shè)置“1”,如果您使用small模型,該參數(shù)可以設(shè)置“4”,因?yàn)閟mall模型訓(xùn)練占用顯存為:“6Gb”左右。

save_steps:該參數(shù)為模型保存步數(shù),也就是您訓(xùn)練多少步后保存一個(gè)模型,防止模型出錯(cuò)。建議使用默認(rèn)每一萬(wàn)步就保存一個(gè)模型。如果覺(jué)得保存太多,占用太多的硬盤空間,那么可以調(diào)整該參數(shù),可以設(shè)置每5萬(wàn)或者10萬(wàn)或者更多保存一個(gè)模型。

學(xué)習(xí)效率:該參數(shù)請(qǐng)保持默認(rèn)

epsilon:該參數(shù)請(qǐng)保持默認(rèn)

logging_steps:該參數(shù)為訓(xùn)練日志的保存,訓(xùn)練日志能直觀的看到每條訓(xùn)練數(shù)據(jù)的學(xué)習(xí)成果,也就是loss值,一個(gè)模型loss值推薦在2以下,就可以很好使用。該參數(shù)建議請(qǐng)保持跟save_steps參數(shù)保持一致。

max_len:Token詞匯量的輸入,推薦使用900,參數(shù)設(shè)置900能更穩(wěn)定的訓(xùn)練標(biāo)準(zhǔn)模型。如果您使用的是Small小模型,可以使用1024參數(shù)。

sed:該參數(shù)請(qǐng)保持默認(rèn)

模型保存路徑:該參數(shù)請(qǐng)選擇訓(xùn)練好的模型保存位置,路徑也需要使用英文或者拼音,請(qǐng)避免使用中文路徑。

定制化模型:該參數(shù)請(qǐng)不要填寫,該參數(shù)為企業(yè)用戶私有化定制訓(xùn)練模型的路徑。

2、使用流程

根據(jù)要求,填寫好對(duì)應(yīng)的參數(shù)后,請(qǐng)點(diǎn)擊預(yù)載模型:

點(diǎn)擊后,則會(huì)從中央驗(yàn)證服務(wù)器中下載加載模型權(quán)重:

完成后會(huì)有以上提醒,模型預(yù)載完成后,就可以點(diǎn)擊開(kāi)始訓(xùn)練按鈕進(jìn)行模型訓(xùn)練。

請(qǐng)注意:每次關(guān)閉軟件后,需要使用模型訓(xùn)練功能,都需要重新點(diǎn)擊預(yù)載模型。

3、中斷訓(xùn)練說(shuō)明

如果模型訓(xùn)練過(guò)程中出現(xiàn)意外導(dǎo)致訓(xùn)練中斷,需要接著訓(xùn)練的時(shí)候,要確保模型保存路徑下至少已保存2份步伐模型;

也就是以上圖片中的文件夾,請(qǐng)至少確保有2個(gè)文件夾以上,才能接著訓(xùn)練。

中斷訓(xùn)練會(huì)加載倒數(shù)第二個(gè)文件夾中 的模型權(quán)重進(jìn)行訓(xùn)練。

例如:您的總訓(xùn)練步伐是100萬(wàn),在您訓(xùn)練26萬(wàn)步的時(shí)候,訓(xùn)練中斷了,您設(shè)置的參數(shù)是,每1萬(wàn)步保存一個(gè)模型。那么您的路徑下應(yīng)該有:

checkpoint-260000

checkpoint-250000

checkpoint-240000

......

等等模型文件夾。需要繼續(xù)訓(xùn)練的時(shí)候,請(qǐng)保持您上一次的模型訓(xùn)練參數(shù),然后點(diǎn)擊預(yù)載模型,模型預(yù)載完成后,點(diǎn)擊開(kāi)始訓(xùn)練即可。

軟件算法會(huì)加載您路徑下所有的已存儲(chǔ)的模型文件夾,自動(dòng)檢索模型權(quán)重,最終會(huì)從checkpoint-250000開(kāi)始往后訓(xùn)練。

4、訓(xùn)練其他說(shuō)明

1、訓(xùn)練完成后,不支持增量訓(xùn)練,僅支持增加訓(xùn)練次數(shù),加深訓(xùn)練。(增量訓(xùn)練是指,您首次訓(xùn)練模型使用的是10萬(wàn)語(yǔ)料,然后第二次訓(xùn)練,重新預(yù)處理了20萬(wàn)語(yǔ)料,再訓(xùn)練。這樣的話就需要新訓(xùn)練,而不能繼續(xù)訓(xùn)練,否則導(dǎo)致模型損壞。)

2、訓(xùn)練開(kāi)始前,可以打開(kāi)軟件的根目錄,找到y(tǒng)ingpan.ini

打開(kāi)它。您會(huì)看到如下:

該配置文件主要是給模型訓(xùn)練提供足夠的存儲(chǔ)空間保障。當(dāng)您的硬盤空間不足時(shí),達(dá)到了軟件設(shè)置的磁盤空間閾值,軟件每次新保存訓(xùn)練模型,則自動(dòng)刪除最老的模型文件,這樣循環(huán)下去,始終會(huì)為您的硬盤保留指定值的空間進(jìn)行存儲(chǔ)新的模型。

如果覺(jué)得你硬盤中保存過(guò)多的步伐模型保存文件,影響硬盤空間,可以手動(dòng)刪除一些,或者調(diào)大保存步伐。手動(dòng)刪除的話,要確保至少預(yù)留五個(gè)步伐模型,以防止意外。

3、訓(xùn)練過(guò)程中,您會(huì)看到界面中輸出如下值:

5、模型訓(xùn)練日志

1、首先界面中的:Iter(loss=x.xxx),這個(gè)數(shù)值僅代表該條訓(xùn)練數(shù)據(jù)對(duì)我們預(yù)訓(xùn)練模型的詞典進(jìn)行匹配學(xué)習(xí)的loss值。僅僅是該條數(shù)據(jù)的學(xué)習(xí)值。正確的每批次訓(xùn)練的loss值,在軟件的根目錄下,logs文件夾內(nèi),train-2023-xx-xx-xx-xx.log,該文件內(nèi)進(jìn)行查看。該文件名為:train-年-月-日-時(shí)-分.log,也就是你開(kāi)始訓(xùn)練的時(shí)間,每次訓(xùn)練,都會(huì)有一個(gè)開(kāi)始訓(xùn)練的時(shí)間為命名的訓(xùn)練日志。在該日志內(nèi)查看訓(xùn)練的loss值。

打開(kāi)日志文件后,日志的記錄內(nèi)容是上圖顯示;

Epoch代表的是第幾輪的訓(xùn)練,從0開(kāi)始。

global_step:代表的是訓(xùn)練的步數(shù),也就是界面中設(shè)置的。

最后看,train_loss值,loss值在2左右,就說(shuō)明模型基本上學(xué)習(xí)到了你的數(shù)據(jù)內(nèi)容。Loss值越低,模型越好。

五、訓(xùn)練功能其他說(shuō)明

待補(bǔ)充

六、生成教學(xué)

重要說(shuō)明:載入模型路徑,模型文件存儲(chǔ)的路徑不要有中文!目錄路徑一定要英文或者拼音!

1、批量生成數(shù)據(jù)表格式要求:

自行創(chuàng)建生成數(shù)據(jù),要求格式如上圖,新建一份TXT文檔,里面生成數(shù)據(jù)每行一條。

推薦使用官方語(yǔ)料生成數(shù)據(jù)表提取工具,生成效果會(huì)更好。

點(diǎn)擊下方卡片推薦內(nèi)容跳轉(zhuǎn)下載。

閃豚AI生成語(yǔ)料數(shù)據(jù)表提取工具

如果提取語(yǔ)料的數(shù)量比較大,導(dǎo)致數(shù)據(jù)表很大,建議使用數(shù)據(jù)表分割工具,進(jìn)行分割使用。

點(diǎn)擊下方卡片推薦,進(jìn)行跳轉(zhuǎn)下載。

閃豚AI生成數(shù)據(jù)分割小工具

提取完成后的數(shù)據(jù)表標(biāo)準(zhǔn)如下圖展示:

可以看到,標(biāo)準(zhǔn)數(shù)據(jù)表里面,前面是該條生成任務(wù)的標(biāo)題,###三個(gè)井號(hào)后面,就是起始句,也就是文章的第一句話。

2、為什么要標(biāo)題和起始句,直接使用關(guān)鍵詞載入生成不行?

對(duì)于這個(gè)問(wèn)題,AI模型需要更好的提示,才能推理生成更準(zhǔn)確更符合要求的內(nèi)容。一個(gè)關(guān)鍵詞僅幾個(gè)中文字,模型是無(wú)法判斷你這個(gè)任務(wù)的最終需求,比如讓你自己寫一份材料,只有一個(gè)關(guān)鍵詞,相信你也無(wú)法下手寫作。AI模型也是一樣的道理,需要給它更多的提示和任務(wù)指令,它才能更好的輸出符合你要求的內(nèi)容。

AI訓(xùn)練的時(shí)候,語(yǔ)料也是有標(biāo)題和內(nèi)容的,AI模型學(xué)習(xí)訓(xùn)練,它需要先學(xué)習(xí)每篇文章的標(biāo)題,再學(xué)習(xí)內(nèi)容,也就能明白這個(gè)標(biāo)題的作用,所以推理生成的時(shí)候,也是一樣,需要給它標(biāo)題和第一句話,引導(dǎo)AI推理更準(zhǔn)確的內(nèi)容。

如果只有關(guān)鍵詞,沒(méi)有標(biāo)題和起始句怎么辦?可以購(gòu)買根據(jù)關(guān)鍵詞抓取相關(guān)標(biāo)題和起始句的收費(fèi)插件。

上面推薦的卡片鏈接,插件就能實(shí)現(xiàn)根據(jù)關(guān)鍵詞,去爬取相關(guān)的標(biāo)題和起始句。然后會(huì)生成標(biāo)準(zhǔn)的生成數(shù)據(jù)表。

還是更加推薦直接提取語(yǔ)料的標(biāo)題和起始句,用作生成任務(wù)。不用擔(dān)心,即使同一標(biāo)題和起始句,最終生成的數(shù)據(jù)內(nèi)容,也不會(huì)重復(fù)一致。

3、提取完數(shù)據(jù)表后,就可以使用各種批量生成功能

開(kāi)始生成的時(shí)候,建議使用單篇生成,進(jìn)行模型生成參數(shù)調(diào)整修改,根據(jù)你的模型任務(wù),找到一個(gè)最適合的參數(shù),因?yàn)檐浖詭У膮?shù),屬于通用參數(shù),中規(guī)中矩,用戶仔細(xì)訓(xùn)練的不同任務(wù)的行業(yè)模型,都需要調(diào)整生成參數(shù),這樣才能達(dá)到生成效果更好的狀態(tài),參數(shù)調(diào)整教程請(qǐng)點(diǎn)擊下方卡片推薦:

閃豚速寫軟件推理生成功能中的參數(shù)調(diào)整說(shuō)明教程

調(diào)整到了適合的參數(shù)后,就去批量生成或者雙標(biāo)題、圖文生成中修改你調(diào)整的參數(shù),最后就可以進(jìn)行內(nèi)容的生產(chǎn)。

4、使用雙標(biāo)題為什么推理會(huì)很慢?

因?yàn)殡p標(biāo)題功能,我們采用的策略是去獲取百度下拉結(jié)果,需要與百度進(jìn)行通信,所以就會(huì)導(dǎo)致有個(gè)時(shí)間損耗,會(huì)比普通生成慢。如果自己有雙標(biāo)題工具,完全可以使用自己的工具,把數(shù)據(jù)表的標(biāo)題,先單獨(dú)弄成雙標(biāo)題,然后再開(kāi)啟普通的批量生成就行。生成的內(nèi)容也是聚合生成。

5、圖文功能是怎么樣的?

軟件中,圖文生成功能,并不是根據(jù)生成內(nèi)容,生成出圖片,而是生成內(nèi)容的同時(shí),軟件算法會(huì)根據(jù)你需要給內(nèi)容加入多少?gòu)埮鋱D,會(huì)對(duì)內(nèi)容進(jìn)行分析,再根據(jù)標(biāo)題,段落內(nèi)容,去百度圖庫(kù)調(diào)取相關(guān)圖片的URL,最終保存為TXT。(請(qǐng)注意,調(diào)用百度圖片會(huì)有侵權(quán)風(fēng)險(xiǎn),請(qǐng)自行甄別使用)

圖文生成功能如上圖展示,TXT的內(nèi)容里,穿插<img>URL的標(biāo)簽

6、軟件支持標(biāo)題聚合生成

什么是聚合生成?

當(dāng)你的標(biāo)題格式如下:

斑鳩吃什么(斑鳩飼養(yǎng))###斑鳩吃什么?野外生活的斑鳩一般都是在地面找食,

標(biāo)題中,斑鳩吃什么(斑鳩飼養(yǎng))這樣的,軟件算法則會(huì)生成兩篇內(nèi)容,聚合成一篇內(nèi)容:

聚合生成支持多種標(biāo)題格式,如:

標(biāo)題A(標(biāo)題B)###起始句

標(biāo)題A(標(biāo)題B)###起始句

標(biāo)題A!標(biāo)題B###起始句

標(biāo)題A?標(biāo)題B###起始句

以上的標(biāo)題格式,都會(huì)進(jìn)行聚合生成。優(yōu)先級(jí)如下:

()>()>!>?

中文括號(hào)(全角括號(hào))>英文括號(hào)(半角括號(hào))>感嘆號(hào)>問(wèn)號(hào)

請(qǐng)注意:如果在括號(hào)內(nèi)的副標(biāo)題,小于三個(gè)中文漢字時(shí)候,是不生效的,副標(biāo)題需要大于三個(gè)中文漢字。

所以,在生成數(shù)據(jù)表中,如果標(biāo)題含有以上數(shù)據(jù)格式,都會(huì)進(jìn)行聚合生成,這樣就極大避免文章有多標(biāo)題,但是沒(méi)有副標(biāo)題的內(nèi)容,導(dǎo)致內(nèi)容關(guān)聯(lián)性不強(qiáng)的問(wèn)題。

七、其他教學(xué)

使用過(guò)程中遇到其他問(wèn)題,先進(jìn)入教程專區(qū)看有沒(méi)有教程解決,無(wú)教程再聯(lián)系技術(shù)售后。

教程專區(qū):http://yunzou.com.cn/aidownload/aixuexi

其他問(wèn)題待補(bǔ)充

]]>
http://yunzou.com.cn/57457.html/feed 2
閃豚速寫Pro-1.9.1更新說(shuō)明 http://yunzou.com.cn/57447.html http://yunzou.com.cn/57447.html#comments Tue, 29 Aug 2023 14:34:40 +0000 http://yunzou.com.cn/?p=57447 一、參數(shù)的優(yōu)化調(diào)整

關(guān)于本次更新Pro1.9.1,優(yōu)化調(diào)整了Max len參數(shù)說(shuō)明。請(qǐng)使用者按以下解釋指導(dǎo)進(jìn)行訓(xùn)練操作。

本次調(diào)整Max len參數(shù),在安裝包1.9.1會(huì)自動(dòng)調(diào)整900。(原參數(shù)為1024)

如已安裝其他版本的包,本次使用在線更新,該參數(shù)無(wú)法覆蓋,需手動(dòng)修改為“900”參數(shù)值,如下圖展示:

原因如下:

原本參數(shù)為1024,指的是1024Token詞匯長(zhǎng)度進(jìn)行輸入。在某些情況下,當(dāng)顯存為24Gb時(shí)(24576MiB),正常訓(xùn)練使用,會(huì)占用到“24000MiB”的顯存,可能僅剩下:“576MiB”,也就是剩下很少很少,只要有其他應(yīng)用占用一下GPU的顯存,可能就導(dǎo)致訓(xùn)練過(guò)程中出現(xiàn)“OMM”情況,也就是:“顯存爆了,顯存不夠用”,就導(dǎo)致訓(xùn)練出錯(cuò)。

關(guān)于Token的詞匯,您可以簡(jiǎn)單理解為中文長(zhǎng)度就行。因?yàn)橛?xùn)練模型,在我們中央驗(yàn)證中心服務(wù)器中,存儲(chǔ)了預(yù)訓(xùn)練模型的詞匯表,也就是您訓(xùn)練的時(shí)候,對(duì)數(shù)據(jù)預(yù)處理后,可訓(xùn)練文件Json中的所有文字,在訓(xùn)練開(kāi)始時(shí),會(huì)對(duì)模型詞匯表進(jìn)行匹配,如正確匹配則進(jìn)行分詞訓(xùn)練,這個(gè)步驟是個(gè)復(fù)雜的NLP知識(shí)理論,您不需要了解很深,如對(duì)此感興趣,可自行查閱通用模型訓(xùn)練相關(guān)的學(xué)習(xí)資料。

本次優(yōu)化了訓(xùn)練架構(gòu),推薦所有用戶,將該參數(shù)調(diào)整為:900,進(jìn)行訓(xùn)練,這樣能更大的留存1~2Gb的顯存進(jìn)行緩沖。

請(qǐng)注意:原參數(shù)為1024,現(xiàn)調(diào)整900,對(duì)模型的影響很小很小。不比太過(guò)于擔(dān)心模型的質(zhì)量會(huì)受到影響。反而調(diào)整了該參數(shù),能更穩(wěn)定的提升模型訓(xùn)練過(guò)程。此步驟是極其值得推薦操作的。

二、模型的選擇使用

推薦24Gb顯卡的用戶們,也可以嘗試使用Small模型,Small模型并不比標(biāo)準(zhǔn)模型差很多。使用Small模型,訓(xùn)練會(huì)更快。

Small模型與標(biāo)準(zhǔn)模型的能力差距如下:

標(biāo)準(zhǔn)模型:訓(xùn)練次數(shù)少,能達(dá)到不錯(cuò)的效果

標(biāo)準(zhǔn)模型Small模型
訓(xùn)練時(shí)長(zhǎng)推薦訓(xùn)練5輪左右就可用推薦訓(xùn)練30~50輪左右
訓(xùn)練速度3090每秒2~4條數(shù)據(jù)訓(xùn)練
4090每秒5~8條數(shù)據(jù)訓(xùn)練
3090每秒10~15條數(shù)據(jù)訓(xùn)練
4090每秒20~25條數(shù)據(jù)訓(xùn)練
模型能力支持語(yǔ)料長(zhǎng)度3倍生成輸出對(duì)超越語(yǔ)料原始字?jǐn)?shù)生成輸出不太好
模型大小成品模型大約在6Gb左右成品模型大約在2Gb左右
知識(shí)能力能承載百萬(wàn)級(jí)以上語(yǔ)料訓(xùn)練僅承載50萬(wàn)級(jí)語(yǔ)料以下訓(xùn)練

推薦用戶們可以嘗試使用Small模型進(jìn)行體驗(yàn)使用。

]]>
http://yunzou.com.cn/57447.html/feed 2
關(guān)于模型中斷后繼續(xù)訓(xùn)練說(shuō)明 http://yunzou.com.cn/48231.html http://yunzou.com.cn/48231.html#comments Mon, 10 Jul 2023 10:17:32 +0000 http://yunzou.com.cn/?p=48231 我們優(yōu)化改進(jìn)了這個(gè)功能的算法,現(xiàn)在能更好的識(shí)別中斷模型的參數(shù)。

當(dāng)模型訓(xùn)練過(guò)程中,遇到意外中斷或者主動(dòng)中斷訓(xùn)練,當(dāng)不改變訓(xùn)練參數(shù)(epoch參數(shù)值除外),需要加載上一次中斷前保存的完整的模型,就可以繼續(xù)接著該模型再次訓(xùn)練。

例如1:

當(dāng)我模型設(shè)置Epoch值為10輪,我訓(xùn)練到5輪的時(shí)候,checkpoint-500000,這里中斷了,測(cè)試checkpoint-500000該模型能力,發(fā)現(xiàn)并未達(dá)到訓(xùn)練需求,還想接著訓(xùn)練,那么就要確保checkpoint-500000模型完整。直接開(kāi)啟新的訓(xùn)練即可,此時(shí),epoch能增大而不能減少。意思就是:原始設(shè)置的Epoch為10,想加深訓(xùn)練,可以設(shè)置為20,而不能減少為9。

例如2:

當(dāng)模型設(shè)置Epoch為10輪,10輪訓(xùn)練結(jié)束,最后的模型為:checkpoint-1000000,測(cè)試該模型并未達(dá)到理想效果,還想接著訓(xùn)練,那么,就需要把epoch設(shè)置為20或者更多(這個(gè)數(shù)值自定義),設(shè)置好了后,就可以繼續(xù)讀取checkpoint-1000000模型參數(shù)繼續(xù)訓(xùn)練,那么下一輪就會(huì)保存:checkpoint-1100000。

也就是說(shuō),新的模型算法,加載為最新的保存模型,而不是讀取完整三輪模型。想要接著訓(xùn)練,僅需要保存最新的模型即可,但是請(qǐng)不要更改訓(xùn)練學(xué)習(xí)率或者訓(xùn)練的JSON。JSON不能新增也不能減少。否則無(wú)法繼續(xù)訓(xùn)練。

值得注意的是:1.8.3版本之前的模型,如果接著訓(xùn)練,loss值會(huì)重新計(jì)算更迭,但是訓(xùn)練的學(xué)習(xí)內(nèi)容,模型都是完整接上,不必?fù)?dān)心模型沒(méi)有接上訓(xùn)練。

1.8.3版本之后,如果模型中斷,繼續(xù)訓(xùn)練,loss值會(huì)接上(該算法為測(cè)試版,可能會(huì)對(duì)loss值有遺漏)

]]>
http://yunzou.com.cn/48231.html/feed 1
關(guān)于生成多線程使用教程 http://yunzou.com.cn/46739.html http://yunzou.com.cn/46739.html#comments Wed, 21 Jun 2023 08:08:03 +0000 http://yunzou.com.cn/?p=46739

首先打開(kāi)我們的生成窗口。

可以看到上方有窗口一到窗口五。

使用方法:

當(dāng)你窗口一填寫好生成參數(shù)后,需要點(diǎn)擊保存設(shè)置,然后開(kāi)啟推理。

(當(dāng)開(kāi)始生成了,再點(diǎn)擊窗口二,填寫好參數(shù),再點(diǎn)擊保存設(shè)置,這樣才是運(yùn)行多線程。)

請(qǐng)注意:開(kāi)啟多線程生成。需要關(guān)注你的GPU占用性能,GPU顯存占用隨著你生成字?jǐn)?shù)長(zhǎng)度而增長(zhǎng)改變。

]]>
http://yunzou.com.cn/46739.html/feed 1
【推薦】一招教你如何計(jì)算閃豚速寫模型訓(xùn)練成本! http://yunzou.com.cn/45676.html http://yunzou.com.cn/45676.html#respond Sun, 11 Jun 2023 12:51:18 +0000 http://yunzou.com.cn/?p=45676

2023年9月26日,新增模型成本計(jì)算器工具,本文底部有下載鏈接。

模型訓(xùn)練成本計(jì)算其實(shí)并不難,我們閃豚速寫訓(xùn)練的時(shí)候,現(xiàn)在能直接計(jì)算大概一輪訓(xùn)練時(shí)長(zhǎng),僅需要計(jì)算,設(shè)備損耗,電費(fèi),數(shù)據(jù)費(fèi)用就能得到一個(gè)模型的成本了。

下面教大家如何去計(jì)算成本:

模型成本公式:
顯卡發(fā)行價(jià)格 x 0.0005x訓(xùn)練時(shí)長(zhǎng)

語(yǔ)料費(fèi)用:
范圍語(yǔ)料:每篇0.02元x20%
半精語(yǔ)料:每篇0.04元x20%
全精語(yǔ)料:每篇0.1元x20%

(這里的20%指的是你語(yǔ)料的成本,因?yàn)閿?shù)據(jù)是最貴的。)


加上電腦其他硬件損耗
加上電費(fèi)

公式:顯卡損耗+語(yǔ)料數(shù)據(jù)+其他硬件損耗+模型訓(xùn)練電費(fèi)=成本費(fèi)用

就是最終的模型成本費(fèi)用。

所以建議大家如果訓(xùn)練的模型需要上傳交易,可以參考以上成本計(jì)算,其次,語(yǔ)料數(shù)據(jù)單獨(dú)交易,也可以參考以上語(yǔ)料單篇價(jià)格。

可以下載使用最新發(fā)布的模型訓(xùn)練成本計(jì)算器

http://yunzou.com.cn/app/70445.html

]]>
http://yunzou.com.cn/45676.html/feed 0
閃豚速寫Pro私有化模型訓(xùn)練教程 http://yunzou.com.cn/45511.html http://yunzou.com.cn/45511.html#comments Fri, 09 Jun 2023 07:14:19 +0000 http://yunzou.com.cn/?p=45511 注意:不管是訓(xùn)練還是生成,不要把模型放到中文文件夾路徑內(nèi),路徑需要用英文!建議不管是什么數(shù)據(jù),路徑都選擇英文或者拼音,不要用中文!

訓(xùn)練其實(shí)跟V3一樣的。沒(méi)什么難度。

語(yǔ)料格式:

語(yǔ)料格式跟V3要求一樣:

每個(gè)語(yǔ)料一個(gè)TXT文本。

第一行為標(biāo)題

第二行留空

第三行就是正文內(nèi)容。(正文內(nèi)容需要段落分明,不要有夾雜廣告等亂七八糟的)

以下就是訓(xùn)練教程:

首先你要準(zhǔn)備好你的訓(xùn)練語(yǔ)料,數(shù)據(jù)在10萬(wàn)左右,肯定是越多越好。現(xiàn)在5萬(wàn)的數(shù)據(jù)量也能訓(xùn)練,但是需要訓(xùn)練稍微步伐多點(diǎn)就行。

首先打開(kāi)我們的閃豚速寫Pro

進(jìn)入數(shù)據(jù)處理功能

選擇好你的原始數(shù)據(jù)路徑,選擇好保存路徑,就可以點(diǎn)擊開(kāi)始處理了。就會(huì)生成到你保存路徑下有個(gè)train_data.json

打開(kāi)后,數(shù)據(jù)就是這樣的

處理完了,就可以進(jìn)入模型訓(xùn)練的功能了。

選擇好你的訓(xùn)練數(shù)據(jù),就是你剛剛處理的JSON這個(gè)文件。

顯卡設(shè)備基本上都是0(基本不用更改)

訓(xùn)練次數(shù):默認(rèn)也可以,你調(diào)多點(diǎn)也可以,當(dāng)是數(shù)據(jù)少的時(shí)候,就要調(diào)多些,什么10輪,20輪。

Batch_size:這個(gè)默認(rèn)1就行。如果你是A100啥的,你這個(gè)就調(diào)高,1=23Gb的顯存。

save_steps:這個(gè)默認(rèn)就可以,但是如果你的數(shù)據(jù)就幾萬(wàn),你可以調(diào)小點(diǎn),比如:1000,默認(rèn)是100000,意思就是,每訓(xùn)練10000步,就會(huì)先保存一個(gè)階段性的模型。(如果你不想每10000步就保存一個(gè)模型,怕占用硬盤空間大,那就把這個(gè)值設(shè)置大一些,步伐模型保存是根據(jù)這個(gè)值保存的,設(shè)置10萬(wàn)步,則就跑完10條訓(xùn)練數(shù)據(jù)才保存一個(gè)步伐模型)

其他的參數(shù)都默認(rèn)就可以

選擇好你的模型保存路徑就行。

定制化模型:這個(gè)基本上不用選,這個(gè)是給大客戶定制的一些私有化預(yù)訓(xùn)練模型用的。

最后,點(diǎn)擊:預(yù)載模型(加載預(yù)訓(xùn)練模型)

不預(yù)載模型的話,是訓(xùn)練不了的,開(kāi)始訓(xùn)練的時(shí)候都需要根據(jù)自己的顯存預(yù)載對(duì)應(yīng)的模型(24Gb顯存就預(yù)載標(biāo)準(zhǔn)模型,低于24Gb顯存的顯卡就預(yù)載Small模型),預(yù)載模型需要從我們驗(yàn)證服務(wù)器上下載,時(shí)間需要長(zhǎng)一些,耐心等待加載完成就行。后面就預(yù)載后就很快。

預(yù)載完成后就可以點(diǎn)擊訓(xùn)練。

]]>
http://yunzou.com.cn/45511.html/feed 1
【新手必看教程】閃豚速寫軟件安裝教程以及CUDA和CUDNN安裝教程 http://yunzou.com.cn/45314.html http://yunzou.com.cn/45314.html#comments Thu, 08 Jun 2023 12:37:00 +0000 http://yunzou.com.cn/?p=45314 請(qǐng)注意:軟件安裝時(shí),一定不要安裝默認(rèn)路徑C盤,C盤系統(tǒng)有權(quán)限問(wèn)題會(huì)導(dǎo)致軟件出現(xiàn)異常!

首次安裝閃豚速寫軟件時(shí)候,需先安裝CUDA驅(qū)動(dòng)。(本文最下方有下載地址?。?/strong>

cuda_11.8

cudnn-windows-8.8.1.3

NVIDIA驅(qū)動(dòng)(顯卡驅(qū)動(dòng))請(qǐng)使用56x.xxx系列,不要使用最新的驅(qū)動(dòng),可能導(dǎo)致不兼容情況!

下面是安裝教程:

首先下載這兩個(gè)東西,(本文下方有下載鏈接,或自行去NVIDIA官網(wǎng)下載CUDA驅(qū)動(dòng)和CUDNN加速器)

先運(yùn)行cuda_11.8.0_522.06_windows.exe

這里可以直接默認(rèn),點(diǎn)擊OK

它就會(huì)自動(dòng)解壓這個(gè)安裝包的東西。

全程下一步,下一步就可以。

自動(dòng)解壓后,這就是安裝界面。點(diǎn)擊同意并繼續(xù)就行。

全部下一步。

安裝好了后,首先回到桌面,右鍵點(diǎn)擊電腦屬性,

找到:高級(jí)系統(tǒng)設(shè)置

點(diǎn)擊高級(jí),點(diǎn)擊環(huán)境變量

然后在你的系統(tǒng)變量里面,看有沒(méi)有CUDA的變量

如果有,就可以,不需要跟我一樣。你們安裝的是11_8。如果有就可以了。

然后這個(gè)解壓出來(lái)

把解壓出來(lái)的文件夾內(nèi)這里面所有的東西都復(fù)制一下。

復(fù)制到這個(gè)路徑下:

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8

覆蓋粘貼就行。這樣你的CUDNN也安裝好了。

然后就是正題了,安裝我們的閃豚軟件

先下載好我們的安裝包,雙擊運(yùn)行它就行。

可以點(diǎn)擊那個(gè)箭頭,就可以自己更換安裝目錄(一定不要安裝在默認(rèn)路徑C盤,自行更換路徑)

默認(rèn)是安裝到:C:\Program Files (x86)\ShanTunAI\

建議系統(tǒng)安裝到500G的空余硬盤上?;蛘邔iT拿塊硬盤留給閃豚AI軟件使用。因?yàn)樯婕澳P陀?xùn)練等,會(huì)很占用磁盤空間。

安裝前,請(qǐng)先看《軟件許可及服務(wù)協(xié)議》,如不同意,則請(qǐng)不要使用,如安裝使用,就默認(rèn)同意我們的許可和協(xié)議!

選擇好路徑后,就點(diǎn)擊一鍵安裝就可以了。

就會(huì)自動(dòng)安裝。

安裝完,就可以點(diǎn)擊開(kāi)始使用了。

安裝完成,就可以打開(kāi)軟件,注冊(cè)軟件賬戶和激活,官網(wǎng)賬戶與軟件賬戶不互通,需要單獨(dú)注冊(cè)軟件賬戶。

下載權(quán)限
查看
  • 免費(fèi)下載
    評(píng)論并刷新后下載
    登錄后下載
  • {{attr.name}}:
您當(dāng)前的等級(jí)為
登錄后免費(fèi)下載登錄 小黑屋反思中,不準(zhǔn)下載! 評(píng)論后刷新頁(yè)面下載評(píng)論 支付以后下載 請(qǐng)先登錄 您今天的下載次數(shù)(次)用完了,請(qǐng)明天再來(lái) 支付積分以后下載立即支付 支付以后下載立即支付 您當(dāng)前的用戶組不允許下載升級(jí)會(huì)員
您已獲得下載權(quán)限 您可以每天下載資源次,今日剩余
]]>
http://yunzou.com.cn/45314.html/feed 1
閃豚速寫AI新產(chǎn)品效果演示視頻 http://yunzou.com.cn/44877.html http://yunzou.com.cn/44877.html#comments Mon, 05 Jun 2023 07:02:17 +0000 http://yunzou.com.cn/?p=44877 ]]> http://yunzou.com.cn/44877.html/feed 5 找找鋪?zhàn)覣I-CPM適配的Windows系統(tǒng)推薦Win10?21H2??Business?Editions?下載 http://yunzou.com.cn/36356.html http://yunzou.com.cn/36356.html#comments Fri, 21 Oct 2022 11:22:56 +0000 https://www.pongyu.com/?p=36356
系統(tǒng)版本發(fā)布時(shí)間文件大小下載地址
Win10 21H2Business Editions2022-03-155.4GBBT迅雷下載
magnet:?xt=urn:btih:c670eba3068e8de922fdc46099be6def088585aa&dn=zh-cn_windows_10_business_editions_version_21h2_updated_march_2022_x64_dvd_63c593c1.iso&xl=5793814528

激活密鑰

專業(yè)版、家庭版:VTNMT-2FMYP-QCY43-QR9VK-WTVCK

專業(yè)版 安裝密鑰:VK7JG-NPHTM-C97JM-9MPGT-3V66T

專業(yè)版 激活密鑰:W269N-WFGWX-YVC9B-4J6C9-T83GX

這些密鑰收集自網(wǎng)絡(luò),或許不能用,請(qǐng)自行淘寶、百度或購(gòu)買正版?。?!

激活方法

以專業(yè)版為例,在開(kāi)始按鈕處右鍵 – PowerShell(管理員),依次粘貼下列三行內(nèi)容,并回車:

slmgr /ipk W269N-WFGWX-YVC9B-4J6C9-T83GX
 
slmgr /skms zh.us.to
 
slmgr /ato

注意事項(xiàng)

鏡像文件可以用來(lái)升級(jí)你目前的系統(tǒng)或重裝系統(tǒng)!雖然安裝時(shí)可以選擇保留你C盤的個(gè)人文件,但微軟也有出錯(cuò)的時(shí)候,為了保險(xiǎn),請(qǐng)盡量備份個(gè)人文件;為了防止安裝過(guò)程中發(fā)生停電、地震等不可抗因素,導(dǎo)致無(wú)法進(jìn)入系統(tǒng),新手在安裝前必須安裝PE系統(tǒng)?。?!

如果你是正版系統(tǒng),請(qǐng)?jiān)诎惭b系統(tǒng)前備份你的密鑰。

本站僅提供官方鏡像下載,不提供盜版,安裝過(guò)程如造成數(shù)據(jù)丟失或其它因素,均和本站無(wú)關(guān),一切責(zé)任自負(fù)!

安裝演示

將鏡像文件下載到非C盤,下載完成后,右鍵 – 打開(kāi)方式 – 選擇你電腦上的解壓軟件

(如果你沒(méi)安裝解壓縮軟件,請(qǐng)下載WinRAR)

將里面的文件全選,解壓到非C盤且非文件夾內(nèi),比如:D:\

解壓后,找到解壓出來(lái)的 setup.exe,運(yùn)行:

運(yùn)行后根據(jù)里面的文字提示操作:

遇到一切服務(wù)條款均接受或同意:

會(huì)提示是否保留你C盤內(nèi)的個(gè)人文件,請(qǐng)根據(jù)個(gè)人需求選擇:

選擇后即可開(kāi)始安裝:

(由于我個(gè)人文件全在D盤,所以一般重裝系統(tǒng)我都選擇的刪除所有C盤文件)

進(jìn)入安裝界面,期間會(huì)自動(dòng)重啟:

重啟后進(jìn)入安裝:

安裝完成后進(jìn)入?yún)^(qū)域設(shè)置界面,默認(rèn):

鍵盤默認(rèn)選微軟拼音:

提示是否需要第二種鍵盤布局,選擇跳過(guò):

選擇針對(duì)個(gè)人使用:

下面這個(gè)比較重要,很多人沒(méi)有微軟的賬戶,我們就選擇脫機(jī)賬戶:

微軟會(huì)不死心的再次提示你是否轉(zhuǎn)而用微軟賬戶,這提示太雞肋了,我們選擇否:

輸入你的用戶名:

輸入一個(gè)簡(jiǎn)單點(diǎn)兒的密碼:

后面的默認(rèn)都選是或接受:

設(shè)置后稍等數(shù)分鐘會(huì)自動(dòng)進(jìn)入系統(tǒng):

]]>
http://yunzou.com.cn/36356.html/feed 1