欧美阿v视频在线大全_亚洲欧美中文日韩V在线观看_www性欧美日韩欧美91_亚洲欧美日韩久久精品

主頁 > 知識庫 > Pytorch訓練網絡過程中loss突然變為0的解決方案

Pytorch訓練網絡過程中loss突然變為0的解決方案

熱門標簽:唐山智能外呼系統一般多少錢 白銀外呼系統 海南400電話如何申請 哈爾濱ai外呼系統定制 陜西金融外呼系統 公司電話機器人 激戰2地圖標注 廣告地圖標注app 騰訊外呼線路

問題

// loss 突然變成0
python train.py -b=8
INFO: Using device cpu
INFO: Network:
        1 input channels
        7 output channels (classes)
        Bilinear upscaling
INFO: Creating dataset with 868 examples
INFO: Starting training:
        Epochs:          5
        Batch size:      8
        Learning rate:   0.001
        Training size:   782
        Validation size: 86
        Checkpoints:     True
        Device:          cpu
        Images scaling:  1
    
Epoch 1/5:  10%|██████████████▏                                                                                                                            | 80/782 [01:3313:21,  1.14s/img, loss (batch)=0.886I
NFO: Validation cross entropy: 1.86862473487854                                                                                                                                                                  
Epoch 1/5:  20%|███████████████████████████▊                                                                                                            | 160/782 [03:3411:51,  1.14s/img, loss (batch)=2.35e-7I
NFO: Validation cross entropy: 5.887489884504049e-10                                                                                                                                                             
Epoch 1/5:  31%|███████████████████████████████████████████▌                                                                                                  | 240/782 [05:4111:29,  1.27s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  41%|██████████████████████████████████████████████████████████                                                                                    | 320/782 [07:4909:16,  1.20s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  51%|████████████████████████████████████████████████████████████████████████▋                                                                     | 400/782 [09:5507:31,  1.18s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  61%|███████████████████████████████████████████████████████████████████████████████████████▏                                                      | 480/782 [12:0205:58,  1.19s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  72%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋                                        | 560/782 [14:0404:16,  1.15s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 640/782 [16:1102:49,  1.20s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 720/782 [18:2101:18,  1.26s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 736/782 [19:1701:12,  1.57s/img, loss (batch)=0]
Traceback (most recent call last):
  File "train.py", line 182, in module>
    val_percent=args.val / 100)
  File "train.py", line 66, in train_net
    for batch in train_loader:
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 819, in __next__
    return self._process_data(data)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 846, in _process_data
    data.reraise()
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/_utils.py", line 385, in reraise
    raise self.exc_type(msg)
RuntimeError: Caught RuntimeError in DataLoader worker process 4.
Original Traceback (most recent call last):
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/worker.py", line 178, in _worker_loop
    data = fetcher.fetch(index)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/fetch.py", line 47, in fetch
    return self.collate_fn(data)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 74, in default_collate
    return {key: default_collate([d[key] for d in batch]) for key in elem}
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 74, in dictcomp>
    return {key: default_collate([d[key] for d in batch]) for key in elem}
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 55, in default_collate
    return torch.stack(batch, 0, out=out)
RuntimeError: Expected object of scalar type Double but got scalar type Byte for sequence element 4 in sequence argument at position #1 'tensors'

交叉熵損失函數是衡量輸出與標簽之間的損失,通過求導確定梯度下降的方向。

loss突然變為0,有兩種可能性。

一是因為預測輸出為0,二是因為標簽為0。

如果是因為標簽為0,那么一開始loss就可能為0.

檢查參數初始化

檢查前向傳播的網絡

檢查loss的計算格式

檢查梯度下降

是否出現梯度消失。

實際上是標簽出了錯誤

補充:pytorch訓練出現loss=na

遇到一個很坑的情況,在pytorch訓練過程中出現loss=nan的情況

有以下幾種可能:

1.學習率太高。

2.loss函數有問題

3.對于回歸問題,可能出現了除0 的計算,加一個很小的余項可能可以解決

4.數據本身,是否存在Nan、inf,可以用np.isnan(),np.isinf()檢查一下input和target

5.target本身應該是能夠被loss函數計算的,比如sigmoid激活函數的target應該大于0,同樣的需要檢查數據集

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • 解決Pytorch半精度浮點型網絡訓練的問題
  • PyTorch梯度裁剪避免訓練loss nan的操作
  • pytorch訓練神經網絡爆內存的解決方案
  • Pytorch訓練模型得到輸出后計算F1-Score 和AUC的操作
  • pytorch加載預訓練模型與自己模型不匹配的解決方案
  • pytorch 如何使用float64訓練

標簽:常德 鷹潭 黔西 四川 惠州 黑龍江 上海 益陽

巨人網絡通訊聲明:本文標題《Pytorch訓練網絡過程中loss突然變為0的解決方案》,本文關鍵詞  Pytorch,訓練,網絡,過程中,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Pytorch訓練網絡過程中loss突然變為0的解決方案》相關的同類信息!
  • 本頁收集關于Pytorch訓練網絡過程中loss突然變為0的解決方案的相關信息資訊供網民參考!
  • 推薦文章
    欧美阿v视频在线大全_亚洲欧美中文日韩V在线观看_www性欧美日韩欧美91_亚洲欧美日韩久久精品
  • <rt id="w000q"><acronym id="w000q"></acronym></rt>
  • <abbr id="w000q"></abbr>
    <rt id="w000q"></rt>
    成人国产在线观看| 色综合激情久久| 欧美大胆人体bbbb| 亚洲图片自拍偷拍| 91麻豆国产福利精品| 成人免费黄色小视频| 欧美国产乱子伦| 国产成人高清视频| 日韩av片在线免费观看| 久久久久久久久久电影| 蜜桃一区二区三区四区| 在线观看日韩精品视频| 日韩一区二区在线免费观看| 天堂在线一区二区| 菠萝菠萝蜜网站| 日韩欧美中文字幕一区| 日韩福利电影在线| 人人妻人人澡人人爽人人精品| 日韩一区二区视频在线观看| 日韩精品三区四区| 久久国产精品无码一级毛片| 精品久久久影院| 黄网站免费久久| 日韩不卡av在线| 中文字幕二三区不卡| 粉嫩绯色av一区二区在线观看| 欧美做爰爽爽爽爽爽爽| 亚洲图片激情小说| 无码人妻一区二区三区免费n鬼沢| 欧美性猛交一区二区三区精品 | 阿v天堂2014| 国产三级一区二区| 国产精品乡下勾搭老头1| 日本免费网站视频| 日韩一区有码在线| 成人免费看片载| 日韩一级高清毛片| 国内外成人在线| 国产大片免费看| 艳妇臀荡乳欲伦亚洲一区| jjzzjjzz欧美69巨大| 日韩免费观看高清完整版| 精东粉嫩av免费一区二区三区 | 美国十次综合导航| 大吊一区二区三区| 日韩毛片在线免费观看| 怡红院一区二区| 欧美精品一区二区三区在线播放| 国产精品538一区二区在线| 色婷婷综合五月| 视频一区二区国产| 黄色av片三级三级三级免费看| 亚洲欧洲日产国码二区| 69亚洲乱人伦| 国产亚洲美州欧州综合国| 99久久精品国产观看| 91精品国产综合久久香蕉的特点| 国内一区二区在线| 欧美性受xxxx| 久久国产精品99精品国产| 午夜写真片福利电影网| 五月天国产精品| 最新日韩免费视频| 亚洲一卡二卡三卡四卡五卡| 色欲AV无码精品一区二区久久| 中文字幕人成不卡一区| 国产又粗又猛又色| 中文字幕不卡一区| 亚洲久久久久久| 欧美—级在线免费片| 日本天堂在线播放| 欧美韩国日本不卡| 精品人妻一区二区免费| 欧美国产日本韩| 亚洲精品女人久久久| 国产精品高潮久久久久无| 黄色网址在线视频| 中文字幕中文在线不卡住| 欧洲一级黄色片| 亚洲欧美一区二区三区孕妇| japanese中文字幕| 亚洲一区视频在线| 极品美妇后花庭翘臀娇吟小说| 三级在线观看一区二区| 免费黄色a级片| 国产精品久久久久影院老司| 亚洲欧美日本一区| 亚洲精品日日夜夜| 日韩精品久久久久久久的张开腿让| 亚洲国产精品久久久久婷婷884| jizzjizz日本少妇| 日韩影院免费视频| 在线观看亚洲a| 国产高清精品久久久久| 日韩午夜在线观看| 99国内精品久久| 国产日韩欧美a| 国产熟妇搡bbbb搡bbbb| 亚洲国产精品精华液网站| 外国一级黄色片| 国内成+人亚洲+欧美+综合在线| 欧美理论片在线| 白白色 亚洲乱淫| 国产欧美日韩不卡免费| 91精品人妻一区二区三区蜜桃欧美| 亚洲美女屁股眼交| 99久久99久久精品国产| 国产一区二区三区精品视频| 日韩欧美在线1卡| 国产艳妇疯狂做爰视频| 亚洲视频在线一区观看| 香蕉成人在线视频| 狠狠色综合色综合网络| 欧美成人精精品一区二区频| 白嫩情侣偷拍呻吟刺激| 一区二区成人在线观看| 91国产视频在线观看| 成人va在线观看| 国产精品久久久久久久久免费丝袜| 黄大色黄女片18免费| 久久成人麻豆午夜电影| 日韩欧美一区二区久久婷婷| 国产原创剧情av| 午夜电影网一区| 51精品视频一区二区三区| 影音先锋资源av| 亚洲图片欧美色图| 欧美日韩中文国产| 免费在线观看日韩av| 一区二区三区四区亚洲| 在线精品视频免费观看| 91亚洲男人天堂| 亚洲精选一二三| 欧美视频一区二区三区在线观看| 91浏览器入口在线观看| 亚洲精品视频一区二区| 欧美亚洲日本国产| 91亚洲一线产区二线产区 | 粗大的内捧猛烈进出视频| 亚洲男帅同性gay1069| 色综合久久久久综合体| 91蜜桃在线观看| 亚洲午夜久久久久中文字幕久| 欧美美女一区二区在线观看| 日批免费观看视频| 日韩国产欧美三级| 精品电影一区二区三区| 日本污视频网站| 豆国产96在线|亚洲| 亚洲色图制服丝袜| 欧美三级中文字| 亚洲中文字幕一区| 蓝色福利精品导航| 国产亚洲1区2区3区| 日本中文字幕免费在线观看| 99久久精品国产一区二区三区| 亚洲乱码国产乱码精品精的特点| 欧美日韩久久不卡| 大地资源二中文在线影视观看| 精品亚洲免费视频| 国产精品久久久久久久久免费桃花| 在线中文字幕一区二区| 亚洲天堂av网站| 久久99国产精品久久99果冻传媒 | 中文在线一区二区三区| 老司机精品视频线观看86| 日本一区二区三区电影| 日本国产一区二区| 中文乱码人妻一区二区三区视频| 精品一区二区在线视频| 国产精品久久久久久户外露出 | 一本色道久久综合精品竹菊| 少妇高潮一69aⅹ| 青娱乐精品视频| 中文字幕乱码久久午夜不卡| 在线一区二区视频| 538国产视频| 国产成人免费视频一区| 一区二区三区不卡视频在线观看 | 五月激情综合色| 久久综合中文字幕| 色偷偷成人一区二区三区91| 欧美丰满少妇人妻精品| 成人免费视频网站在线观看| 亚洲gay无套男同| 国产三区在线成人av| 欧美日韩情趣电影| 少妇太紧太爽又黄又硬又爽小说| 91麻豆国产福利精品| 精品影院一区二区久久久| 亚洲免费伊人电影| 精品国产sm最大网站| 91福利小视频| 国产午夜精品久久久久久久久| 女人扒开腿免费视频app| 久久超碰97中文字幕| 亚洲精品一二三| 久久久精品免费观看| 欧美日韩一级大片网址| 国产精品视频看看|