深度学习吧
关注: 15,123 贴子: 25,455

探讨深度学习算法及理论

  • 目录:
  • 软件及互联网产品
  • 1
    训练慢,很多人第一反应是卡不够。实际上先卡住的经常是数据读取,尤其是数据集放在网络存储上、每轮都要重新读一遍的时候。 先算一个数:把数据集大小除以一轮要花的时间,就是最低需要的读带宽。比如数据集 500G,一轮要跑一小时,平均下来至少 140MB/s 才能不拖后腿,还没算上多卡同时读的放大。 万兆网的实际上限大约 1200MB/s,但这是指总带宽,八张卡同时读就按八分之一算。算下来每卡能分到一百多兆,勉强够,一旦有人同时写日志、
  • 57
    有的话求拉,如果没有的话,那我想要创建一个了,学习交流用,主要用来分享技术和行业资讯,本人已入门,希望在进阶路上能和志同道合的伙伴携手同行,一起加油!私我加V
    潦草律师 17:31
  • 83

    广告
    22:00
    不感兴趣
    开通SVIP免广告
  • 0
    Steel Surface Defect Detection with the Efficient-Net Backbone in YOLOv8 这篇论文在摘要中声称在neudet数据集做到了mAP:50-95达到99%,这玩意真能做到吗
  • 1
    机器学习,人工智能,Java,springboot ,vue,课题
    码上迭代 09:46
  • 0
    很多人在报配置的时候,把 70B 模型的显存算成 140G,也就是权重乘以二。按这个数去选卡,上线之后八成会 OOM。显存不是只有权重一块。 第一块,权重本身。FP16 下 70B 大约 140G,这是基础,跑不掉。 第二块,KV cache。这是最容易漏的一块。它的占用跟上下文长度、并发数成正比,公式大致是:层数 × 2 × 隐藏维度 × 序列长度 × 并发数 × 精度字节数。实际感受是,上下文从 4K 拉到 32K,KV cache 能翻到几十 G 甚至上百 G。并发开 8 路和开 1 路,这块差
  • 1
    报配置前先算显存,不然报小了跑不起来,报大了白花钱。 粗算方式:权重按参数量乘每参数字节。int8 下 7B 约 7G,13B 约 13G,32B 约 32G,70B 约 70G。fp16 翻一倍。再留 KV cache:和 batch、上下文长度、层数正相关,长上下文场景这部分能吃掉十几 G。再留 20% 左右给框架和碎片。 所以:7B int8 短上下文,12G 勉强、24G 舒服;13B int8,24G 够;32B int8,需要 48G 以上或双卡;70B,单卡放不下,得双卡 48G 乘 2 或八卡整机。 对应的可租规格(单卡月租,以实际配
  • 5
    机器学习,大数据,人工智能,Java,springboot ,vue,课题
    码上迭代 11-10
  • 0
    【S-深度睡眠2】网盘链接,免费分享 家人们刚找到这款S-深度睡眠2,亲测可用无毒绿色免安装中文版,解压即玩。 网盘链接(复制链接,删去删字即可打开) http删s://pan删.xunlei删.com/s/VP5mrmVC9e4gYL4aY0RBBMzIA1
  • 79

    广告
    21:54
    不感兴趣
    开通SVIP免广告
  • 0
    最近帮人挑租用配置,发现一个挺有意思的档位:1张3090月租950元,1张4090月租1050元,差价只有100块。但两者的FP16算力是285 TFLOPS对660 TFLOPS,翻了一倍多。 差价这么小,纠结的人反而不多:预算到1000块这一档,基本都直接上4090。原因很实在——同样24G显存,跑13B量化推理要的是吞吐和响应速度,4090在长上下文和高并发下掉速更慢,出图的迭代次数也明显更多。 那什么时候3090更合适?如果你的活儿是低并发、单请求、跑通就行的那种,比如模型选型
  • 1
    训练跑起来卡利用率只有三成,大多数人第一反应是加卡。实际多数情况不是算力不够,是数据喂不上。 一、先确认是不是在等数据。看卡利用率曲线,如果周期性从高位掉到接近 0 再爬回来,基本就是在等一个 batch。稳定的高位波动才是真的算力不足。 二、本地盘类型影响很大。SATA SSD 顺序读几百兆每秒,NVMe 能到 GB 级,随机小文件读的差距更夸张。训练数据放机械盘是最容易犯的错。 三、数据格式比硬盘更关键。几万张散图直接读,IO 次数会把
  • 0
    大家好,我是做深度学习方向的,平时帮人调代码、跑模型,顺手分享点经验。 经常有同学问我:GitHub 上的代码 clone 下来跑不通、环境装不上、 报错看不懂、想改网络结构不知道从哪下手。 这些其实都有套路,一般几分钟就能定位。 【能搞的方向】 - 图像分类:VGG、ResNet、MobileNet、EfficientNet - 目标检测:YOLO 系列(v5~v11)、RCNN 系列、车牌识别、烟雾检测 - 人脸:检测、识别、关键点、表情识别 - 分割:U-Net、医学影像、DICOM 数据处理 - 其他:语音
  • 2
    用大模型进行发动机剩余寿命预测时候,验证集的rmse数值在9到10之间。但是测试集的rmse在 13甚至更大,有没有什么方法可以改善,或者相关的论文
  • 0
    整理了一套深度学习集训营第三期的视频课程,一共六个阶段,讲得比较系统。 前半部分主要是理论和基础模型,从神经网络原理、CNN/RNN/LSTM讲到计算机视觉的物体检测,再到自然语言处理的word2vec、文本分类这些;后半部分进入进阶应用,有BERT、生成对抗网络、推荐系统,最后还有几个实战项目,比如NLP文本分类系统、电商推荐实战之类的。 整体来看,这套课程适合有一定编程基础、想系统入门深度学习并往CV或NLP方向落地的同学,理论结合项目
  • 0
    整理了一套深度学习图像识别原理的教学课程,主要围绕卷积神经网络和现代目标检测方法展开,适合想系统学习计算机视觉方向的同学。 课程分五个章节,从CNN基础原理讲起——卷积层计算、权重共享、池化操作、Padding填充模式和LeNet5架构都有覆盖;然后是CNN优化技术,包括Dropout、数据增强、梯度消失缓解、VGG和AlexNet结构,还有SGD和Adam优化器;接着是经典网络算法,Keras框架使用、VGG16微调、Inception、ResNet残差网络、DenseNet和MobileNet都讲到;后面
  • 19

    广告
    21:48
    不感兴趣
    开通SVIP免广告
  • 0
    【深度搜索_5.4最新免费版】网盘链接,免费分享 家人们刚找到这款深度搜索_5.4最新免费版,亲测可用无毒绿色免安装中文版,解压即玩。 网盘链接(复制链接,删去删字即可打开) http删s://pan删.quark删.cn/s/42e6245b8497
  • 26
    灵魂设计的路与坑,看后更懂灵魂,你也能理解,因人人多有个大脑,人人多可以感知自己条件反应背后的因果机制 - - 吧主别删帖,我没发广告,也没骂人,就发一点自己的小发现。不能因为我的观点不符合主流观点,就把我的帖删了。而人工灵魂恰恰是人人多可以研究,因人人多有个脑子,人人多可以感知自己反应的前因后果。 就好有人说铁比水重,然后认为让铁浮在水上就是一派胡言。那样就造不出轮船了。 有比如有人说能让几十吨重的金属
    天亮p2p 11-3
  • 0
    一般神经网络都可以拟合公式,比如一般公式无法拟合的情况下,bp神经网络拟合公式,经常可以拟合度非常高,
    大海96 11-2
  • 0
    大数据思维与应用攻略 王崇骏 / 机械工业出版社 / 2016-7 链接: pan.baidu.com/s/1dtFrUI0ZKq8fqvxSFrHNDg?pwd=38nr 提取码: 38nr 本书的整体行文是基于“说些历史、话些故事、聊些技术、谈些思考”这样的思路展开的。全书共有13章,逻辑上分为四个部分:第一部分尝试对“数觉→数→数据→大数据”历史脉络进行梳理并陈述社会各界迎接和拥抱“大数据”的若干事实;第二部分尝试从技术实现和部署实施的角度厘清大数据技术流程,并从多个视角和层面阐述各个环
  • 17
    机器学习,大数据,人工智能,Java,springboot ,vue,python课题
    码上迭代 10-29
  • 2
    我在vscode上用git clone下载ultralytics,明明和pyproject就在同一个文件夹里,为什么一直显示找不到pyproject
  • 20

    广告
    21:42
    不感兴趣
    开通SVIP免广告
  • 0
    数据集5w+,训练4w,测试1w,imgsz640,worker8,剩下默认,没跑几轮训练电脑内存就满了结果训练失败了,模型是yolo26n,是什么原因啊
    k三 10-24
  • 0
    最近整理了一套完整的深度学习图像识别课程,从卷积神经网络基础到Faster R-CNN现代目标检测算法都有覆盖,总共44个视频讲座加上配套PDF文献,容量约4.3GB。 课程内容分五个章节: 第一章讲解CNN原理,包括卷积层计算、池化操作、Padding填充等基础知识;第二章深入网络优化,涵盖Dropout、数据增强、梯度消失解决方案以及各类优化器(SGD/Momentum/Adam等);第三章详细介绍VGG、Inception、ResNet、DenseNet、MobileNet等经典架构;第四章讲古典目标检测方法;第
  • 3
    rt,ip985,课题组做的是ai+深度学习+地表水的,关于径流,降水预报之类的。现在想转码,转哪个方向比较好呢?目前只学习了吴恩达的机器学习和一点点python,求引路 这个dy上的排名真吗
  • 1
    研一,最近在忙着做实验,常复现论文代码,在做实验的过程中发现一个现象,以训练1000轮为例,我使用论文作者自己提供的数据集的时候,模型权重往往在1000轮中会更新很多次,但使用了我自己的数据训练模型后,往往在前200轮更新为最佳权重后,后面的训练对效果没有提高,这是为什么呢,是我数据集的问题,还是学习率等参数没有对应修改的原因?希望有大佬解答?
  • 0
    涌现 : 从混沌到有序 [美]约翰·霍兰德 / 陈禹、方美琪 / 浙江教育出版社 / 2022-4 链接:pan.baidu.com/s/13yysjnkAHYH3vPn8eWGXRQ?pwd=x9jd 提取码: x9jd ★ 一粒小小的种子为何能够长成红杉、雏菊、豆苗等独具特色的植物? ★ 蚂蚁个体的行为非常机械,为何蚁群却展现出非凡的灵活性? ★ 国际象棋只有二十几条规则,为何人们能不断发现新的走法? ★ 机器为何能够越人类在制造它时赋予它的能力? 上述现象揭示了这样一个规律,即复杂的事物是由小而简单的事
  • 4
    各位大佬们,我想问下,我最近进组了,负责深度学习模型的训练,要我学着部分的内容,不知道要怎么学。现在也是在ai的帮助下弄了个mnist这个项目。但整个流程都是在ai的帮助下的(基本上是ai叫我干什么,把代码给我)这样,我感觉这好像没啥用,无法达到任务要求。
    源自酷酷 10-18
  • 1

    广告
    21:36
    不感兴趣
    开通SVIP免广告
  • 0
    侦探AI [日] 早坂吝 / 东惠子 / 新星出版社 / 2020-9 链接:pan.baidu.com/s/15DR8W-aGX5XpXQ6X0AK0gw?pwd=un69 提取码: un69 ★着火的密室,坠落的斑马,虚拟空间的正邪对决 ★再诡异的案件,也找得到思路清奇的解答 ★早坂吝 第五十届梅菲斯特奖得主 日本推理文坛新生代主力军 ★备受读者期待 中文版初次译介 内容介绍 人工智能领域的天才学者合尾创不幸被一场大火吞噬。他给儿子合尾辅留下了两个AI——侦探相以与犯人以相。以相专职犯罪,相以则破解案件真相
  • 1
    深度学习,加模块后训练变得特别慢,从三小时增加到六个小时,是不是就不满足轻量化和实时了啊?还是要等训练完后,自己实际去测试模型呢?就从训练时间变长这个现象能不能看出点什么呀?
  • 0
    失序 : 机器人时代与全球大变革 [美]理查德·鲍德温(Richard Baldwin) / 朱海燕 / 中信出版集团 / 2021-4 链接:pan.baidu.com/s/1C0L2aniogMgA5LaEVaU3gA?pwd=87cr 提取码: 87cr 全球化进入4.0时代,智能技术正以更个体化、更猛烈、更不可控、不可预测的特点席卷全球,引发大变革。 机器人可以取代人工客服吗?一家美国公司可以完全依赖雇用外国员工吗?白领也会面临失业冲击吗?全球化研究资深专家理查德·鲍德温认为,伴随着机器人时代的到来,以及通信壁垒、语
  • 0
    词元经济:智能时代的产业革命与范式跃迁 刘勇 等 / 电子工业出版社 / 2026-8 链接:pan.baidu.com/s/1rLnZJl98ZyKbCO4HCA7_kw?pwd=casq 提取码: casq AI技术的快速发展推动数字经济迈向高阶形态,词元经济成为智能时代全新的经济范式,其价值量化、效率提升的特性为产业发展带来新机遇。本书从理论、实践、趋势三大维度,系统解析词元经济的核心内涵、经济学规律与商业创新逻辑,梳理其产业链上中下游的商业机会与发展痛点,同时研判行业风险、预测市场趋
  • 0
    最优化导论 : 第四版 Edwin K. P. Chong、Stanislaw H. Zak / 孙志强、白圣建、郑永斌、刘伟 / 电子工业出版社 / 2015-10 链接:pan.baidu.com/s/1uaHmR8VC0kDeBxOgv5-1SQ?pwd=586p 提取码: 586p 本书是一本关于最优化技术的入门教材,全书共分为四部分。第一部分是预备知识。第二部分主要介绍无约束的优化问题,并介绍线性方程的求解方法、神经网络方法和全局搜索方法。第三部分介绍线性优化问题,包括线性优化问题的模型、单纯形法、对偶理论以及一些非单纯形法,简单
  • 9

    广告
    21:30
    不感兴趣
    开通SVIP免广告
  • 0
    枪械设计与制造 龚艳德 链接:pan.baidu.com/s/1apliULf7Zhsk8IPD99lO7w?pwd=a4ja 提取码: a4ja
  • 0
    梳毛、八卦及语言的进化 [英] 罗宾·邓巴 / 区沛仪、张杰 / 电子工业出版社 / 2022-11-15 链接:pan.baidu.com/s/1nHNOIayD7TDuCbywDBVTUw?pwd=5ipi 提取码: 5ipi 在咖啡馆或酒吧的时候,有没有花点时间听听你邻桌的谈话? 如果有过的话,你会发现:他们三分之二的对话都是些生活琐事、爱恨情仇。 我们发明了“语言”这种神奇的东西,却为何又将它大材小用? 在《梳毛、八卦及语言的进化》这本书中,邓巴教授给出了解释:“语言进化是为了让我们更好地闲聊八卦
    耘绿少c 10-12
  • 0
    这套深度学习与OpenCV核心技术课程共18个视频,系统覆盖了从基础到应用的全链路内容。 课程结构清晰: - PART1 从计算机视觉基础讲起,逐步深入到中阶CV、经典机器学习算法; - PART2 重点讲解神经网络与反向传播原理、CNN卷积神经网络的原理/应用/实战细节,以及CUDA编程加速; - PART3 聚焦实际应用:图像分类、两阶段与一阶段目标检测、图像分割、目标跟踪,最后以知识点总结收尾。 适合想要系统掌握深度学习CV管线、理解CNN底层原理并进阶CUDA优化
    太丰富 10-12
  • 0
    演化 : 从单细胞生物到现代人类 [英]理查德·索斯伍德 / 朱丹 / 世界图书出版公司 / 2024-5 链接:pan.baidu.com/s/1frHkopmzwbB4r9Bjwtms3A?pwd=3ct2 提取码: 3ct2 生命如何出现?海洋生物登上陆地要面对哪些挑战?植物为何能占领陆地?恐龙为何灭绝?我们都是“非洲夏娃”的后代吗? 本书讲述了地球从诞生至今其上所有的生命形式。从最初、最简单的生命形式开始,我们可以饱览地球历史上主要生物类群的演化进程。大陆板块运动、海平面升降和大小冰期等环
    丹水千21 10-10
  • 1
    求助!!!胰腺肿瘤分割模型该怎么优化,目前用nnunet训练的dice只有0.49,怎么加模块效果都不好
    朔望月 10-9
  • 0
    最近在做图文多模态cv方向的实验,想在师兄的基础上再做一步实现图文多模态模型到单图像模型的跨模态轻量化蒸馏,但是尝试了多种蒸馏,结果一直不佳,问ai说是没有学到真正有价值的样本,这些和主动学习寻找有价值样本可以交叉吗?感觉很迷茫有无大佬指点
    朔望月 10-9
  • 20

    广告
    21:24
    不感兴趣
    开通SVIP免广告
  • 0
    资料链接:网盘链接 📖 书籍介绍:《深度学习入门:基于 Python 的理论与实现》是斋藤康毅所著的经典入门书,从零开始、不依赖现成框架地讲解神经网络与深度学习的核心原理,用 Python 手写实现感知机、反向传播、CNN 等,语言通俗、代码清晰,是公认的深度学习入门首选读物,适合想真正理解原理的初学者。 适合按目录循序学习,需要的先保存。
  • 12
    接触 DL 一段时间了,但还没尝试过经典的 MNIST 手写数字识别。开个贴记录我的尝试。 数字 “0” 镇楼。
  • 0
    【资源推荐】打造自媒体高效运营攻略探索AI赋能自媒体新纪元,从写作技巧到AI工具应用,深度解析如何提升内容质量与效率。学习SEO优化策略,掌握多平台运营技巧,让你的内容触达更广受众。RPA自动化工具,助力自媒体流程自动化,节省时间提升工作效率。赶快加入训练营,开启你的自媒体高效运营之路!快来了解吧! 🔗 夸克网盘:网页链接 提取码:2A59 有问题评论区留言,看到都会回~
    帕顿果4 10-5
  • 0
    最近整理了一套非常系统的深度学习课程,分享给吧友们! 课程共100个视频,完整覆盖了算法工程师需要掌握的核心知识体系,特别适合想系统学习深度学习的朋友。 课程结构非常清晰,从数学基础(线性代数、微积分、概率论)讲起,然后是环境搭建(CUDA、Anaconda、PyTorch),接着深入神经网络原理、多层感知机、反向传播等核心概念。之后进入各大网络架构的学习:卷积神经网络(LeNet/AlexNet/VGG/ResNet/DenseNet)、循环神经网络(RNN/LSTM/GRU)、注意力
  • 2
    图中全连接层采用ReLU激活函数(输出非负),最终输出层还能用线性变换输出负值吗?如果可以那这个线性变换需要像ReLU一样用方框画出吗?还是箭头就可以表示呢? 我想请教一下大家,在深度学习领域,是不是箭头就可以代表线性变换呢?换句话说,图中这个结构,输出d^可能是负的吗? 因为本人不是该领域的,目前正在修改师兄的期刊论文,师兄跑路了连导都联系不上,只好请教一下强大的网友 GRU结构如图,一开始我只喂图给Deepseek和豆包,询问
  • 0
    【完结29章】Agent 工程化+ AI 编程深度实战营
    jxjrsj 9-30
  • 70

    广告
    21:18
    不感兴趣
    开通SVIP免广告
  • 1
    想微调但只有一张卡,唯一的路就是参数高效微调。这两个名字容易混,区别其实一句话: LoRA不改原权重,在旁边挂两条低秩矩阵,只训这两条小的,显存省一大截,效果接近全参微调。 QLoRA是再往前一步:先把基座模型量化成4bit,再在上面挂LoRA。同一张卡,能带动的模型规模又大了一档,代价是训练慢一点、精度有一点点损失。 实操上几个点值得记:秩不是越大越好,跑到一定程度收益就平了;学习率要比全参微调高一档;数据集质量比条数重
    夜墩布 9-30
  • 1
    请问零基础想系统学习深度学习,该怎么学,求各位大佬给些建议
    火彤 9-29
  • 0
    求助:为什么语义分割segformer跑30轮预测集分数达到了81,但是测试集分数69.01,在16轮预测集78,测试集分数却能达到69.8同样我将b4换成b5后,b5前面几轮分数高于b4.但是刚好在16轮的时候分数又被反超 不知道是不是过拟合问题,我尝试过加入droupout 0.1,但是效果并不好,并没有解决过拟合 同样我在16轮结束后,0学习率EMA平滑了5轮,预测集分数涨了1.5,但是测试集却下降了0.5
  • 0
    各位吧友,分享一波深度学习集训营第3期的完整课程资源。 这套课程共六个阶段,从数据科学比赛引入神经网络基础,系统讲解CNN/RNN/LSTM原理;第二阶段专注计算机视觉中的物体检测;第三阶段深入NLP,涵盖词袋模型、word2vec、文本分类与图像生成文本;第四阶段进阶学习BERT预训练模型、GAN生成对抗网络以及推荐系统应用;第五阶段进入实战项目,包括NLP文本分类、CV专项项目和电商平台推荐;第六阶段还有卷积/循环神经网络预习课,以及人体姿态

  • 发贴红色标题
  • 显示红名
  • 签到六倍经验

赠送补签卡1张,获得[经验书购买权]

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频!

本吧信息 查看详情>>

会员: 大佬

目录: 软件及互联网产品