人生苦短,几十岁了还不行乐?

0%

笔者本科毕设做的是遥感图像分割相关的研究,当时采用的Potsdam数据集由于所有图像GSD(对地观测距离)固定且适中,因此将训练时的batch_size设置为了16,基本能满足每个批次中都包含所有地表要素的需求。然而NAIC2020数据集中包含的数据的GSD从0.1m-4m不等,0.1m的GSD意味着一张256x256的影像切片中甚至能够看到一根树干的轮廓,然而这也使得该切片包含的要素种类很少!以致于一个batch中的16张切片可能也无法包含所有的要素。
一旦batch训练数据无法包含所有要素,就使得当次训练结果对于未被包含的要素基本不具备识别能力,表现为第n次训练和第n+1次训练结果梯度变化很大,有点像拆了东墙补西墙;而限制了batch_size的最根本原因是GPU限制,本模型完全跑起来需要约9G显存(输入大小为[16,256,256,3],即16张256x256大小的RGB图像),服务器上的GPU仅有11G,虽然显存不大,但是GPU多呀,4块2080Ti现在只用了一块。
因此笔者考虑使用多GPU来增大batch_size,以此来使得每个batch训练的参数结果对所有要素都较为适配。

Read more »

使用C#实现的可重入非公平读写锁,主要目的实现并发读写以及读写同步问题。为了减少读等待时间以及防止出现写饥饿现象,本锁使用了非同步锁的实现,允许读优先(提高效率)的同时使用一个阈值限定读者的最大数量(防止写饥饿);重入机制允许某个线程可以获取锁多次(如多次函数调用导致的锁重入),每次获取都需要有对应的释放,否则会出错。

Read more »

概述

EntityFramework是一种对象关系映射器ORM,它使.NET开发人员能够使用.NET对象处理数据库。它消除了开发人员通常需要编写的大多数数据访问代码的需要。

Read more »

概述

ADO.NET提供对数据库如MySQLXML这样的数据源以及通过OLE DBODBC公开的数据源的一致访问。共享数据的使用方应用程序可以使用ADO.NET连接到这些数据源,并可以检索、处理和更新其中包含的数据。

Read more »

可达性分析算法

算法的基本思路是通过一系列称为GC Roots的对象作为起始点,从这些节点向下搜索,搜索所走过的路径称作引用链

Read more »

类加载机制

类加载机制个人认为是JVM中比较重要的一部分,因此在JVM系统学习之前就先学习了类加载机制的相关细节,以记之。

Read more »

垃圾回收器—GC

众所周知,Java中的GC负责回收无用对象占用的内存资源,但会有特殊情况:假定对象获得了一块”特殊”的内存区域(不是使用new创建的),由于GC只释放那些经由new分配的内存,所以GC不知道如何释放该对象的这块”特殊”内存区域。

Read more »

简介

本项目我们基于Stanford University中的Amazon Movie Comment数据,利用爬虫技术爬取了数十万的电影信息数据以及数百万计的电影评论数据,并通过搭建Neo4j图数据库、MySQL关系型数据库、Influx时序数据库及Hive分布式数据库对数据进行存储、分析及实现功能,同时对于部分功能需求针对这4种数据库进行效率对比分析。

Read more »