PyTorch的DistributedDataParallel(DDP)可以实现多进程的并行计算,相较于传统的单进程多线程的DataParallel,DDP支持多节点的分布式计算。即使在单机多卡的场景下,DDP通常性能也更好,因为它不仅规避了Python多线程的全局解释器锁争用(GIL contention)造成的性能开销,而且还不需要在多GPU训练中频繁复制同步模型、分发输入数据和收集模型输出。

阅读全文 »

抽空学习Go语言。

阅读全文 »

Redis作为一款高效的键值型内存数据库,值得学习。本文梳理学习过程中的笔记。

阅读全文 »

HearyHTTPd进行压力测试。网上的压力测试工具很多,我测试了Apache benchmarkWebBench两款压力测试工具,并在台式机和实验室计算服务器上分别进行了压力测试,QPS分别约6400+、21000+和30000+。

阅读全文 »

以MySQL为准,复习SQL,记录增删改查操作、常用函数以及其他功能。本文SQL语句均在MySQL中实验。

阅读全文 »