时间溢出的地方
0%

发表于 分类于 阅读次数： Valine：
本文字数： 2.5k 阅读时长 ≈ 2 分钟

ODPS 中的 SQL，与大部分平台的 SQL 基本是一样的，但可能已有一些差异。这里记录的一些内容，可能有的是通用的，有的是 ODPS 特有的，我也不是很清楚。自己在 ODPS 中使用 SQL 时，可能因为用法不熟悉而写一些很低效的语句，这个地方记录一些用法和技巧，以使应用更高效。

主要内容来自于《ODPS权威指南 阿里大数据平台应用开发实践》。

阅读全文 »

发表于 分类于 阅读次数： Valine：
本文字数： 1.6k 阅读时长 ≈ 1 分钟

本文记录学习 SQL 的笔记，主要是一些注意事项和技巧。

主要内容来自于《SQL 必知必会（第五版）》。

阅读全文 »

发表于 分类于 阅读次数： Valine：
本文字数： 7k 阅读时长 ≈ 6 分钟

我对深度学习中用到的几种 Normalization 的原理一直了解得不是很清晰，只有个模糊的概念。网上有很多文章介绍相关内容，但我觉得写的都不好，都是模模糊糊的套话，并没有真正深入解释，我们都知道要求均值求标准差，但具体是在哪些维度求呢，并没有讲清楚。很多人喜欢用何恺明在 Group Normalization 中作的一张图（如下），但这个图其实不好看懂，尤其对于本来就不甚清楚的人（就是我）来说。为了清楚这些 Normalization 的原理，我看了一下它们的实现代码，并根据代码自己画了一些示意图，还自己写了简单的实现代码与 PyTorch 中的 API 对比来验证我的理解的正确性。

本文只介绍了三种 Normalization: Batch Normalization, Layer Normalization, Group Normalization，还有一个 Instance Normalization 没有介绍，因为这个主要用在图像迁移里，对于大部分场合来说并不常用，所以我暂时也没打算去深入了解。

阅读全文 »

发表于 分类于 阅读次数： Valine：
本文字数： 8.2k 阅读时长 ≈ 7 分钟

这里只记录使用 torch.nn.parallel.DistributedDataParallel 进行多卡训练，使用 torch.nn.DataParallel 的方法已经不被 PyTorch 官方推荐了，因此不做赘述。

阅读全文 »

发表于 分类于 阅读次数： Valine：
本文字数： 11k 阅读时长 ≈ 10 分钟

本文简称 BYOL

论文标题：Bootstrap Your Own Latent A New Approach to Self-Supervised Learning

作者：Jean-Bastien Grill, Florian Strub, Florent Altché, Corentin Tallec, Pierre H. Richemond, Elena Buchatskaya, Carl Doersch, Bernardo Avila Pires, Zhaohan Daniel Guo, Mohammad Gheshlaghi Azar, Bilal Piot, Koray Kavukcuoglu, Rémi Munos, Michal Valko，来自 DeepMind 和 Imperial College

发表于 NIPS 2020

地址：arXiv, NIPS

参考代码：官方代码-TensorFlow, 第三方代码1-PyTorch, 第三方代码2-PyTorch

阅读全文 »

发表于 分类于 阅读次数： Valine：
本文字数： 1.9k 阅读时长 ≈ 2 分钟

今天我需要将这个博客从一台电脑迁移到自己的电脑，即以后我就换一台电脑写博客了，之前那台电脑就不再使用了。我搜索了一下怎么解决这个问题，看到很多方法说的都是在 GitHub 上的仓库新建一个分支，然后 pull 到另一台电脑。这个方法我想应该是可行的，但并不完全符合我的要求，我希望今后自己这台电脑就作为主力机器了，之前的电脑上没必要还保留。这样如果前一台电脑还维持着 maser 分支，而现在的电脑却只能使用新的分支，显然是不合适的。

当然我找到了解决办法，符合我需求的，参见这个链接：使用hexo，换了电脑怎么更新博客？

另外我找到一个知乎链接，跟这个是一模一样的，我觉得有可能是抄的：使用hexo，如果换了电脑怎么更新博客？ - skycrown的回答 - 知乎

总之我解决了自己的问题，现在做一下大致记录，以便以后还要这样做的时候有个参考。

阅读全文 »

发表于 分类于 阅读次数： Valine：
本文字数： 6.6k 阅读时长 ≈ 6 分钟

本文为通常所说的 SimCLR

论文标题：A Simple Framework for Contrastive Learning of Visual Representations

作者：Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton

发表于 ICML 2020

地址：arXiv

参考代码：GitHub，这是第三方代码（PyTorch），不是作者提供的 TensorFlow 代码

阅读全文 »

发表于 分类于 阅读次数： Valine：
本文字数： 1.1k 阅读时长 ≈ 1 分钟

ImageNet-1k 一般指 ILSVRC2012 的数据，1k 表示类别有 1000 个。

主页为：ILSVRC2012

可以看看到分为 3 个任务：

  • Task 1: Classification
  • Task 2: Classification with localization，这应该就是 Obeject detection 了
  • Task 3: Fine-grained classification，细粒度分类

下载页面为：ILSVRC2012

阅读全文 »