CY Blog

Thinking will not overcome fear but action will.

简易搜索引擎（二）

Python简易搜索引擎原理及实现（二）查询处理

Python简易搜索引擎原理及实现（二）查询处理 实现查询词条的与(AND)、或(OR)、与非(ANDNOT)操作，三种操作均通过Hash方法实现，即通过Hash表记录所需查询的词条在250篇文章中出现的次数： AND操作即$hash[i] == len(opt)$, OR操作即$hash[i] == 1$, ANDNOT操作即$hash[i] == 0$ 查询处理 对输入格式为：w...

Posted by CY on January 4, 2021

简易搜索引擎（一）

Python简易搜索引擎原理及实现（一）建立倒排索引

Python简易搜索引擎原理及实现（一）建立倒排索引 一、什么是倒排索引 在搜索引擎每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也已经转换为关键词ID），例如【文档1】经过分词，提取了20个关键词，每个关键词都会记录他在文档中的出现次数和出现位置。 得到正向索引的结构如下： “文档1”的ID > 单词1：出现次数，出现位置列表...

Posted by CY on January 3, 2021

Apache Hive 执行HQL语句报错

Hive执行HQL语句的时候出现了java heap不足的报错

# 故障描述 hive执行select count HQL语句时出现以下报错：（伪分布式环境下500w条数据） 报错显示 Error: Java heap space FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask # 原因分析 查资料说是因为...

Posted by CY on December 3, 2020

Federated Learning for Vision-and-Language Grounding Problems阅读笔记

这篇论文提出了一种联邦学习框架，可以从不同的任务中获得各种类型的图像表示，然后将它们融合在一起以形成细粒度的图像表示

论文主要工作 提出一种联邦学习框架，通过生成细粒度的图像表示，框架提高了在不需要共享下游任务数据的情况下vision-and-language grounding问题的性能 设计对齐、集成和映射网络【Aligning, Integrating and Mapping Net work (aimNet)】，在框架中实现了分布式模型，有效 自动地并将从图像提取出的视觉和文本特征转换成...

Posted by CY on October 26, 2020

Fancy Blog

主要是想记录一下在学习过程中看到的比较有用的博客

Faster R-CNN 残差网络 国外大佬的blog 自然语言处理中的Attention Model：是什么及为什么 Attention机制详解（二）——Self-Attention与Transformer 详解Transformer （Attention Is All You Need） 使用注意力机制给图片取标题（tf官方教程）

Posted by CY on October 26, 2020

关于”跳表“

刷题过程的一些总结~

以下文章来源于公众号【程序员小灰】 ，作者小灰 本文仅作为个人数据结构复习，如有侵权，请联系本文作者删除~ 😀 给定一个有序数组，如何根据元素的值进行高效率查找？ 🍒 二分查找：首先根据数组下标，定位到数组的中间元素，判断要查找的元素是否大于中间元素，若大于，再次定位到数组右半部分的中间元素，否则则定位到左半部分的中间元素，以此类推。 如果数组的长度是n，二分查找的时间复杂度是...

Posted by CY on August 26, 2020

DFS & BFS总结

刷题过程的一些总结~

网格结构中的DFS 摘自：公众号【面向大象编程】 网格问题基本概念/性质 DFS遍历方法与技巧 二叉树DFS基本结构 void traverse(TreeNode root) { // 判断 base case if (root == null) { return; } // 访问两个相邻结点：左子结点、右子结点 trav...

Posted by CY on August 16, 2020

Heterogenous Federated Learning via Model Distillation

FedMD将模型蒸馏运用于联邦学习，传递的是soft score，而不是梯度

回顾一下FedAvg算法流程： 每一轮迭代开始前，server随机选取部分clients - $max(C·K,1)$ ，将当前的全局模型参数分发给选中的客户端 client做参数初始化，在本地执行$E$个epoch的更新后，将更新后的参数上传给server，即下图的ClientUpdate算法 server按照下图红色框的方法计算参数的加权平均并更新 重复步骤1-3 ...

Posted by CY on August 8, 2020

Communication-efficient learning of deep networks from decentralized data

联邦学习开山之作之一，提出联邦学习经典算法：fedAvg

论文链接🔗 有关联邦学比较详细的介绍可以观看这个视频讲解👇 Federated-Learning-FAQ-浙大CS博士解读联邦学习

Posted by CY on August 8, 2020

Gitalk无法正常显示

配置Gitalk时容易遇到的小问题记录~

解决方案 这两天学习了 BY 的教程搭建了自己的博客，申请使用了Gitalk的评论功能，关于Gitalk的使用和配置大家可以参考别的教程，这里主要记录一个困扰我一晚上的问题——Error: Not Found. 1. 新建存放评论的仓库 新建一个仓库 启用Setting>Features>issues 2. _config.yaml 的配置 我遇到的第一...

Posted by CY on August 6, 2020

FEATURED TAGS
Git 终端 Deep Learning Blog Federated Learning LeetCode 搜索引擎 Reinforcement Learning
ABOUT ME

I am a slow walker
but I never walk backwards.

✉️ 826284647@qq.com