SimCSE完成情况

SimCSE完成情况

PS

• 🌞为顺利完成

• ☺️为休息一天

• 😦为尚未完成

日期	学习情况	完成度
4/27	1.学习拟合，过拟合，欠拟合基础含义以及对应解决方法，误差和Dropout等基础知识 2.逐字翻译论文摘要，详细理解摘要内容 3.输出两篇整理文章SimCSE（一）和SimCSE（二）	🌞
4/28	1.学习了SimCSE文章中Introduce章节，逐句翻译查看中英文，了解将相同的输入语句传递给预训练的编码器两次获取正对嵌入，使用in-batch negatives的方式作为负例，还需学习blog开篇知识点 2.看论文Contrastive Representation Learning对比表示学习，《Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere》。还需继续了解Alignment和Uniformity信息	🌞
4/29	1.学习了SimCSE文章中的Background章节，逐句翻译， 了解了它采用了两个参数x和x+，他两个是语义相关的， 利用h和h+对其训练，用h去表示他们的相关性。 将图像进行两次随机变换得到x和x+，我的理解是x是h计算过后的结果。 Alignment和uniformity是关键属性，一个来计算期望距离，一个来计算均匀分布程度。	🌞
4/30	1.学习了SimCSE文章中的Unsupervised SimCSE and supervised SimCSE章节，逐句翻译 2.实验结果很明显的可以看出，SimCSE是远超其余数据增强方法的。传统数据增强的方法是对原始输入直接进行改变，在编码后，增强的数据与原始数据在语义空间的距离是要比直接用dropout的方式要远,所以这样语义度更匹配，而且这种方法它可以让alingnment和uniformity的值逐渐降低，非常nice	🌞
5/1	CBA，辽宁队必胜！！！！！	☺️
5/2	休息，躺着，玩	☺️
5/3	休息，躺着，玩	☺️
5/4	1.学习了SimCSE文章中的Connection to Anisotropy章节，逐句翻译 2.安装pytroch包以及配置conda虚拟环境，以及各种库 3.看论文github代码，啥也不懂。。。。	😦
5/5	1.成功运行SimCSE GitHub代码，成功运行Evaluation评估代码，并下载好训练模型	🌞
5/6	1.整理一周所学论文知识点，汇总制作PPT 2.浏览智能对话诊疗评测比赛信息	🌞