shuming优美句子

shuming优美句子

1. 给我5本英文书的书名+优美句子

《twilight》 1 Yes, it is enough. Enough for forever. —Edward 是的，够了，永远够了 2 And how long have you been seventeen？ —Bella 你满17岁多久了 3 Edward Cullen is staring at you. —Jessica 爱德华 卡伦正在看着你 4 I don't care! You can have my soul. I don't want it without you—it's yours already！ —Bella 我不在乎，你可以拥有我的灵魂，我不想让它离开你，它已经是你的了 5 Are you still faint from the run? Or was it my kissing expertise？ —Edward 你仍然在阳光下感到眩晕吗，或是我的吻太专业了 6 I love you more than everything else in the world combined. Isn't that enough？ —Bella 我爱你胜过世界上的一切，这还不够吗 7 Twilight, again. Another ending. No matter how perfect the day is, it always has to end. —Edward 黄昏再次来临，一个新的结束，无论这天有多完美，它都将结束 8 You're talking about forever, you know. —Bella 你在说永远，你知道吗 9 That's the beautiful thing about being human. Things change. —Edward 开始人类生活是极好的。

事情变化了 10 I will stay with you — isn't that enough？ —Edward 我会和你呆在一起，这还不够吗 楼主，老实说，暮光之城是我最喜爱的书了，一定要看哦 第二本Christ and the antichrist 基督与反基督三部曲 从另一个角度诠释中世纪神权与皇权和科技人文的争斗 "I swear by the name of HeQiu," carlo cudicini, "said lotito takes me in Constantinople as an end, etc, also don't like big in this terrible place when the boss! Isn't it is life？ 第三本 傲慢与偏见 Affection is desirable,money is absolutely indespensable 第四本 The Last Templar-Raymond Khoury（最后的圣殿骑士） I am not alone 我不是孤身一人 第五本 达芬奇密码 Well, perhaps no evidence, not the grailThe only thing is, do you believe?He is a history of the great manA affect human personThus, evidence proves only theseBut when I was a little boyWhen I am in the water insideI think I would dieLet me live, let I can see my parentsTo go to schoolWith my dog can play together, sometimes I have very strangeWhy do humans and god must choose one second?Perhaps humanity is sacred 好吧，也许没有证据，没有圣杯 唯一重要的是，你相信什么？ 历史上耶稣是一个非常伟大的人 一个影响人类的人 就这样而已，证据只能证明这些 但当我是个小男孩的时候 当我在那个水井里面的时候 我以为我会死 让我活下来，让我能再见到我的父母 能再去学校 能再跟我的狗一起玩有的时候我都很奇怪 为什么人类和神非要二选一？ 也许人类就是神圣的。

2. 毕淑敏作品中的经典句子

幸福盲如同色盲，把绚烂的世界还原成了模糊的黑白照片。拭亮你幸福的瞳孔吧，就会看到被潜藏被遮掩被蒙昧被混淆的幸福，就如美人鱼一般从深海中升起，哺育着我们。——毕淑敏《幸福盲》

人生总是有灾难。其实大多数人早已练就了对灾难的从容，我们只是还没有学会灾难间隙的快活。我们太多注重了自己警觉苦难，我们太忽视提醒幸福。请从此注意幸福！幸福也需要提醒吗？——毕淑敏《提醒幸福》

一个人可以受过教育，但他依然是没有教养的。就像一个人可以不停地吃东西，但他的肠胃不吸收，竹篮打水一场空，还是骨瘦如柴。——毕淑敏《教养的证据》

幸福是个哑巴。

一些事情，当我们年轻的时候，无法懂得。当我们懂得的时候，已不再年轻。世上有些东西可以弥补，有些东西永无弥补。

爱怕沉默。太多的人，以为爱到深处是无言。其实，爱是很难描述的一种情感，需要详尽的表达和传递。——毕淑敏《爱怕什么》

磨砺内心比油饰外表要难得多，犹如水晶与玻璃的区别。

我喜欢爱读书的女人。书不是胭脂，却会使女人心颜常驻。书不是棍棒，却会使女人铿锵有力。书不是羽毛，却会使女人飞翔。书不是万能的，却会使女人千变万化。——毕淑敏《我所喜欢的女子》

人活着是为什么，自己快乐同时使别人快乐。

我羡慕流云的飞逝，嫉恨飞鸟的自由！

打人是个重体力活儿，它使人肩酸腕痛，好像徒手将一千块蜂窝煤搬上五楼。于是人们便发明了打人的工具：戒尺、鞋底、鸡毛掸子……——毕淑敏《孩子，我为什么打你》

淑女必书女

孝，是稍纵即逝的眷念。孝，是无法重现的幸福。孝，是一失足成千古恨的往事。孝，是生命与生命交接处的链条.一旦断裂，永无连接。

我不相信手掌的纹路，但我相信手掌加上手指的力量。如果你不能确定你往哪里走，那么此处就是你的葬身之地。——毕淑敏《心灵七游戏》

幸福并不与财富地位声望婚姻同步，这只是你心灵的感觉。

是的，我很重要。我们每一个人都应该有勇气这样说。我们的地位可能很卑微，我们的身份可能很渺小，但这丝毫不意味着我们不重要。重要并不是伟大的同义词，它是心灵对生命的允诺。——毕淑敏《我很重要》

有些中国人入了外国籍以后，标榜自己是个"香蕉人"，意思是自己除了外皮是黄色的，内心已变得雪白。而我是一个"芒果人"。——毕淑敏《芒果女人》

幸福不喜欢喧嚣浮华，常常在暗淡中降临.贫困中相濡以沫的一块糕饼，患难中心心相映的一个眼神。

优等的心，不必华丽，但必须坚固。——毕淑敏《造心》

在生和死之间，是孤独的人生旅程。保有一份真爱，就是照耀人生得以温暖的灯。——毕淑敏《爱怕什么》

岁月是流淌在血液里面的经历，是藏在心灵树洞里的故事。然而它也会轻易地从你的生活姿态里流露出来，并获得回应。只要你不再自卑，万物为之静好。

3. 加书名的优美句子 求解

《十年一品温如言》

1有些事，预见到，是一回事。若是，想要阻止，又是另外一回事。

2不多不少，刚巧知道。 不深不浅，恰是新知。

3宁愿用左脚的灵魂去拯救右脚的灵魂，却不敢轻易相信了别人。

4死生契阔，与子成悦，执子之手，与子偕老。这句话，虽然好听，却实在是天大的悲剧。尤其，只有一个人，妄想着天长地久。

5除非黄土白骨，我守你百岁无忧。

这本书里每句话我都很喜欢，文笔超好，最爱的一本。

其他的：

1如果世界上曾经有那个人出现过，其他人都会变成将就！而我不愿意将就。（何以笙箫默）

2你喜欢我，因为我是个不错的人， 但你爱他， 哪怕他是个错的人。（许我向你看）

3原来一个一无所有的人 想守护另一个一无所有的人，结局会是这样疼。（夏有乔木，雅望天堂）

4爱是一念之间，最幸福的不过就是，你曾温柔呼唤，而我恰好有过应答（黑白）

4. 给我5本英文书的书名+优美句子

《twilight》 1 Yes, it is enough. Enough for forever. —Edward 是的，够了，永远够了 2 And how long have you been seventeen？ —Bella 你满17岁多久了 3 Edward Cullen is staring at you. —Jessica 爱德华 卡伦正在看着你 4 I don't care! You can have my soul. I don't want it without you—it's yours already！ —Bella 我不在乎，你可以拥有我的灵魂，我不想让它离开你，它已经是你的了 5 Are you still faint from the run? Or was it my kissing expertise？ —Edward 你仍然在阳光下感到眩晕吗，或是我的吻太专业了 6 I love you more than everything else in the world combined. Isn't that enough？ —Bella 我爱你胜过世界上的一切，这还不够吗 7 Twilight, again. Another ending. No matter how perfect the day is, it always has to end. —Edward 黄昏再次来临，一个新的结束，无论这天有多完美，它都将结束 8 You're talking about forever, you know. —Bella 你在说永远，你知道吗 9 That's the beautiful thing about being human. Things change. —Edward 开始人类生活是极好的。

事情变化了 10 I will stay with you — isn't that enough？ —Edward 我会和你呆在一起，这还不够吗 楼主，老实说，暮光之城是我最喜爱的书了，一定要看哦 第二本Christ and the antichrist 基督与反基督三部曲 从另一个角度诠释中世纪神权与皇权和科技人文的争斗 "I swear by the name of HeQiu," carlo cudicini, "said lotito takes me in Constantinople as an end, etc, also don't like big in this terrible place when the boss! Isn't it is life？ 第三本 傲慢与偏见 Affection is desirable,money is absolutely indespensable 第四本 The Last Templar-Raymond Khoury（最后的圣殿骑士） I am not alone 我不是孤身一人 第五本 达芬奇密码 Well, perhaps no evidence, not the grail The only thing is, do you believe? He is a history of the great man A affect human person Thus, evidence proves only these But when I was a little boy When I am in the water inside I think I would die Let me live, let I can see my parents To go to school With my dog can play together, sometimes I have very strange Why do humans and god must choose one second? Perhaps humanity is sacred 好吧，也许没有证据，没有圣杯 唯一重要的是，你相信什么？ 历史上耶稣是一个非常伟大的人 一个影响人类的人 就这样而已，证据只能证明这些 但当我是个小男孩的时候 当我在那个水井里面的时候 我以为我会死 让我活下来，让我能再见到我的父母 能再去学校 能再跟我的狗一起玩有的时候我都很奇怪 为什么人类和神非要二选一？ 也许人类就是神圣的。

5. 求一篇描写景物的英语文章要用到很多比喻句啊排比句啊修饰手法的 爱

A sudden, late winter, spring has quietly come to earth。

Spring, are a better season, the season is full of poetry; spring, but also means that a vibrant start。 Since ancient times, poets like spring, praise spring, because spring scenic are everywhere in poetry can be。

Ancient hundred stroll garden, see Yong Chun colorful poetry, flourish, dizzying randomly pick几朵slowly read Goods, one of unknowingly has intoxicated。 "Ray of light overnight drop ten thousand silk, floating瓦碧Jiguang vary。

Paeoniflorin love with the spring of tears, unable to Rosa Xiao sticks lying。 " This is the Northern Song Dynasty poet Qin Guan's "Spring。

" Writing this poem spring after the rain。 Look, after the rain garden, the morning mist the cage thin, green glazed tile Jingying, Chunguang beautiful; Paeoniflorin rain tears, tenderness Feelings, Rosaceae supine dendrite, beautiful charming。

Here there is there is close-range vision, there is action there is quiet, affectionate attitude has randomly点染， irregular scattered。 Thinking绵密poem, describe vivid, since with a fresh, Wanli charm, very open to love。

"North Korea has come to Chambers songbird tree, red and green春上Fu Yuan-lin。 Suddenly there is好诗Health fundus, syntactic arrangements have been hard to find。

" This is the Song Dynasty poet, and Chen Yi's "spring。 " Writing this poem Zhijing spring morning。

Ear surplus birds, head Manqing sticks, green red catching different Hanfu attractive。 Poet, a few pens, a desire to drop the spring will be displayed at the screen readers, then, the poet simply ended pen, no longer describe spring, turn lyrical。

Spring rich, inspiration suddenly Health, but they have made use of treacherous poet "has a rare find," subterfuge to lure readers to feel their own spring, the actual situation Aioi methods give the reader left a lot of imagination。 "As days go far Head, Shuming the setting sun。

Dogs know where the dog? Person line at the Mid-Levels。 " This is the Southern Song Dynasty poet, Yang Wanli's "Spring。

" Writing this poem of King spring evening。 Xieyang Phi Cong trees, green space and access day, dogs欢叫，晚归people。

This poem naturally apt often see Qiao Medium, Medium-Ping, see Qi, will bring readers a panoramic view of the Spring atmosphere, where there is wonderful landscape of Spring, there is the gorgeous colors of Spring, there is the strong smell of Spring, there is春之声and Yuet , outside the meantime, open-minded people will enjoy singing。 "Chunshui newborn milk Yanfei, Hornets small tail to the flower head。

Window with far almanac Heteropanax color, fish hook over Shannon near Rocky Stone。 " This is the Tang Dynasty poet Li He's "South Park。

" South Park's spring, vibrant and full of charm。 Chunshui newborn, before乳燕fly, honey bee child flowers stuffed fish hook over feeding, which are highly characteristic features of the spring, and the vision straight through the window into the study, people Shuxin nice, very happy。

This poem vivid vivid, fresh flow of God is read to gas Yat-ching。 转瞬间严冬已逝，春天已悄悄地来到人间。

春天，是美好的季节，是充满诗情的季节；春天，又意味着一个生机勃勃的开始。自古以来，诗人喜爱春天，赞美春天，是因为春天景色宜人，处处皆可入诗。

漫步古诗百花园，只见咏春诗姹紫嫣红、争奇斗艳，令人目不暇接，随意采撷几朵，慢慢品读，不知不觉已陶醉其中。 “一夕轻雷落万丝，霁光浮瓦碧参差。

有情芍药含春泪，无力蔷薇卧晓枝。”这是北宋诗人秦观的《春日》。

这首诗写雨后春景。瞧，雨后庭院，晨雾薄笼，碧瓦晶莹，春光明媚；芍药带雨含泪，脉脉含情，蔷薇静卧枝蔓，娇艳妩媚。

这里有近景有远景，有动有静，有情有姿，随意点染，参差错落。 全诗运思绵密，描摹传神，自具一种清新、婉丽的韵味，十分惹人喜爱。

“朝来庭树有鸣禽，红绿扶春上远林。忽有好诗生眼底，安排句法已难寻。”

这是宋代诗人陈与义的《春日》。这首诗写春天早晨之景。

耳盈鸟语，目满青枝，绿红相扶，异馥诱人。 诗人寥寥几笔，一幅春意欲滴的画面便展现在读者面前，然后，诗人索性止笔，不再描写春景，转而抒情。

春意浓郁，灵感忽生，但诡谲的诗人却用“已难寻”的遁词来诱使读者自己去感受春意，这种虚实相生的方法，给读者留下了很大的想象空间。 “远目随天去，斜阳着树明。

犬知何处吠？人在半山行。”这是南宋诗人杨万里的《春日》。

这首诗写春天傍晚之景。斜阳披丛树，绿地与天接，犬欢叫，人晚归。

这首诗自然贴切，常中见巧，平中见奇，将读者带进全景式的春之氛围，这里有春之境的美妙，有春之色的绚烂，有春之味的浓烈，有春之声的和悦，置身其间，人们会敞开胸襟，尽情欢歌。 “春水初生乳燕飞，黄蜂小尾。

《预训练周刊》第39期：深度模型、提示学习

文章转载｜智源社区

本期贡献者｜申德周 翟珂 吴新刚

关于周刊

本期周刊，我们选择了10篇预训练相关的论文，涉及深度模型、提示学习、预训练应用、视觉理解、模型微调、编码器训练、可控生成、词表级语言模型、医疗文本建模、数据质量提升的探索。此外，在研究动态方面，我们选择了2篇预训练资讯，将介绍点云表示、文本生成方面的一些最新内容。

论文推荐

标题：微软｜DeepNet: Scaling Transformers to 1,000 Layers（DeepNet：将变换器扩展到1000层）

作者：Hongyu Wang, Shuming Ma, Furu Wei等

简介：本文提出了一种简单而有效的方法来稳定极深变换器。具体来说，作者引入了一个新的归一化函数(DEEPNORM)修改变换器中的残差连接，伴随理论上推导出的初始化。深入的理论分析表明，模型更新可以以稳定的方式进行限制。作者所提出的方法结合了两全其美，即Post-LN的良好表现和Pre-LN的稳定训练，使DEEPNORM成为首选替代方案。作者成功地扩大了变换器到1,000层（即 2,500 个注意和前馈网络子层）难度，比之前的深度变换器要深一个数量级。值得注意的是，在包含7482个翻译方向的多语言基准测试中，作者具有32亿参数的200层模型，显著优于具有120亿个参数当前最佳48层模型，优势达5个BLEU点，这表明深度是有希望的扩展方向。

代码下载：https://github.com/microsoft/unilm/tree/master/deepnet

论文下载：DeepNet: Scaling Transformers to 1,000 Layers - AMiner

标题：谷歌、Waymo｜HyperPrompt: Prompt-based Task-Conditioning of Transformers（HyperPrompt：Transformers 的基于提示的任务调节）

作者：Yun He, Huaixiu Steven Zheng, Zhao Chen等

简介：本文介绍了一种提示建模方法。Prompt-Tuning是一种以参数有效的方式微调预训练语言模型的新范例。在这里，作者探索使用超网络来生成超提示：作者提出了Hyper-Prompt，这是一种新颖的架构，用于变换器中基于提示的自我注意任务调节。超级提示是通过超级网络生成的端到端可学习的。HyperPrompt允许网络学习特定于任务的特征映射，其中超级提示充当任务全局记忆，供查询参与，同时实现任务之间的灵活信息共享。作者表明，HyperPrompt与强大的多任务学习基线相比，具有低至0.14%的额外任务调节参数，实现了出色的参数和计算效率。通过广泛的实证实验，作者证明HyperPrompt可以在强大的 T5 多任务学习基线和参数高效的适配器变体（包括Prompt-Tuning和HyperFormer++对GLUE和SuperGLUE 的自然语言理解基准）上实现卓越的性能跨越许多模型尺寸。

论文下载：HyperPrompt: Prompt-based Task-Conditioning of Transformers - AMiner

标题：清华、微信｜A Simple but Effective Pluggable Entity Lookup Table for Pre-trained Language Models（一个用于预训练语言模型的简单但有效的可插拔实体查找表）

作者：Deming Ye, Yankai Lin, Maosong Sun, Zhiyuan Liu等

简介：本文介绍了一种预训练语言模型方法。预训练的语言模型 (PLM) 不能很好地回忆起大规模语料库中展示的实体的丰富事实知识，尤其是那些罕见的实体。在本文中，作者提出建立一个简单但有效的通过聚合实体在语料库中多次出现的输出表示，按需提供可插入实体查找表 (PELT)。PELT可以兼容地插入为将补充实体知识注入PLM的输入。与以往相比知识增强预训练模型相比，PELT只需要 0.2%∼5% 的预计算，具有从域外语料库获取知识的能力，用于域适应场景。知识相关实验任务表明作者的方法 PELT 可以灵活有效地将实体知识从相关语料库转移到具有不同架构的 PLM 中。

代码下载：https://github.com/thunlp/PELT

论文下载：A Simple but Effective Pluggable Entity Lookup Table for Pre-trained Language Models - AMiner

标题：港科大、国际数字经济研究院、中科院、清华等｜Vision-Language Intelligence: Tasks, Representation Learning, and Large Models（视觉语言智能：任务、表示学习和大模型）

作者：Feng Li, Hao Zhang, Lei Zhang等

简介：本文提供了一个全面的时间视角下的视觉语言智能综述。这项综述的灵感来自于这两个领域的计算机视觉和自然语言处理显著进展，以及最近从单一模态处理转变为多模态处理模态理解趋势。作者总结了发展该领域分为三个时间段，即特定任务的方法，视觉语言预训练 (VLP) 方法和更大的模型由大规模弱标记数据授权。作者先取一些以常见的 VL 任务为例介绍开发特定于任务的方法。然后作者专注于 VLP 方法和全面审查模型结构的关键组成部分和训练方法。之后，作者展示了最近的工作利用大规模原始图像文本数据来学习语言对齐，在零样本或少样本上更好地概括的视觉表示学习任务。最后，作者讨论了一些潜在的未来趋势模式合作、统一表示和知识整合。作者相信这篇综述会面向 AI 和 ML 的研究人员和从业者有所帮助，尤其是那些对计算机视觉和自然语言处理感兴趣。

论文下载：Vision-Language Intelligence: Tasks, Representation Learning, and Large Models - AMiner

标题：清华、微软 | NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better（噪音助力微调预训练语言模型）

作者：Chuhan Wu, Fangzhao Wu, Tao Qi, 等

简介：本文研究噪音数据对预训练语言模型微调的影响。有效地微调，对于预训练语言模型（PLM）在下游任务中的成功至关重要。然而，PLM可能存在过度拟合训练前信号的风险，并且下游任务和训练前任务之间存在一些差距。普通的微调方法很难克服预训练和下游任务之间的障碍，这会导致性能不理想。在本文中，作者提出了一种非常简单但有效的方法NoiseyTune：可以通过在微调前向PLM的参数添加一些噪声来帮助更好地微调下游任务中的PLM。更具体地，作者根据不同参数矩阵的标准偏差，提出了一种矩阵均匀扰动方法，该方法可以兼顾PLMs中不同类型参数的变化特性。在GLUE English基准测试和XTREME多语言基准测试上进行的大量实验表明，NoisyTune可以在许多下游任务中持续提高不同PLM的性能。

论文下载：NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better - AMiner

标题：腾讯、复旦大学 | Is Whole Word Masking Always Better for Chinese BERT?（针对中文Bert模型：整词遮罩总是更好?）

作者：Yong Dai, Linyang Li, Cong Zhou,等

简介：本文根据汉语特点进行预训练模型遮罩的策略研究。一个单词对应的所有子词的遮罩（Whole word masking ，简称：WWM) ，已促成更好的英文BERT 模型。然而，对于中文来说：没有子词，因为每个记号都是一个原子字符。词：在汉语中的意义不同，一个词是由多个字符组成的组成单元。这种差异促使作者研究 WWM 是否会为中文 BERT 带来更好的上下文理解能力。为此，作者引入了两个与语法纠错相关的探测任务，并要求预训练模型以掩码语言建模的方式修改或插入标记。作者构建了一个数据集，包括 10,448 个句子中 19,075 个标记的标签。作者分别使用标准字符级掩码 (CLM)、WWM 、以及 CLM 与 WWM 的组合训练三个中文 BERT 模型。作者的主要发现如下：首先，当需要插入或替换一个字符时，使用 CLM 训练的模型表现最好。其次，当需要处理多个字符时，WWM 是提高性能的关键。最后，在对句子级下游任务进行微调时，使用不同遮罩策略训练模型的效果表现相当。

论文下载："Is Whole Word Masking Always Better for Chinese BERT?": Probing on Chinese Grammatical Error Correction - AMiner

标题：上海交大、麻省理工 | Controlling the Focus of Pretrained Language Generation Models（控制预训练语言生成模型的焦点）

作者：Jiabao Ji, Yoon Kim, James Glass,等

简介：本文研究焦点向量对预训练语言生成模型的控制。基于transformer的预训练语言生成模型的微调：通常以端到端的方式进行，其中模型学会自己处理输入的相关部分。但是，不存在直接控制模型焦点的机制。这项工作旨在开发一种控制机制，用户可以通过该机制选择上下文范围作为模型关注的“亮点”，并生成相关输出。为了实现这一目标，作者使用可训练的“焦点向量”来增强预训练模型，这些“焦点向量”直接应用于模型的嵌入，而模型本身保持固定。这些向量经过归因方法的自动注释训练，可作为上下文重要性的指标。作者在两个核心生成任务上测试作者提出的方法：对话响应生成和抽象摘要。作者的实验表明，经过训练的焦点向量可以有效地引导模型生成与用户选择的焦点相关的输出。

论文下载：Controlling the Focus of Pretrained Language Generation Models - AMiner

标题：哈工大、微软 | Pretraining without Wordpieces: Learning Over a Vocabulary of Millions of Words（没有字符的预训练：学习数以百万计的词汇）

作者：Zhangyin Feng, Duyu Tang, Cong Zhou, 等

简介：本文研究基于单词的词汇表上训练BERT风格的预训练模型。标准的BERT采用基于单词的标记化，这可能会将一个词分成两个或多个词条（例如，将“无损”转换为“丢失”和“更少”）。这在以下情况下会带来不便：（1）获得一个被分成多个单词的单词的上下文向量的最佳方法是什么？（2） 如何通过完形填空测试预测一个单词而不事先知道词条的数量？在这项工作中，作者探索了在词汇表而不是词条上开发BERT风格的预训练模型的可能性。作者称这种词级的BERT模型为WordBERT。作者使用不同的词汇表大小、初始化配置和语言来训练模型。结果表明，与基于标准词条的BERT相比，WordBERT在完形填空测试和机器阅读理解方面有显著提高。在许多其他自然语言理解任务中，包括词性标注、组块和NER，WordBERT的表现始终优于BERT。作者对WordBERT进行了中文训练，并在五个自然语言理解数据集上获得了显著的效果。

论文下载：Pretraining without Wordpieces: Learning Over a Vocabulary of Millions of Words - AMiner

标题：Scientific Reports | Pretrained transformer framework on pediatric claims data for population specific tasks（针对特定人群任务的儿科理赔数据的预训练Transformer框架）

作者：Xianlong Zeng, Simon L. Linwood & Chang Liu

简介：本文展示了一个预训练医疗儿科数据应用案例。近年来电子健康记录已经变得普遍，这为基于数据的深入研究提供了条件，但其中满足特定人群导向的任务的却很少，这使得训练对数据要求很高的模型具有挑战性。本研究提出了一个预训练框架，它首先对整个儿科理赔数据集进行训练，然后对每个特定人群的任务进行辨别性微调。医疗事件的语义可以在预训练阶段被捕捉到，而有效的知识转移则通过任务感知的微调阶段完成。微调过程在不改变模型结构的情况下进行最小的参数修改，缓解了数据稀缺的问题，并有助于在小型患者群中充分训练深度学习模型。本文在一个拥有超过一百万条病人记录的真实世界儿科数据集上进行了实验，在两个下游任务上的实验结果证明了本文方法的有效性，此外本文的框架显示了将学到的知识从一个机构转移到另一个机构的潜力，这可能为未来跨机构的医疗模型预训练铺平道路。

论文下载：Pretrained transformer framework on pediatric claims data for population specific tasks. - AMiner

标题：Nature Communication | Active label cleaning for improved dataset quality under resource constraints（在资源限制下主动清理标签以提高数据集质量）

作者：Mélanie Bernhardt, Ozan Oktay等

简介：本文讨论了数据质量提升与自监督学习的结合。数据注释中的缺陷对深度学习模型的训练是有害的，并对模型性能的评估有干扰作用。另外在资源受限的情况下，例如在医疗保健领域，雇用专家通过对大型数据集进行全面重新注释来消除标签噪声是不可行的。本文主张采用一种数据驱动的方法来确定重新标注样本的优先次序，即主动标签清理。作者建议根据每个样本的估计标签正确性和标签难度对实例进行排序，引入一个模拟框架来评估重新标注的效果，同时分析了自监督技术如何能进一步提高标签清理的性能。作者在自然图像和医学图像基准上的实验表明，清理噪声标签可以减轻它们对模型训练、评估和选择的负面影响。该方法能够在现实条件下比典型的随机选择更有效地纠正标签，更好地利用专家的宝贵时间来提高数据集质量。

论文下载：Active label cleaning for improved dataset quality under resource constraints. - AMiner

研究动态

标题：南洋理工 | Unsupervised Representation Learning for Point Clouds: A Survey（点云无监督学习综述） 作者：Aoran Xiao, Jiaxing Huang, Dayan Guan, Shijian Lu

简介：本文为点云预训练综述。点云数据由于在各种不利情况下具有卓越的准确性和鲁棒性，已得到广泛探索。点云和深度学习的融合导致了许多深度点云模型的出现，这些模型主要是在大规模和密集标记的点云数据的监督下训练的。本文总结了预训练无监督的点云表征学习，旨在从无标签的点云数据中学习一般的和有用的点云表征。首先描述了最近研究的动机、一般管道以及术语。然后简要介绍了相关背景，包括广泛采用的点云数据集和深度学习架构。随后，根据技术方法对现有的无监督点云表征学习方法进行了广泛的讨论。本文还在多个广泛采用的点云数据集上对所审查的方法进行了定量的基准测试和讨论。最后，本文分享了本文对无监督点云表征学习的几个挑战和问题的拙见，这些挑战和问题可以在未来的研究中得到解决。

论文下载：Unsupervised Representation Learning for Point Clouds: A Survey - AMiner

标题：人大 | A Survey of Pretrained Language Models Based Text Generation（基于预训练模型的文本生成综述）

作者：Junyi Li, Ji-Rong Wen等

简介：本文为文本生成预训练综述。文本生成旨在从输入数据中产生可信的、可读的人类语言文本。深度学习通过神经生成模型，特别是预训练语言模型（PLMs）的范式，大大推动了这一领域的发展。在这项综述中，本文首先介绍了将PLMs应用于文本生成的三个关键方面：如何将输入编码为保留输入语义的表征，并将其融合到PLM中；如何设计一个有效的、性能良好的PLM作为生成模型；如何有效地优化给定参考文本的PLM并确保生成的文本满足特殊的文本属性。然后，本文找出了与这三个关键观点相对应的一些主要挑战和解决方案。接下来，本文对各种有用的资源和典型的文本生成应用进行了总结，以便与PLMs一起工作。最后，本文强调了一些未来的研究方向，这将进一步改善这些PLMs的文本生成。

论文下载：A Survey of Pretrained Language Models Based Text Generation - AMiner

AMiner平台收录超过 1.3 亿学者、3.2 亿篇论文、4 千多万个专利、将近 1 万个数据集、超过 100 个开放算法供科技工作者免费检索使用，助力科技创新。

AMiner官网首页