具有十年德晋贵宾厅销售经验,专业销售德晋贵宾厅现货
德晋贵宾厅公司销售热线:894333
产品展示
联系方式
销售经理:德晋贵宾厅
销售电话:894333
公司传真:894333
公司地址:吉林省白山市东开发区辽河路东首A11号22楼
知识汇编
您的位置:主页 > 行情资讯 > 知识汇编 >

COLING 2018 最佳论文解读:序列标注经典模型复现

  在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。

  在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果。

  本期推荐的论文笔记来自 PaperWeekly 社区用户@handsome。这篇论文是 COLING 2018 的 Most reproducible Paper。作者用 PyTorch 实现了一个统一的序列标注框架,重现了 CoNLL 2003 English NER、CoNLL 2000 Chunking 和 PTB POS tagging 这三个数据集上不同模型的的表现。值得一提的是,基于这个统一的框架,作者对一些已有工作的一些不一致的结论进行了反驳,提出了一些新的看法。对于实践者而言,这篇论文还是很有借鉴意义的。

  作者用一个统一的序列标注框架实现了不同模型架构在 NER, Chunking, POS Tagging 数据集上的表现,并对已有工作的一些不一致的结论进行了检验,发现了新的结论。代码在 Github 上已经开源,使用文档也非常详尽,做序列标注的童鞋们又多了一把利器可以使用。

  在词的表示方面,本文摒弃了基于传统的特征的方法,直接使用词本身的信息进行编码。除了词向量以外,为了更好地对那些不常见的词编码,文章使用 LSTM 或者 CNN 对构成词语的字符进行编码。

  在整个句子级别,文章同样使用 LSTM / CNN 对构成句子的词语的表示进行上下文的编码。

  获取了每个词的上下文表示之后,在最后的预测层,文章使用了基于 Softmax 的和基于 CRF 的结构。和 Softmax 相比, CRF 往往更能有效地结合上下文的标签的依赖关系进行预测。

  从以上结果来看,字符序列的表示方面,CNN 和 LSTM 的结果差别不大;词序列的表示方面,LSTM 的结果比 CNN 的稍好一些,说明全局信息的有效性;预测层方面,POS Tagging 任务的 CRF 和 Softmax 表现相当,但是 NER、Chunking 的 CRF 的结果要比 Softmax 好一些。相比 POS 的tags,BIE 标签之间的依赖关系可能更容易被 CRF 所建模。

  这篇文章也检验了预训练的词向量的不同(GloVe/SENNA),标注体系的不同 (BIO/BIOES),运行环境的不同(CPU/GPU),以及优化器的不同 (SGD/Adagrad/Adadelta/RMSProp/Adam)对结果的影响。感兴趣的同学可以查看论文原文。

  本文代码已开源,使用非常方便,也可以加自定义的 feature,几乎不用自己写代码就可以使用了。

  本文由 AI 学术社区 PaperWeekly 精选推荐,社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向,点击「阅读原文」即刻加入社区!

Copyright © 2011-2018 德晋贵宾厅 版权所有 / 京ICP备11027359号网站地图
销售电话:894333 公司传真:894333 地址:吉林省白山市东开发区辽河路东首A11号22楼
十年专业德晋贵宾厅公司 http://www.laixinsheji.com 德晋贵宾厅 澳门德晋厅开户