哈工大2020研究生招生人数哈工大校长

admin 2024-01-08 14:01:52 举报

哈工大2020研究生招生人数哈工大校长

[21]

作者：曾祥凯，杨成，屠存超，刘致远，孙茂松。

单位：清华大学

清华大学孙茂松团队的杨成博士报告了他们在中文查询和字数统计(LIWC)词义扩展方面的研究工作。

LIWC是一个用于字数统计的软件工具，已经被用于许多领域的定量文本分析。由于其成功和普及，核心词典已被翻译成中文和许多其他语言。但是字典里只有几千个单词，与常用的汉语单词数量相比远远不够。目前的方法通常需要手动扩展字典，但这通常需要花费太多时间，并且需要语言专家来扩展字典。

为了解决这个问题，作者提出了一种自动扩展LIWC词典的方法。具体来说，作者认为这个问题是一个层次分类问题，并利用该模型对词典中的词进行分类。此外，作者还利用注意机制的语义信息来捕捉一个单词的确切含义，从而扩展出一个更准确、更全面的词典。

谢谢杨成博士指正！)

[22]

作者：张天阳，黄敏烈，赵丽，

单位：清华大学

随后，杨成博士代表黄敏烈副教授介绍了他们在学习文本分类的结构表征方面的研究内容。

表征学习是自然语言处理中的一个基本问题。本文研究如何学习文本分类的结构化表示。

zX。WNfCW.cn

与现有的大多数既不使用结构也不依赖预定义结构的表示模型不同，作者提出了一种通过自动优化结构来学习句子表示的强化学习方法。

在本文中，作者提出了两种结构表征模型：(LSTM)和(LSTM)。其中，ID-LSTM只选择与任务相关的重要词汇，HS-LSTM则在句子中寻找短语结构。两种表示模型中的结构发现都表示为顺序决策问题，结构发现的当前决策影响后续决策，可以通过策略梯度RL来解决。

结果表明，该方法无需明确的结构标注，通过识别重要词汇或任务相关结构来学习任务友好表征，从而获得竞争优势。

[23] -

作者：唐杜宇，段楠，刘，王文迪，蒋大新，李

zX。WNfCW.cn

单位：微软亚洲研究院

接下来由哈尔滨工业大学的冯博士代替微软亚洲研究院的唐杜宇博士介绍他们在自动问答方面的研究工作。

在这项工作中，作者提出了一个基于断言的问答系统，这是一个开放领域的问答任务。在搜索引擎中，用户提问后，引擎会反馈一个相关的段落作为回应。但是，这不利于用户快速获取想要的信息。为了简化引擎的反馈信息，作者提出了以问题和段落作为输入和输出的ABQA问题，断言由主语、谓语和宾语三元组表示。

为了解决这个问题，作者构建了一个名为Webassertions的数据集，其中包括55960(问题、段落、断言)和358427(问题、段落、断言)。

随后，为了从段落中提取断言，作者开发了两种方法：提取和生成。实验结果表明，这两种方法可以直接从段落中给出问题的具体答案，并包含一些支持信息。(本文中的断言一般指三元组)

谢谢冯程潇博士指正！)

[24]端到端quantumlanguagemodels with application to question answering

作者：张鹏，牛嘉斌，苏展，王本友，马立群，宋大伟。

单位：天津大学

天津大学的苏展做了一个很有意思的报告。他们的工作是借鉴量子统计物理的方法来表达语言模型，用于语言问答任务。

语言建模是自然语言处理领域的一个基础研究课题。最近(Sordoni，Nie，Bengio2013)利用量子统计物理中的数学形式提出了量子语言模型()。具体来说，QLM借用了量子力学中密度矩阵的概念，将单态和项依赖的概率不确定性编码到密度矩阵中。与传统的n-gram模型相比，量子语言模型在表达N阶依赖时不增加参数规模。

这个方法在理论上很重要，因为是第一次用量子理论的公式推广LM。但是它也有一些局限性：1)1)QLM中每个词的表示是一个单热向量，只能对局部事件进行编码，不能考虑全局语义信息；2)QLM用密度矩阵表示文本(如查询、文档)，用迭代而不是解析解求解，因此在端到端设计中很难更新和优化密度矩阵；3)QLM密度矩阵的表示、训练和匹配不能一起优化，限制了QLM的适用性。

针对这些问题，本文首次将词向量作为单个词的状态向量。单个词代表一个纯态系统，整句可以对应一个密度矩阵代表的混合态系统。这样，密度矩阵无需迭代估计就可以导出，密度矩阵表示也可以集成到神经网络结构中，并通过反向传播算法自动更新。

24-1、单句、问答分别用密度矩阵表示

基于这一思想，作者提出了一种端到端模型(NNQLM)，并设计了两种不同的体系结构。

zX。WNfCW.cn

24-2，框架1由于密度矩阵是半正定矩阵，其联合表示的迹内积可以反映密度

度矩阵相似度，为了将其应用于End-to-End模型，将联合表示矩阵的对角线元素和迹作为全连接层的输入。

迹内积(TraceInnerProduct)可表示两个量子系统的相似度。在问答任务中，Question(Q)和Answer(A)所对应的两个密度矩阵的乘积可作为Q和A的联合表示，其联合表示的迹（即迹内积）可计算Q和A的相似度，每个对角线元素表示各个潜在语义子空间的相似度。

zX。WNfCW.cn

24-3，框架二对密度矩阵的联合表示进行卷积操作，实验结果表明卷积可以更加充分地挖掘联合表示中潜在语义子空间的相似性信息

作者将这个模型用在经典的QA任务中，即答案选择（从预选的候选答案中找出正确的答案）。实验结果表明，NNQLM在WIKI数据集上显著提升了QLM的效果，并在TREC-QA数据集接近了state-of-art的结果。

目前，量子力学和神经网络的交叉领域已经衍生出量子机器学习和量子人工智能等新兴研究方向，已有相关重要论文发表在Science等高水平期刊。该论文以语言模型为切入点，对量子力学和神经网络这一交叉领域进行研究，并在自然语言处理领域的问答任务中实现了端到端训练的类量子语言模型，扩展了量子语言模型的理论和应用。

（感谢苏展指正！）

[25]EMDMetricLearning（张子昭，清华）

作者：张子昭，张宇博，赵曦滨，高跃

单位：清华大学

最后来自清华的本科生张子昭做了本次预讲会的最后一个报告，报告内容为对EMD度量的一个优化工作。

EarthMoversDistance(EMD)是2000年IJCV期刊文章《TheEarthMoversDistanceasaMetricforImageRetrieval》提出的一种多维分布相似度量方法，被广泛应用于计算机视觉等任务当中。所谓EMD，是传统运输问题的最优解问题，简单来说就是给定两个signature（P和Q），把一个变成另一个所需要的最小工作量。EMD越小，实体之间就越相似。

25-1，EMD。其中f_ei是P_i（Q_i）的中心的特征，w_i是P_i（Q_i）的相应的权重。d_ij是从P_i到Q_j运送一个供给单位的成本，f_ij是相应的流量