学习理论

首先要说明，世界上没有捷径可言，想高效学习，还是需要付出的。只是找对方法，对于学习可谓与事半功倍。 那么如何高效学习呢？这里推荐： 费曼学习法 费曼学习法 的核心，是把复杂的知识 简单化 ，以教代学，让输出倒逼输入。 费曼学习法可以简化为四个单词： C

计算学习理论（computational learning theory）：关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法体统理论保证，并根据结果指导算法设计。 对于二分类问题，给定样本集 假设所有样本服从一个隐含未知的分布

集成学习（Ensemble Learning），通过构建并结合多个学习器来完成学习任务。一般结构是：先产生一组“个体学习器”，再用某种策略将它们结合起来。结合策略主要有平均法、投票法和学习法等。因此，有时也称集成学习为多学习器系统(multiclassifier system)、基于委员会的学习

尊敬的读者们，大家好！欢迎来到我的全新专栏：《蓝色是天的机器学习笔记》。我感到无比兴奋，能够在这里与各位分享我对机器学习的热爱与探索。这个专栏将成为我记录机器学习知识、交流心得的温馨角落，而这篇文章正是专栏的第一步。 作为机器学习领域的狂热爱好

  在许多算法中需要求出两个分量间相互关系的信息。协方差就是描述这种相互关联程度的一个特征数。   设 ( X , Y ) (X,Y) ( X , Y ) 是一个二维随机变量，若 E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] E[(X-E(X))(Y-E(Y))] E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] 存在，则称此数学期望为 X X X 与

        深度学习在很多机器学习应用中都有巨大的潜力，但深度学习算法往往经过精确调整，只适用于特定的使用场景。先学习一些简单的方法，比如用于分类和回归的多层感知机（MLP），它可以作为研究更复杂的深度学习方法的起点。MPL也被称为（普通）前馈神经网络，

关于机器学习方差和偏差的内容其实很重要，这个方差和偏差可以帮助我们去分析，模型的泛化能力和过拟合的程度。 下面我们先给存储方差和偏差的公式： 注意，下式当中， f ( x ; D ) 表示在数据集 D 上训练出的模型， f − ( x ) 表示无穷多个不同数据集训练出的加权平均模

决策树（Decision Tree）是一种分类和回归方法，是基于各种情况发生的所需条件构成决策树，以实现期望最大化的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。它的运行机制非常通俗易懂，因此被誉为机器学习中，最“友好”的算法。下面通过一个

传统学习面临的问题：没有任何情况下都最好的机器学习算法 1）背景 通过将多个学习器进行集成，常可获得比单一学习器显著优越的泛化性能，这对弱学习器尤为明显。 弱学习器：准确率仅比随机猜测略高的学习器。 强学习器：准确率高并能在多项式时间内完成的学习器

为了提高学习效率，我们要提前想好学习策略。 首先，使用频率越高的知识点，越要首先学习。假使，我们学习了一个知识点，能覆盖工作中80%的工作量，那是不是很夸张的学习效率？！ 其次，有两种覆盖知识点，梳理知识点的策略。一种是将知识按体系划分，挨个学习，

Transformer出自于论文《attention is all you need》。 一些主流的序列模型主要依赖于复杂的循环结构或者CNN，这里面包含了编解码器等。而Transformer主要的结构是 基于注意力机制 ，而且是用多头注意力机制去替换网络中的循环或者CNN(换言之就是 transformer 这个网络模型是不需要循环

最简单的波的典型例子就是声波和电磁波，它们可以用下面的方程描述：   ( ∂ 2 ∂ t 2 − v 0 2 ∂ 2 ∂ x 2 ) f ( x , t ) = 0   (1.1) (frac{partial^2}{partial t^2}-v_0^2frac{partial^2}{partial x^2})f(x,t)=0 ,tag{1.1}   ( ∂ t 2 ∂ 2 ​ − v 0 2 ​ ∂ x 2 ∂ 2 ​ ) f ( x , t ) = 0 ( 1.1 ) 其中， v 0 v_0

在深度学习中， Logits（逻辑值）是指模型的输出层在应用激活函数之前的值 。它通常是一个向量，表示不同类别的得分或概率。在分类问题中，Logits可以被解释为模型对每个类别的置信度或原始预测分数。 模型的输出层通常会应用一个激活函数，例如Softmax函数，将Logits转换

传统神经网络 以往：随着机器学习、深度学习的发展，语音、图像、自然语言处理逐渐取得了很大的突破，然而语音、图像、文本都是很简单的序列或者网格数据，是很结构化的数据，深度学习很善于处理该种类型的数据。 图神经网络 现实世界：并不是所有的事物都可以表