一对一免费咨询: 18215660330

什么是元学习?
在传统的机器学习领域,我们通常会获取一个特定于特定任务的庞大数据集,并希望使用该数据集训练模型以进行回归/分类。这与人类如何利用过去的经验,仅通过大量实例快速地学习一项新任务,根本相去甚远。

元学习本质上是学习学习。
形式上,它可以定义为使用算法或模型的元数据来了解自动学习如何灵活地解决学习问题,从而提高现有学习算法的性能或学习(诱导)学习算法本身。

每种学习算法都基于关于数据的一组假设,这被称为归纳偏差。
元学习利用元数据(例如算法属性(性能指标和准确性)或先前从数据中得出的模式)来学习,选择,更改或组合不同的学习算法,以有效解决给定的学习问题。

下图可以粗略地总结学习过程或元培训过程–

学习元参数-
一种学习方法是利用著名的反向传播算法。我们可以在整个训练过程中反向传播元损失的梯度,一直返回到模型的初始权重。
通过模型的梯度反向传播元损失涉及计算导数的导数,即通常可能需要大量计算的二阶导数(这增加了元学习模型的复杂性)。流行的深度学习框架(例如PyTorch和Tensorflow)提供了这些功能。

为了获得误差值,我们可以简单地将模型的预测与地面真实标签进行比较。我们还需要对我们的元学习者的表现进行指示性测量,即训练模型本身。

查找元损失的一种方法可以是组合我们在训练过程中计算出的模型损失(一种可能的合并方法可以是将这些损失相加)。
诸如SGD,RMSProp,Adam之类的优化器可以用作元优化器来更新参数(本质上是算法的学习部分)。

元学习包含三个主要步骤:

包含一个学习子模型。
动态归纳偏差: 更改学习算法的归纳偏差以匹配给定问题。这可以通过更改学习算法的关键方面(例如假设表示,启发式或参数)来完成。存在许多不同的方法。
从模型的元数据中提取有用的知识和经验:元数据包含有关先前学习情节的知识,并用于有效地为新任务制定有效的假设。这也是感应传递的一种形式。
人工智能可以完成一些非常复杂的任务,但它们需要大量数据,并且在多任务处理方面非常糟糕。因此,对于AI代理商来说,“学习如何学习”以收集更多知识并变得更加自信很重要。

现在,让我们讨论文献中当前存在的一些类型的元学习算法。

元学习算法的类型–
优化器元学习:
此方法专注于优化整个神经网络以更好地完成任务。通常,使用多个神经网络。一个神经网络负责优化另一个神经网络的超参数(可以使用不同的技术),以提高其性能。
本文属于优化器元学习类别,旨在提高梯度下降的性能。
很少有镜头学习:
很少有镜头学习是AI的未来,因为它旨在通过仅查看少量数据或示例进行学习,因此很少有镜头学习(这是许多即将出现的算法(如一次射击学习和零射击学习)的超集)。类似地,人类也试图通过观察一个或两个问题实例来推断事物是如何工作的,很少有射击学习旨在做到这一点,这是一种流行的元学习算法。
记忆增强神经网络和一次生成模型属于这一类。许多方法用于很少的镜头学习,也许更著名的方法之一是生成伪示例以改善学习。
元学习应用于指标:
该方法的主要目的是寻找一个指标空间,在该空间中学习更加有效。
本文非常适合此类。此外,可以观察到,该类别是少拍学习方法的子集。
与模型
无关的元学习:模型无关的元学习(MAML)于2017年由Finn等人最近介绍,在许多任务上展示了出色的性能。训练模型的参数,使得即使使用来自新任务(新域)的相对较少的数据样本进行梯度下降的几次迭代也可以导致对该任务的良好概括。
它已被用于其他各种子领域,例如元强化学习(基于策略梯度的RL),并且还为计算机视觉任务(尤其是图像分类中的少拍学习)设定了基准。
元学习的优势–
元学习提供了更快的速度:元学习方法可以产生性能比手工模型更好,更快的学习架构。
扩展:元学习可以自动化选择和微调算法的过程,从而增加了扩展AI应用程序的潜力。
所需数据更少:这些方法有助于开发更通用的系统,这些系统可以将知识从一种环境转移到另一种环境。这样可以减少在新环境下解决问题所需的数据量。
相关应用:

元学习算法已经在各种应用程序中使用,其中一些是:

欺诈交易检测
图像分类任务
机器翻译和其他相关的模态任务
图像中的占位符检测。
结论–
尽管元学习方法目前在计算上昂贵,但它们是AI研究的令人兴奋的前沿领域,并且可以迈向我们实现人工通用智能的重要一步,因为计算机不仅能够进行准确的分类和估计但能够改善其参数(和超参数),从而在多个问题上下文中更好地完成多项任务。

成都软件开发 最好的成都软件定制开发公司
18215660330