189 8069 5689
LIBSVM的简单介绍 2006-09-20 15:59:48
网站建设哪家好，找成都创新互联公司！专注于网页设计、网站建设、微信开发、成都微信小程序、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了开原免费建站欢迎大家使用！
大 中 小
1. LIBSVM 软件包简介
LIBSVM 是台湾大学林智仁(Chih-Jen Lin)博士等开发设计的一个操作简单、易于使用、快速有效的通用SVM 软件包，可以解决分类问题（包括C- SVC、n - SVC ）、回归问题（包括e - SVR、n - SVR ）以及分布估计（one-class-SVM ）等问题，提供了线性、多项式、径向基和S形函数四种常用的核函数供选择，可以有效地解决多类问题、交叉验证选择参数、对不平衡样本加权、多类问题的概率估计等。LIBSVM 是一个开源的软件包，需要者都可以免费的从作者的个人主页
处获得。他不仅提供了LIBSVM的C++语言的算法源代码，还提供了Python、Java、R、MATLAB、Perl、Ruby、LabVIEW以及C#.net 等各种语言的接口，可以方便的在Windows 或UNIX 平台下使用。另外还提供了WINDOWS 平台下的可视化操作工具SVM-toy，并且在进行模型参数选择时可以绘制出交叉验证精度的等高线图。
2. LIBSVM 使用方法简介
LibSVM是以源代码和可执行文件两种方式给出的。如果是Windows系列操作系统，可以直接使用软件包提供的程序，也可以进行修改编译；如果是Unix类系统，必须自己编译。
LIBSVM 在给出源代码的同时还提供了Windows操作系统下的可执行文件，包括：进行支持向量机训练的svmtrain.exe；根据已获得的支持向量机模型对数据集进行预测的svmpredict.exe；以及对训练数据与测试数据进行简单缩放操作的svmscale.exe。它们都可以直接在DOS 环境中使用。如果下载的包中只有C++的源代码，则也可以自己在VC等软件上编译生成可执行文件。
3. LIBSVM 使用的一般步骤是：
1） 按照LIBSVM软件包所要求的格式准备数据集；
2） 对数据进行简单的缩放操作；
3） 考虑选用RBF 核函数；
4） 采用交叉验证选择最佳参数C与g ；
5） 采用最佳参数C与g 对整个训练集进行训练获取支持向量机模型；
6） 利用获取的模型进行测试与预测。
4. LIBSVM使用的数据格式
1）训练数据和检验数据文件格式如下：
label index1:value1 index2:value2 ...
其中label 是训练数据集的目标值，对于分类，它是标识某类的整数(支持多个类)；对于回归，是任意实数。index 是以1开始的整数，可以是不连续的；value为实数，也就是我们常说的自变量。检验数据文件中的label只用于计算准确度或误差，如果它是未知的，只需用一个数填写这一栏，也可以空着不填。
在程序包中，还包括有一个训练数据实例：heart_scale，方便参考数据文件格式以及练习使用软件。可以编写小程序，将自己常用的数据格式转换成这种格式
2）Svmtrain和Svmpredict的用法
LIBSVM软件提供的各种功能都是DOS命令执行方式。我们主要用到两个程序，svmtrain(训练建模)和svmpredict(使用已有的模型进行预测)，下面分别对这两个程序的使用方法、各参数的意义以及设置方法做一个简单介绍：
（1）Svmtrain的用法：
svmtrain [options] training_set_file [model_file]
Options：可用的选项即表示的涵义如下
-s svm类型：SVM设置类型(默认0)
0 -- C-SVC
1 --v-SVC
2 – 一类SVM
3 -- e -SVR
4 -- v-SVR
-t 核函数类型：核函数设置类型(默认2)
0 – 线性：u'v
1 – 多项式：(r*u'v + coef0)^degree
2 – RBF函数：exp(-r|u-v|^2)
3 –sigmoid：tanh(r*u'v + coef0)
-d degree：核函数中的degree设置(默认3)
-g 函数设置(默认1/ k)r(gama)：核函数中的
-r coef0：核函数中的coef0设置(默认0)
-c cost：设置C-SVC， -SVR的参数(默认1)-SVR和
- SVR的参数(默认0.5)-SVC，一类SVM和-n nu：设置
-SVR-p e：设置的值(默认0.1)中损失函数
-m cachesize：设置cache内存大小，以MB为单位(默认40)
-e ：设置允许的终止判据(默认0.001)
-h shrinking：是否使用启发式，0或1(默认1)
-wi C(C-SVC中的C)(默认1)weight：设置第几类的参数C为weight
-v n: n-fold交互检验模式
其中-g选项中的k是指输入数据中的属性数。option -v 随机地将数据剖分为n部分并计算交互检验准确度和均方根误差。以上这些参数设置可以按照SVM的类型和核函数所支持的参数进行任意组合，如果设置的参数在函数或SVM类型中没有也不会产生影响，程序不会接受该参数；如果应有的参数设置不正确，参数将采用默认值。training_set_file是要进行训练的数据集；model_file是训练结束后产生的模型文件，文件中包括支持向量样本数、支持向量样本以及lagrange系数等必须的参数；该参数如果不设置将采用默认的文件名，也可以设置成自己惯用的文件名。
（2）Svmpredict的用法：
svmpredict test_file model_file output_file
model_file 是由svmtrain产生的模型文件；test_file是要进行预测的数据文件；Output_file是svmpredict的输出文件。svm-predict没有其它的选项。
下面是具体的使用例子
svmtrain -s 0 -c 1000 -t 1 -g 1 -r 1 -d 3 data_file
训练一个由多项式核(u'v+1)^3和C=1000组成的分类器。
svmtrain -s 1 -n 0.1 -t 2 -g 0.5 -e 0.00001 data_file =-SVM (在RBF核函数exp(-0.5|u-v|^2)和终止允许限0.00001的条件下，训练一个 0.1)分类器。 svmtrain -s 3 -p 0.1 -t 0 -c 10 data_file =以线性核函数u'v和C=10及损失函数 0.1求解SVM回归。
支持向量机可以用于分类、回归与异常点检测，它有以下优势：
1、对高维数据集十分有效。
2、当pn时，依然有效。
3、高效利用内存。
4、不同的核函数与决策函数一一对应。
缺点如下：
1、当pn时，需要合理选用核函数以避免过拟合。
2、由于支持向量机不直接提供概率估计，需要经过五折交叉验证计算得到，所以它较慢。
SVC、NuSVC和LinearSVC能够实现多元分类。SVC与NuSVC十分相似，不同之处在于NuSVC引入了一个新的超参数v，它可以控制支持向量的数量和训练误差。LinearSVC是另一个实现线性核函数的支持向量分类，所以它不接受关键词kernel，也没有所谓的支持向量。
支持向量的解释：支持向量本质上就是一个向量，而且是离间隔边界最近的向量，也就是这些向量支撑了整个间隔边界，支持向量的名字由来就是这样。
多元分类在分类中主要有两种方法：one-vs-one和one-vs-rest。
one-vs-one：假设有n个类别，则会针对两两类别建立二项分类器，得到k=n*(n-1)/2个分类器。对新数据进行分类时，依次使用这k个分类器进行分类，每次分类相当于一次投票，分类结果是哪个就相当于对哪个类投了一票。在使用全部k个分类器进行分类后，相当于进行了k次投票，选择得票最多的那个类作为最终分类结果。
one-vs-rest：假设有n个类别，那么就会建立n个二项分类器，每个分类器针对其中一个类别和剩余类别进行分类。进行预测时，利用这n个二项分类器进行分类，得到数据属于当前类的概率，选择其中概率最大的一个类别作为最终的预测结果。
其中，one-vs-rest更加受到青睐，因为它更快并且结果也很不错。
在内核岭回归中我们有谈到过支持向量回归，支持向量分类与支持向量回归都是只依赖于训练集的子集，因为构建模型的代价函数忽略任何接近于模型预测的训练数据。支持向量回归也有三种不同的形式：SVR、NuSVR和LinearSVR。
OneClassSVM实现了一个用于无监督的孤立点检测。
支持向量机是个强大的工具，不过它的计算和存储空间要求也会随着要训练向量的数目增加而快速增加。 SVM的核心是一个二次规划问题，是将支持向量和训练数据的其余部分分离开来。一般情况下复杂度为 ~ 。
惩罚系数C的设置：C定义了你对噪声的重视程度，如果数据中有很多噪声，我们应该减小C，防止模型过拟合。
gamma的设置：gamma 定义了单一 训练样本能起到多大的影响，这样就会导致只有某些训练样本就能占领主导地位，对于训练集可能效果会很好，但是对于测试集效果很差，即会导致过拟合，降低gamma能有效降低过拟合的风险，与C一样。
推荐一个网站，作者将SVM讲述的很好： SVM入门（一）至（三）Refresh - Jasper's Java Jacal - BlogJava
参考：《Scikit-Learn官方API》
如有错误，请指正；如有疑问，请留言。
我们在学习人工智能以及智能AI技术的时候曾经给大家介绍过不同的机器学习的方法，而今天我们就着重介绍一下，关于机器学习的常用算法都有哪些类型。
支持向量机是什么?支持向量机是一种有监督的机器学习算法，可以用于分类或回归问题。
它使用一种称为核技巧的技术来转换数据，然后根据这些转换在可能的输出之间找到一个边界。
简单地说，它做一些非常复杂的数据转换，然后根据定义的标签或输出来划分数据。
那么是什么让它如此伟大呢?支持向量机既能进行分类又能进行回归。
在本文中，我将重点介绍如何使用SVM进行分类。
我将特别关注非线性支持向量机，或者说是使用非线性核的支持向量机。
非线性支持向量机意味着算法计算的边界不一定是直线。
好处是您可以捕获数据点之间更复杂的关系，而不必自己做困难的转换。
缺点是训练时间更长，因为它需要更多的计算。
那么核技巧是什么?核技巧对你获得的数据进行转换。
有一些很好的特性，你认为可以用来做一个很好的分类器，然后出来一些你不再认识的数据。
这有点像解开一条DNA链。
你从这个看起来很难看的数据向量开始，在通过核技巧之后，它会被解开并自我复合，直到它现在是一个更大的数据集，通过查看电子表格无法理解。
但是这里有魔力，在扩展数据集时，你的类之间现在有更明显的界限，SVM算法能够计算出更加优化的超平面。
接下来，假设你是一个农民，你有一个问题-你需要设置一个围栏，以保护你的奶牛免受狼的攻击。
但是你在哪里建造篱笆?好吧，如果你是一个真正的数据驱动农民，你可以做的一件事就是建立一个基于你牧场中奶牛和狼的位置的分类器。
陕西北大青鸟建议通过几种不同类型的分类器，我们看到SVM在从狼群中分离你的奶牛方面做得很好。
我认为这些图也很好地说明了使用非线性分类器的好处。
您可以看到逻辑和决策树模型都只使用直线。
表示唯一即需要A中的向量不能相互表示，也就是A中的向量线性无关时，由A中向量表示成b时表示方法唯一。
条件：等价于AX = b这个方程有解。要理解一个问题，矩阵A实际上就是列向量组构成的，它与一个X向量相乘，得到的就是另外一个向量。也就说，这个向量可以被向量组A线性表示。
向量组个该向量组成的矩阵的秩等于或小于向量组中向量的个数，取自定理:若向量组α1,α2...αn线性无关，且α1,α2...αn,β线性相关，则β可由这个向量组α线性表出，且表示法唯一。
扩展资料：
注：
1、等价向量组具有传递性、对称性及反身性。但向量个数可以不一样，线性相关性也可以不一样。
2、任一向量组和它的极大无关组等价。
3、向量组的任意两个极大无关组等价。
4、两个等价的线性无关的向量组所含向量的个数相同。
5、等价的向量组具有相同的秩，但秩相同的向量组不一定等价。
6、如果向量组A可由向量组B线性表示，且R（A）=R（B），则A与B等价。
参考资料来源：百度百科-等价向量组
public static void Regular() throws Exception {
File inputfile = new File("F:\\weka\\eucalyptus_Train.arff");
ArffLoader loader = new ArffLoader();
loader.setFile(inputfile);
Instances insTrain = loader.getDataSet();
insTrain.setClassIndex(insTrain.numAttributes()-1);
inputfile = new File("F:\\weka\\eucalyptus_Test.arff");
loader.setFile(inputfile);
Instances insTest = loader.getDataSet();
insTest.setClassIndex(insTest.numAttributes()-1);
double sum = insTest.numInstances();
int right = 0;
Classifier clas = new J48();
//Classifier clas = new weka.classifiers.bayes.BayesNet();
clas.buildClassifier(insTrain);
for(int i = 0; i sum; i++) {
if(clas.classifyInstance(insTest.instance(i)) == insTest.instance(i).classValue()) {
right++;
}
System.out.println(clas.classifyInstance(insTest.instance(i))+" : "+insTest.instance(i).classValue());
}
System.out.println("分类准确率："+right/sum);
}
svm的话，要用一个wlsvm的包。 代码是一样的，就是Classifier class= new J48()这里要用svm的实例