<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>felix</title>
    <description>blog &amp; blog theme🤘</description>
    <link>https://felix0913.github.io/</link>
    <atom:link href="https://felix0913.github.io/feed.xml" rel="self" type="application/rss+xml"/>
    <pubDate>Sat, 30 Mar 2019 16:23:05 +0000</pubDate>
    <lastBuildDate>Sat, 30 Mar 2019 16:23:05 +0000</lastBuildDate>
    <generator>Jekyll v3.7.4</generator>
    
      <item>
        <title>hadoop生态</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#hadoop生态&quot; id=&quot;markdown-toc-hadoop生态&quot;&gt;hadoop生态&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#工程&quot; id=&quot;markdown-toc-工程&quot;&gt;工程&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#工程中经常需要使用机器学习技术来挖掘数据价值&quot; id=&quot;markdown-toc-工程中经常需要使用机器学习技术来挖掘数据价值&quot;&gt;工程中经常需要使用机器学习技术来挖掘数据价值。&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#常见业务&quot; id=&quot;markdown-toc-常见业务&quot;&gt;常见业务&lt;/a&gt;        &lt;ul&gt;
          &lt;li&gt;&lt;a href=&quot;#搜索场景&quot; id=&quot;markdown-toc-搜索场景&quot;&gt;搜索场景&lt;/a&gt;            &lt;ul&gt;
              &lt;li&gt;&lt;a href=&quot;#推荐实现的步骤&quot; id=&quot;markdown-toc-推荐实现的步骤&quot;&gt;推荐实现的步骤：&lt;/a&gt;&lt;/li&gt;
              &lt;li&gt;&lt;a href=&quot;#技术实现&quot; id=&quot;markdown-toc-技术实现&quot;&gt;技术实现：&lt;/a&gt;&lt;/li&gt;
            &lt;/ul&gt;
          &lt;/li&gt;
          &lt;li&gt;&lt;a href=&quot;#实时与离线处理的关系&quot; id=&quot;markdown-toc-实时与离线处理的关系&quot;&gt;实时与离线处理的关系&lt;/a&gt;&lt;/li&gt;
          &lt;li&gt;&lt;a href=&quot;#基于mapreduce的建库系统&quot; id=&quot;markdown-toc-基于mapreduce的建库系统&quot;&gt;基于MapReduce的建库系统&lt;/a&gt;&lt;/li&gt;
        &lt;/ul&gt;
      &lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&quot;hadoop生态&quot;&gt;hadoop生态&lt;/h1&gt;
hadoop生态，最底层为HDFS, 分布式文件系统

在往上，为Hbase，分布式数据库

再上层，就是mapreduce计算框架，storm（流式计算），spark
&lt;ul&gt;
  &lt;li&gt;mapreduce：批量的数据处理&lt;/li&gt;
  &lt;li&gt;storm：实时处理。&lt;/li&gt;
  &lt;li&gt;spark：可批量，可实时，stream， SQL，mllib等&lt;/li&gt;
&lt;/ul&gt;

再上层，hive（sql引擎），mahout，webserver
&lt;ul&gt;
  &lt;li&gt;hive：将sql语句翻译成mapreduce，本质就是mapreduce。&lt;/li&gt;
  &lt;li&gt;mahout：机器学习的lib&lt;/li&gt;
  &lt;li&gt;webserver： pyweb， nginx等&lt;/li&gt;
&lt;/ul&gt;

贯穿在整个集群中的，是分布式锁服务zookeeper。

如图：
&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/hadoop-1.jpg?raw=true&quot; alt=&quot;&quot; /&gt;

&lt;h1 id=&quot;工程&quot;&gt;工程&lt;/h1&gt;
&lt;h2 id=&quot;工程中经常需要使用机器学习技术来挖掘数据价值&quot;&gt;工程中经常需要使用机器学习技术来挖掘数据价值。&lt;/h2&gt;
&lt;ul&gt;
  &lt;li&gt;机器学习
    &lt;ul&gt;
      &lt;li&gt;分类算法&lt;/li&gt;
      &lt;li&gt;推荐算法&lt;/li&gt;
      &lt;li&gt;聚类算法&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;常见业务&quot;&gt;常见业务&lt;/h2&gt;
&lt;h3 id=&quot;搜索场景&quot;&gt;搜索场景&lt;/h3&gt;
以前：人与内容
现在：人与服务

音乐数据来自两类：pgc，ugc

物品（item）：属性（features），一般被称为元数据（metadata）。

item- 物品

user- 用户（行为：点击，展现，收藏，支付。。。）
&lt;ul&gt;
  &lt;li&gt;不同的行为 用户付出的成本是不一样的，也就是推荐时权重是不一样的&lt;/li&gt;
&lt;/ul&gt;

简单的推荐引擎架构
&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/hadoop-2.jpg?raw=true&quot; alt=&quot;&quot; /&gt;

用户点击itemA（港台十大经典歌曲《朋友》）后，系统将item交给引擎处理，引擎会从后端的nosql数据库中查出与itemA相关性较高的item推荐给用户。

&lt;h4 id=&quot;推荐实现的步骤&quot;&gt;推荐实现的步骤：&lt;/h4&gt;
&lt;ol&gt;
  &lt;li&gt;召回阶段（粗排）：用token检索item（或者用item检索item），本质是找候选的过程&lt;/li&gt;
  &lt;li&gt;过滤阶段：把候选集合中劣质的item过滤掉&lt;/li&gt;
  &lt;li&gt;排序阶段（精排）：把好的item排在前面。&lt;/li&gt;
  &lt;li&gt;截断阶段：topN，取top的过程&lt;/li&gt;
&lt;/ol&gt;

&lt;h4 id=&quot;技术实现&quot;&gt;技术实现：&lt;/h4&gt;
&lt;ul&gt;
  &lt;li&gt;分词技术：
    &lt;ul&gt;
      &lt;li&gt;将歌曲名称进行分词，形成多个token&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;如某个token在itemA及另外item中都出现，相关性较强&lt;/li&gt;
  &lt;li&gt;模型打分：
    &lt;ul&gt;
      &lt;li&gt;对推荐候选进行模型打分。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;数据库中储存的信息
    &lt;ul&gt;
      &lt;li&gt;可以是token与item的相关关系（需要&lt;strong&gt;实时&lt;/strong&gt;对item进行分词获取token，指的是用户响应角度）&lt;/li&gt;
      &lt;li&gt;也可以是item与item的相关关系（需要提前&lt;strong&gt;离线&lt;/strong&gt;算好item与item的关系）&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;item指向token的表是正排表：
token指向item的表是倒排表。
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;实时与离线处理的关系&quot;&gt;实时与离线处理的关系&lt;/h3&gt;
见下图
&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/hadoop-3.jpg?raw=true&quot; alt=&quot;&quot; /&gt;
&lt;ul&gt;
  &lt;li&gt;mapreduce任务 可以执行更多逻辑&lt;/li&gt;
  &lt;li&gt;storm 实时处理的时候 只能执行简单逻辑&lt;/li&gt;
  &lt;li&gt;将实时与离线的数据合并后，插入到数据库中。&lt;/li&gt;
  &lt;li&gt;需要注意实时与离线数据合并的逻辑&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;基于mapreduce的建库系统&quot;&gt;基于MapReduce的建库系统&lt;/h3&gt;
&lt;ul&gt;
  &lt;li&gt;目的：建立供检索使用的索引和摘要&lt;/li&gt;
  &lt;li&gt;输入：网页&lt;/li&gt;
  &lt;li&gt;输出： 索引和摘要&lt;/li&gt;
  &lt;li&gt;处理：多轮mapreduce&lt;/li&gt;
  &lt;li&gt;页面分析和处理：parser-extractor&lt;/li&gt;
  &lt;li&gt;页面属性小库输出：splitter&lt;/li&gt;
  &lt;li&gt;小库正排转倒排 invert-index&lt;/li&gt;
  &lt;li&gt;小库合并大库 index merge&lt;/li&gt;
&lt;/ul&gt;

</description>
        <pubDate>Sun, 24 Mar 2019 00:00:00 +0000</pubDate>
        <link>https://felix0913.github.io/2019/03/24/hadoop%E7%94%9F%E6%80%81/</link>
        <guid isPermaLink="true">https://felix0913.github.io/2019/03/24/hadoop%E7%94%9F%E6%80%81/</guid>
        
        <category>hadoop</category>
        
        
        <category>大数据</category>
        
      </item>
    
      <item>
        <title>decision tree学习-2</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#信息增益的计算&quot; id=&quot;markdown-toc-信息增益的计算&quot;&gt;信息增益的计算&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#计算熵&quot; id=&quot;markdown-toc-计算熵&quot;&gt;计算熵&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&quot;信息增益的计算&quot;&gt;信息增益的计算&lt;/h1&gt;
对于如下数据集（feature为grade， bumpyness，speed limit， label为speed）

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;grade&lt;/th&gt;
      &lt;th&gt;bumpiness&lt;/th&gt;
      &lt;th&gt;speed limit?&lt;/th&gt;
      &lt;th&gt;speed&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;steep&lt;/td&gt;
      &lt;td&gt;bumpy&lt;/td&gt;
      &lt;td&gt;yes&lt;/td&gt;
      &lt;td&gt;slow&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;steep&lt;/td&gt;
      &lt;td&gt;smooth&lt;/td&gt;
      &lt;td&gt;yes&lt;/td&gt;
      &lt;td&gt;slow&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;flat&lt;/td&gt;
      &lt;td&gt;bumpy&lt;/td&gt;
      &lt;td&gt;no&lt;/td&gt;
      &lt;td&gt;fast&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;steep&lt;/td&gt;
      &lt;td&gt;smooth&lt;/td&gt;
      &lt;td&gt;no&lt;/td&gt;
      &lt;td&gt;fast&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/entropy_formula.jpg?raw=true&quot; alt=&quot;entropy公式&quot; /&gt;

&lt;ul&gt;
  &lt;li&gt;如果所有的样本是同一类，他的entropy（熵）为0&lt;/li&gt;
  &lt;li&gt;如果所有样本被&lt;strong&gt;均匀&lt;/strong&gt;分散到所有可用类中，他的entropy为1&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;计算熵&quot;&gt;计算熵&lt;/h2&gt;
&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/entropy_1.jpg?raw=true&quot; alt=&quot;&quot; /&gt;
p(slow) = 2/4= 0.5

p(fast) = 2/4= 0.5

该节点的entropy为
&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;entropy(node) = -p(slow)*log(p(slow)) - p(fast)*log(p(fast))
               = -0.5* log(0.5)  - 0.5 * log(0.5)
               = 1.0
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

</description>
        <pubDate>Wed, 20 Mar 2019 16:00:00 +0000</pubDate>
        <link>https://felix0913.github.io/2019/03/20/decision-tree%E5%AD%A6%E4%B9%A0-2/</link>
        <guid isPermaLink="true">https://felix0913.github.io/2019/03/20/decision-tree%E5%AD%A6%E4%B9%A0-2/</guid>
        
        <category>decisionTree</category>
        
        <category>ml</category>
        
        
        <category>MachineLearning</category>
        
      </item>
    
      <item>
        <title>机器学习西瓜书笔记-1</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#过拟合欠拟合&quot; id=&quot;markdown-toc-过拟合欠拟合&quot;&gt;过拟合，欠拟合&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#形成原因&quot; id=&quot;markdown-toc-形成原因&quot;&gt;形成原因&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#如何规避&quot; id=&quot;markdown-toc-如何规避&quot;&gt;如何规避&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#评估方法&quot; id=&quot;markdown-toc-评估方法&quot;&gt;评估方法&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#留出法&quot; id=&quot;markdown-toc-留出法&quot;&gt;留出法&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#交叉验证法&quot; id=&quot;markdown-toc-交叉验证法&quot;&gt;交叉验证法&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#调参与最终模型&quot; id=&quot;markdown-toc-调参与最终模型&quot;&gt;调参与最终模型&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#性能度量&quot; id=&quot;markdown-toc-性能度量&quot;&gt;性能度量&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#错误率与精度&quot; id=&quot;markdown-toc-错误率与精度&quot;&gt;错误率与精度&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#准确率-召回率-f1&quot; id=&quot;markdown-toc-准确率-召回率-f1&quot;&gt;准确率 召回率 F1&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#roc-与-auc&quot; id=&quot;markdown-toc-roc-与-auc&quot;&gt;ROC 与 AUC&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#代价敏感错误率与代价曲线&quot; id=&quot;markdown-toc-代价敏感错误率与代价曲线&quot;&gt;代价敏感错误率与代价曲线&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&quot;过拟合欠拟合&quot;&gt;过拟合，欠拟合&lt;/h1&gt;
学习器在训练集上的误差称为“训练误差”， 在新样本上的误差被称为“泛化误差”

我们希望在新样本上表现得很好的学习器。

&lt;h2 id=&quot;形成原因&quot;&gt;形成原因&lt;/h2&gt;
导致过拟合最常见的情况是由于学习能力过于强大，以至于把训练样本中所包含的不太一般的特性都学到了。

欠拟合则多数是由于学习能力低下造成的。

&lt;h2 id=&quot;如何规避&quot;&gt;如何规避&lt;/h2&gt;

欠拟合：一般增加训练数据或训练轮数等
&lt;ul&gt;
  &lt;li&gt;在决策树学习中扩展分支&lt;/li&gt;
  &lt;li&gt;在神经网络学习中增加训练轮数&lt;/li&gt;
&lt;/ul&gt;

过拟合则比较难规避。过拟合是无法彻底避免的，我们只能缓解或减小其风险。

&lt;h1 id=&quot;评估方法&quot;&gt;评估方法&lt;/h1&gt;
&lt;h2 id=&quot;留出法&quot;&gt;留出法&lt;/h2&gt;
“留出法”直接将数据集D划分为两个互斥的集合。其中一个作为训练集，另一个作为测试集。

训练/测试集的划分要尽可能保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响

&lt;h2 id=&quot;交叉验证法&quot;&gt;交叉验证法&lt;/h2&gt;
cross validation： 先将数据集划分为k个大小相似的互斥集合，每次用k-1个子集作为训练集，余下的那个子集作为测试集；这样就获得了k组测试/训练集，从而可以进行k次训练和测试，最终返回k个测试结果的均值。通常称为 &lt;code class=&quot;highlighter-rouge&quot;&gt;k折交叉验证&lt;/code&gt; 。

为减少因样本划分不同而引入的差别，k折交叉验证通常要随机使用不同的划分重复p次。最终的评估结果是这p次k折交叉验证结果的均值。

&lt;h2 id=&quot;调参与最终模型&quot;&gt;调参与最终模型&lt;/h2&gt;
机器学习常涉及两类参数：
&lt;ul&gt;
  &lt;li&gt;算法的参数：超参数。通常由人工设定多个参数候选值后产生模型&lt;/li&gt;
  &lt;li&gt;模型的参数。通过学习来产生多个候选模型&lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&quot;性能度量&quot;&gt;性能度量&lt;/h1&gt;
&lt;h2 id=&quot;错误率与精度&quot;&gt;错误率与精度&lt;/h2&gt;
错误率是分类错误的样本数占样本总数的比例

精度则是分类正确的样本数占样本总数的比例

定义
&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/precision-1.jpg?raw=true&quot; alt=&quot;&quot; /&gt;

&lt;h2 id=&quot;准确率-召回率-f1&quot;&gt;准确率 召回率 F1&lt;/h2&gt;
对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例（true positive）， 假正例（false positive），真反例（true negative）,假反例（false negative）四种情形。TP+FP+TN+FN=样例总数。

分类结果的“混淆矩阵”如下表
&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/confusion-matrix.jpg?raw=true&quot; alt=&quot;&quot; /&gt;

准确率： P = TP / (TP+FP)

召回率： R = TP / (TP+FN)

准确率与召回率是一对矛盾的度量。我们经常使用F1 来度量

F1 = 2 * P * R / (P + R)

&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/f-beta.jpg?raw=true&quot; alt=&quot;&quot; /&gt;

&lt;h2 id=&quot;roc-与-auc&quot;&gt;ROC 与 AUC&lt;/h2&gt;
ROC全称是“受试者工作特征”曲线。
&lt;ul&gt;
  &lt;li&gt;ROC纵轴是“真正例率”（True Positive Rate，简称TPR）&lt;/li&gt;
  &lt;li&gt;POC横轴是“假正例率”（False Positive Rate，简称FPR）&lt;/li&gt;
&lt;/ul&gt;

TPR = TP / (TP + FN)

FPR = FP / (TN + FP)

&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/roc-1.jpg?raw=true&quot; alt=&quot;&quot; /&gt;

进行学习器比较时，若一个学习器的ROC曲线被另一个学习器的曲线完全包住，则可断言后者性能优于前者；若两个学习器的ROC曲线发生交叉，则需要比较ROC曲线下的面积，即 &lt;code class=&quot;highlighter-rouge&quot;&gt;AUC (Area Under ROC Curve)&lt;/code&gt;

AUC可通过对ROC曲线下各部分的面积求和而得。

&lt;h2 id=&quot;代价敏感错误率与代价曲线&quot;&gt;代价敏感错误率与代价曲线&lt;/h2&gt;
现实任务中不同错误所造成的损失是不同的。比如：医疗诊断时，有可能将健康人诊断为病人，即FN, 也可能将病人诊断为健康人，即FP； 两者都是犯了错误，但错误的影响时不一样的。前者只是需要进一步检查，后者可能就会丧失治疗的最佳时机。

为权衡不同类型错误所造成的不同损失，可将错误赋予“非均等代价（unequal cost）”

二分类代价矩阵
&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/cost-matrix.jpg?raw=true&quot; alt=&quot;&quot; /&gt;

上图中，cost(ij) 指的是第i类被预测为第j类样本的代价。

&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/cost-sensitive.jpg?raw=true&quot; alt=&quot;&quot; /&gt;
</description>
        <pubDate>Wed, 20 Mar 2019 15:55:00 +0000</pubDate>
        <link>https://felix0913.github.io/2019/03/20/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%A5%BF%E7%93%9C%E4%B9%A6%E7%AC%94%E8%AE%B0-1/</link>
        <guid isPermaLink="true">https://felix0913.github.io/2019/03/20/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%A5%BF%E7%93%9C%E4%B9%A6%E7%AC%94%E8%AE%B0-1/</guid>
        
        <category>ml</category>
        
        <category>overfitting</category>
        
        <category>roc</category>
        
        <category>auc</category>
        
        <category>召回</category>
        
        
        <category>MachineLearning</category>
        
      </item>
    
      <item>
        <title>decision tree学习-1</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#一些概念&quot; id=&quot;markdown-toc-一些概念&quot;&gt;一些概念&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#决策树&quot; id=&quot;markdown-toc-决策树&quot;&gt;决策树&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#20-questions&quot; id=&quot;markdown-toc-20-questions&quot;&gt;20 questions&lt;/a&gt;        &lt;ul&gt;
          &lt;li&gt;&lt;a href=&quot;#策略&quot; id=&quot;markdown-toc-策略&quot;&gt;策略：&lt;/a&gt;&lt;/li&gt;
          &lt;li&gt;&lt;a href=&quot;#算法&quot; id=&quot;markdown-toc-算法&quot;&gt;算法&lt;/a&gt;&lt;/li&gt;
        &lt;/ul&gt;
      &lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#id3算法&quot; id=&quot;markdown-toc-id3算法&quot;&gt;ID3算法&lt;/a&gt;        &lt;ul&gt;
          &lt;li&gt;&lt;a href=&quot;#奥卡姆剃刀原理&quot; id=&quot;markdown-toc-奥卡姆剃刀原理&quot;&gt;奥卡姆剃刀原理：&lt;/a&gt;&lt;/li&gt;
          &lt;li&gt;&lt;a href=&quot;#id3推荐&quot; id=&quot;markdown-toc-id3推荐&quot;&gt;ID3推荐：&lt;/a&gt;&lt;/li&gt;
          &lt;li&gt;&lt;a href=&quot;#information-gain公式&quot; id=&quot;markdown-toc-information-gain公式&quot;&gt;information gain公式&lt;/a&gt;&lt;/li&gt;
          &lt;li&gt;&lt;a href=&quot;#entropy公式&quot; id=&quot;markdown-toc-entropy公式&quot;&gt;entropy公式&lt;/a&gt;&lt;/li&gt;
          &lt;li&gt;&lt;a href=&quot;#决策树其他问题&quot; id=&quot;markdown-toc-决策树其他问题&quot;&gt;决策树其他问题&lt;/a&gt;&lt;/li&gt;
        &lt;/ul&gt;
      &lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

决策树是一种十分常见的分类方法，是一种监督学习。

监督学习：take examples of inputs and outputs to learn and train an algorithm, then give a new input, use this algorithm to predict an output.

监督学习可以分为classification与regression。classification与regression的分类与input无关，&lt;strong&gt;与output有关&lt;/strong&gt;
&lt;ul&gt;
  &lt;li&gt;如果output是连续的，就是regression&lt;/li&gt;
  &lt;li&gt;如果output是离散集合，就是classification&lt;/li&gt;
&lt;/ul&gt;

classfiction 与 regression的比较见如下表格：

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;Input&lt;/th&gt;
      &lt;th&gt;Output&lt;/th&gt;
      &lt;th&gt;classificaction or Regression&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;Credit history&lt;/td&gt;
      &lt;td&gt;lend money or not&lt;/td&gt;
      &lt;td&gt;classification&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;a picture of person&lt;/td&gt;
      &lt;td&gt;high school, college or graduate&lt;/td&gt;
      &lt;td&gt;classification&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;a picture of person&lt;/td&gt;
      &lt;td&gt;age(float)&lt;/td&gt;
      &lt;td&gt;Regression&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;h1 id=&quot;一些概念&quot;&gt;一些概念&lt;/h1&gt;
&lt;ul&gt;
  &lt;li&gt;training set
    &lt;ul&gt;
      &lt;li&gt;就是一些input，被打好标签（label）。就是一个集合，集合中的item拥有正确的input，output对。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;test set 测试集：
    &lt;ul&gt;
      &lt;li&gt;通过training set训练出一个算法，然后运用到test set中，算法获取的output与真实output比较，查看效果&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;candidate：
    &lt;ul&gt;
      &lt;li&gt;只有input，output需要通过算法获取。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;strong&gt;training set和test set不能一样&lt;/strong&gt;

&lt;h1 id=&quot;决策树&quot;&gt;决策树&lt;/h1&gt;
&lt;h2 id=&quot;20-questions&quot;&gt;20 questions&lt;/h2&gt;
&lt;code class=&quot;highlighter-rouge&quot;&gt;20 questions&lt;/code&gt; 是一个游戏，一个人脑海中想象一个事物，另一个人通过20个是非问题来确定这个事物是什么。

&lt;h3 id=&quot;策略&quot;&gt;策略：&lt;/h3&gt;
&lt;ul&gt;
  &lt;li&gt;最开始问的问题需要尽可能缩小范围，如果最开始问的就是具体问题，如果回答“否”，则基本获取不到信息。&lt;/li&gt;
  &lt;li&gt;问的问题的顺序可能不能颠倒。因为你下一个问题取决于上一个问题中获取的答案。&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;算法&quot;&gt;算法&lt;/h3&gt;
&lt;ol&gt;
  &lt;li&gt;Pick best Attribute
    &lt;ul&gt;
      &lt;li&gt;Best: roughly split things in half&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;asked question&lt;/li&gt;
  &lt;li&gt;follow the answer path&lt;/li&gt;
  &lt;li&gt;go to 1
    &lt;ul&gt;
      &lt;li&gt;until got an answer&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&quot;id3算法&quot;&gt;ID3算法&lt;/h2&gt;
Loop
&lt;ol&gt;
  &lt;li&gt;A &amp;lt;— best attribute&lt;/li&gt;
  &lt;li&gt;assign A as decision attribute for node&lt;/li&gt;
  &lt;li&gt;For each value of A, create a descendent of node&lt;/li&gt;
  &lt;li&gt;sort training examples to leaves based upon exactly what values they take on&lt;/li&gt;
  &lt;li&gt;if examples perfectly classified, stop；otherwise, iterate over each leaves, picking the best attribute in turn.&lt;/li&gt;
&lt;/ol&gt;

中文解释：
&lt;ul&gt;
  &lt;li&gt;ID3算法是决策树的一种，基于&lt;strong&gt;奥卡姆剃刀原理&lt;/strong&gt;，即用尽量少的东西做更多的事情。ID3算法，基础就是奥卡姆剃刀原理：越是小型的决策树越优于大的决策树。尽管如此，也不总是生产最小的树形结构。&lt;/li&gt;
  &lt;li&gt;ID3核心思想就是&lt;strong&gt;以信息增益来度量属性的选择&lt;/strong&gt;，&lt;strong&gt;选择分裂后信息增益最大的属性进行分裂&lt;/strong&gt;。该算法采用自顶而下的贪婪搜索遍历可能的决策空间。&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;奥卡姆剃刀原理&quot;&gt;奥卡姆剃刀原理：&lt;/h3&gt;
&lt;ul&gt;
  &lt;li&gt;简单有效原理&lt;/li&gt;
  &lt;li&gt;常用于两种或两种以上假说的取舍上：
    &lt;ul&gt;
      &lt;li&gt;如果对于同一现象有两种或多种不同的假说，我们&lt;strong&gt;应当采取比较简单或可证伪的那一种&lt;/strong&gt;。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;id3推荐&quot;&gt;ID3推荐：&lt;/h3&gt;
&lt;ul&gt;
  &lt;li&gt;good splits at the top&lt;/li&gt;
  &lt;li&gt;prefer correct over incorrect ones&lt;/li&gt;
  &lt;li&gt;prefer shorter trees over longer trees&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;information-gain公式&quot;&gt;information gain公式&lt;/h3&gt;
information gain：通过挑选特定属性获取信息量的数学方法。

&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/gain%E5%85%AC%E5%BC%8F.jpg?raw=true&quot; alt=&quot;gain公式&quot; /&gt;
&lt;ul&gt;
  &lt;li&gt;S: 我们需要查看的训练样本的集合&lt;/li&gt;
  &lt;li&gt;A: 特定的特征&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;entropy公式&quot;&gt;entropy公式&lt;/h3&gt;
entropy： 测量随机性的一种方法。

&lt;img src=&quot;https://github.com/felix0913/felix0913.github.io/blob/master/_pic/entropy_formula.jpg?raw=true&quot; alt=&quot;entropy公式&quot; /&gt;

&lt;ul&gt;
  &lt;li&gt;Pi是第i类中的样本占总样本数的比例，再对所有类的结果求和&lt;/li&gt;
  &lt;li&gt;熵与数据单一性呈负相关&lt;/li&gt;
  &lt;li&gt;极端情况下，所有样本属于同一类，熵为0。在另一种极端情况下，样本均匀分布在所有类中，熵为最大值1.0。&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;决策树其他问题&quot;&gt;决策树其他问题&lt;/h3&gt;
&lt;ul&gt;
  &lt;li&gt;何时停止
    &lt;ul&gt;
      &lt;li&gt;所有条目被正确分类后停止（若有noise，则可能无法每个条目都被正确分类）&lt;/li&gt;
      &lt;li&gt;no overfitting&lt;/li&gt;
      &lt;li&gt;pruning  修剪
在决策树中，通常算法overfit的原因是，这个决策树太大，太复杂。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;does it make sense to repeat an attribute along a path in the tree?
    &lt;ul&gt;
      &lt;li&gt;no&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;
</description>
        <pubDate>Tue, 19 Mar 2019 16:00:00 +0000</pubDate>
        <link>https://felix0913.github.io/2019/03/19/decision-tree%E5%AD%A6%E4%B9%A0-1/</link>
        <guid isPermaLink="true">https://felix0913.github.io/2019/03/19/decision-tree%E5%AD%A6%E4%B9%A0-1/</guid>
        
        <category>decisionTree</category>
        
        <category>ml</category>
        
        
        <category>MachineLearning</category>
        
      </item>
    
      <item>
        <title>mapreduce任务启动时，报错YarnException Unauthorized request to start container</title>
        <description>
执行MapReduce任务时，出现如下报错：
&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;[root@master mapreduce_wordcount_python]# bash run.sh 
rmr: DEPRECATED: Please use 'rm -r' instead.
rmr: `/output': No such file or directory
19/02/15 14:50:20 WARN streaming.StreamJob: -file option is deprecated, please use generic option -files instead.
packageJobJar: [./map_new.py, ./red_new.py, /tmp/hadoop-unjar1610102638531802348/] [] /tmp/streamjob2624593896310271836.jar tmpDir=null
19/02/15 14:50:21 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.211.10:8032
19/02/15 14:50:21 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.211.10:8032
19/02/15 14:50:22 INFO mapred.FileInputFormat: Total input paths to process : 1
19/02/15 14:50:22 INFO mapreduce.JobSubmitter: number of splits:2
19/02/15 14:50:22 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1550239813206_0002
19/02/15 14:50:23 INFO impl.YarnClientImpl: Submitted application application_1550239813206_0002
19/02/15 14:50:23 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1550239813206_0002/
19/02/15 14:50:23 INFO mapreduce.Job: Running job: job_1550239813206_0002
19/02/15 14:50:24 INFO mapreduce.Job: Job job_1550239813206_0002 running in uber mode : false
19/02/15 14:50:24 INFO mapreduce.Job:  map 0% reduce 0%
19/02/15 14:50:24 INFO mapreduce.Job: Job job_1550239813206_0002 failed with state FAILED due to: Application application_1550239813206_0002 failed 2 times due to Error launching appattempt_1550239813206_0002_000002. Got exception: org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. 
This token is expired. current time is 1550242223020 found 1550214024349
Note: System times on machines may be out of sync. Check system time and time zones.
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)
	at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)
	at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.launch(AMLauncher.java:123)
	at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.run(AMLauncher.java:251)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
. Failing the application.
19/02/15 14:50:24 INFO mapreduce.Job: Counters: 0
19/02/15 14:50:24 ERROR streaming.StreamJob: Job not successful!
Streaming Command Failed!
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

在网上查了下报错，见&lt;a href=&quot;https://stackoverflow.com/questions/20257878/yarnexception-unauthorized-request-to-start-container&quot;&gt;链接&lt;/a&gt;

问题原因为：
&lt;div class=&quot;highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;This exception occurs when your nodes have different time settings. Make sure that your all 3 nodes have same time n timezone settings and then restart computer.
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

我检查了我的集群，确实发现集群各节点时间不对。

修改好时间，并做好ntpdate同步后，我未重启集群 ，直接重新执行，任务正常
</description>
        <pubDate>Tue, 19 Mar 2019 15:55:00 +0000</pubDate>
        <link>https://felix0913.github.io/2019/03/19/mapreduce%E4%BB%BB%E5%8A%A1%E6%8A%A5%E9%94%99-YarnException-Unauthorized-request-to-start-container/</link>
        <guid isPermaLink="true">https://felix0913.github.io/2019/03/19/mapreduce%E4%BB%BB%E5%8A%A1%E6%8A%A5%E9%94%99-YarnException-Unauthorized-request-to-start-container/</guid>
        
        <category>mapreduce</category>
        
        <category>报错</category>
        
        
        <category>大数据</category>
        
      </item>
    
  </channel>
</rss>
