您好、欢迎来到现金彩票网!
当前位置:彩票控 > 负载冒险模型 >

独家 使用LSTMs和Prophet进行时间序列预测你的电子邮箱负载(附

发布时间:2019-07-02 16:39 来源:未知 编辑:admin

  本文通过基线模型、LSTMs和Facebook的Prophet模型来预测每天的电子邮箱负荷,并详细解析了生成训练数据集的过程以及相应代码。

  毕竟,如果一个人能够预测未来,那该有多牛逼啊!通常用来演示预测算法的典型数据集是股票图表、销售和气象数据。在这里,我们将尝试一些与每个用户更相关的东西,即你将收到的电子邮件的数量。根据一份电子邮件统计报告,2014年上半年,上班族平均每天收到85封电子邮件(http:/)。

  我们想尝试根据历史收件数据做出准确的预测。为此,我们将探索运用LSTMs和Facebook的Prophet。这里的目标是如何为不同的算法准备数据,并提供定性的概述,而不是精细化。预测结果将根据历史收到的电子邮件数量以及所准备的训练数据而有很大的不同。

  在IBM imapclient sql包的帮助下,我们从使用自己的收件箱创建数据集开始。

  我们将加载过去三年(从2016年1月1日开始)的所有电子邮件,并获取主题和日期。我们会使用Pandas将其转换为一个数据文件(Dataframe)。

  我们现在得到了12738封用于训练的电子邮件。请注意,上面的代码是针对一个装满电子邮件的收件箱。如果你已将电子邮件放在不同的文件夹中,请相应地调整代码。包括我在内的一些人会立即删除那些不重要的电子邮件。然后,模型输出的是重要邮件的数量,而不是实际收到的电子邮件数量。还要注意的是,一些电子邮件提供商(如Google)会阻止这个连接,因为他们不允许“不太安全”的应用程序连接到他们的服务。你可以在其设置中启用此功能。原则上,你还可以检验(签出)本地邮箱。检验(签出)统一邮箱程序包可能是个好的开始。

  现在,让我们首先做一些可视化的数据探索和图表,每小时和每天的电子邮件数量。对于这一点,我们将使用pandas及重新采样的groubpy 函数(聚合分组运算)。通过使用sum()和count()参数,我们可以对每个时间间隔进行标准化。另外,我们还使用了seaborn函数来实现可视化。

  从数据中我们可以看到一个明显的规律,即分发遵循一个典型模式,从星期一至星期五早9-晚5的时间表,其中上午10点收到的邮件最多。由于每小时电子邮件的最大值仅略高于1,因此对每小时进行预测是没有意义的。我们将尝试预测每天的电子邮件工作量。

  在深入研究我们的模型之前,有必要考虑一下这个问题的相关假设。接收电子邮件的时间在某种程度上是随机的,因此无法预测。在大多数情况下,发送方互相不认识,因此可以假设它们在统计上是独立的。另外,我们可以将收件近似为泊松过程(Poissonian),它的标准偏差等于平均值。由于分布是随机的,12封电子邮件的期望的RMSE值至少为3.5(sqrt(11.95)~3.461)。

  为了创建基线模型,我们可以使用历史数据中的查询表。对于任意的某一天,计算在一天之前收到的电子邮件数量。为了对模型进行基准测试,我使用一个移动窗口来创建查询表,并计算到第二天的预测差异值。

  通过观察损失函数,我们可以看到LSTM网络通过迭代学习更好地预测了未来。它的RMSE比基线模型要好一些,但也并没有好多少。这一结果表明,LSTM网络能够学习周末和工作日的结构,周末收到的电子邮件更少。另外值得一提的是,我们不能直接将基线的RMSE与LSTM进行比较。因为LSTM实际上只用到了80%的训练数据。我们也可以使用全部数据来训练LSTM,然而从计算上来说,这样做的代价要高得多。

  接下来,我们将使用facebook的Prophet库(。它是一个加性模型,我们可以用年、周和日的季节性来拟合非线性趋势。同样地,我们将把数据分成训练集和测试集,并计算RMSE值。

  从RMSE来看,Prophet模型实现了最佳性能。现在让我们研究一下这是为什么。为此,我们绘制模型的各个构成部分,以便更好地理解模型所做的工作。这只需要使用性能指标函数就可以输出结果。

  通过检查Prophet模型的构成,我们可以看到它识别出了数据中的关键趋势。总趋势表明邮件数量在整体上不断增加。每周的季节性准确地描绘了工作日/周末的时间波动。每年的季节性显示主要节日,即新年电子邮件很少,但在圣诞节前有所增加,而低点在9月份。

  最后,我们使用Prophet模型作为我们的预测工具。为此,我们再次登录到IMAP服务器,并使用自2016年1月1日以来的所有历史数据来训练我们的预测模型。训练完毕后,我们绘制了前一周的历史数据和下一周的预测情况。

  LSTMS和Facebook的Prophet模型提供了一种简单易懂的方法来预测电子邮件数量,而且具有相当好的准确性。考虑到模型的基本机制,这一结果是可以理解的。LSTM预测是基于一组最后的值,因此不太容易考虑到季节差异。相比之下,Prophet模型发现并显示了季节性。

  这类问题的一个关键挑战是,如果只有零星的偶发事件,那么内在趋势是不可预测的。

  最后别忘了,我们的基线模型的表现就很不错,所以你不一定总是需要复杂的机器学习算法来搭建你的预测模型。

  笪洁琼,中南财大MBA在读,目前研究方向:金融大数据。目前正在学习如何将py等其他软件广泛应用于金融实际操作中,例如抓包预测走势(不会预测股票/虚拟币价格)。可能是金融财务中最懂建筑设计(风水方向)的长腿女生。花式调酒机车冲沙。上赛场里跑过步开过车,商院张掖丝路挑战赛3天徒步78公里。大美山水心欲往,凛冽风雨信步行

  工作内容:需要一颗细致的心,将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生,或在海外从事相关工作,或对自己外语水平有信心的朋友欢迎加入翻译小组。

  你能得到:定期的翻译培训提高志愿者的翻译水平,提高对于数据科学前沿的认知,海外的朋友可以和国内技术应用发展保持联系,THU数据派产学研的背景为志愿者带来好的发展机遇。

  其他福利:来自于名企的数据科学工作者,北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。

  如需转载,请在开篇显著位置注明作者和出处(转自:数据派ID:datapi),并在文章结尾放置数据派醒目二维码。有原创标识文章,请发送【文章名称-待授权公众号名称及ID】至联系邮箱,申请白名单授权并按要求编辑。

  发布后请将链接反馈至联系邮箱(见下方)。未经许可的转载以及改编者,我们将依法追究其法律责任。

  首先,在之前毫无深度学习基础的情况下,花费了近11小时(包括在火车上读了一小时代码),最终完成本次大作业。    接下来这篇文章将完整叙述一个只有linux基础的菜鸟是如何完成这项大作业任务的...博文来自:weixin_42489987的博客

  作者:ANKITCHOUDHARY;翻译:王雨桐;校对:丁楠雅;本文约3000字,建议阅读12分钟。本文将通过拆解Prophet的原理及代码实例来讲解如何运用Proph......博文来自:数据分析

  预测未来永远是一件让人兴奋而又神奇的事。为此,人们研究了许多时间序列预测模型。然而,大部分的时间序列模型都因为预测的问题过于复杂而效果不理想。这是因为时间序列预测不光需要大量的统计知识,更重要的是它需...博文来自:Tencent_TEG的博客

  fbprophet是facebook开源的时序数据预测包,提供了简洁的python和Rapi,可以对时序数据做一些预测,也提供了有些简单的趋势分析。更多细节可以看下官方文档。官方doc中给了一个数据集...博文来自:xindoo

  在前面那篇文章中介绍了fbprophet的基础运用,但是,那些样本数据都是以天为粒度的。所以,这一篇文章介绍怎么修改源码以支持以小时为粒度的数据预测。...博文来自:wujushan的博客

  LSTM预测电力消耗:如果有不清楚LSTM的,可以看下我的这张珍藏了多年的老图,简单明了!今天看到了深度学习课程期末大作业要求,要提交一个RNN预测电力消耗的程序,作为一个攻克生,下意识地百度了一下,...博文来自:桥桥苏大无敌

  长短期记忆循环神经网络等几乎可以完美地模拟多个输入变量的问题,这为时间序列预测带来极大益处。本文介绍了如何在Keras深度学习库中搭建用于多变量时间序列预测的LSTM模型。诸如长短期记忆(LSTM)循...博文来自:机器之心

  原文:循环神经网络每秒钟人类都不会从头开始思考。在阅读本文时,您可以根据您对以前单词...博文来自:优化算法

  一文学会如何在Keras中开发LSTMs(附代码)LSTM是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。在自然语言处理、语言识别等一系列的应用上都取得了很好的效果。《...博文来自:Poo_Chai的博客

  文章目录前情回顾前情回顾没想到自己已经坚持写到第四篇了,附上之前三篇的链接:GAN-overviewreadingnote(1)基础概念GAN-overviewreadingnote(2)LeastS...博文来自:专业技能学习笔记本

  prophet:时间序列预测原理介绍prophet是Facebook开源一款基于Python和R语言的数据预测工具即“先知”。Facebook表示,Prophet相比现有预测工具更加人性化,并且难得地...博文来自:Jie Qiao的专栏

  本文包括邮箱登入,邮件数据分析,长短时神经网络分析,时间序列分析。参考文献原文为对google邮箱的翻译1163邮箱登入本文利用imapclient库进行登入,网易邮箱登入会遇到错误可以refer一下...博文来自:sukeee的博客

  引言去年Facebook开源了一套时序预测工具叫做Prophet。Prophet是一个预测时间序列数据的模型。它基于一个自加性模型,用来拟合年、周、季节以及假期等非线性趋势。它在至少有一年历史数据的日...博文来自:OraYang的博客

  时间序列预测(三)——Xgboost模型文章链接(一)数据预处理(二)AR模型(自回归模型)(三)Xgboost模型(四)LSTM模型(五)Prophet模型(自回归模型)模型原理  Xgboost(...博文来自:kewei168的博客

  文章概要Prophet是Facebook开源的预测工具,相比ARIMA模型,Prophet真的是非常的简单。只要读入两列数据即可完成预测。且在某些环境下预测的准确性不输ARIMA。Prophet提供了...博文来自:gt9000的博客

  版权声明:博主原创文章,微信公众号:素质云笔记,转载请注明来源“素质云博客”,谢谢合作!! 博文来自:cyydjt的博客

  机器学习训练营(qq群号:696721295)——机器学习案例详解的直播互动平台下期直播案例预告:大数据预测商品的销售量波动趋势案例介绍像沃尔玛、家乐福这样的超市零售商,使用销售预报系统和工具补充商品...博文来自:wong2016的博客

  传统的神经网络一般都是全连接结构,且非相邻两层之间是没有连接的。对输入为时序的样本无法解决,因此引入了RNN(可以查看具体的RNN含义和推导),但是会存在梯度消失(不同的隐层之间会存在过去时刻...博文来自:的博客

  使用pandas读取数据,加载到sklearn的线性回归函数中,进行模型训练,预测,并对最终结果进行画图展示。...博文来自:Thinkgamer博客

  实例: 经常接触LSTM,GRU,RNN这些模型,对于LSTM的印象只是知道它用来解决...博文来自:固本培元的专栏

  通过改变损失函数的方式,把语言学规则(情感词典,否定词和程度副词)融入到现有的句子级LSTM情感分类模型中。一、相关工作1、情感分类的神经网络模型近年来,出现了很多解决情感分类问题的神经网络模型,...博文来自:芦金宇的专栏

  之前我们已经讲过了如何在Windows系统下安装Python版本的Prophet。详细见这里。接下来的几个部分,我们说下如何使用Prophet,以此来体验下Prophet的丰富内容。内容会比较多,主要...博文来自:weixin_39306971的博客

  最后一期:如何更新LSTM模型?(附代码)博士带你学LSTMLSTM是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。在自然语言处理、语言识别等一系列的应用上都取得了很...博文来自:starzhou的专栏

  时间序列预测(五)——Prophet模型文章链接(一)数据预处理(二)AR模型(自回归模型)(三)Xgboost模型(四)LSTM模型(五)Prophet模型(自回归模型)模型原理  Prophet模...博文来自:kewei168的博客

  前言本篇主要根据AnalyticVidhya上的课程TimeSeriesAnalysis讲义制作。这个课程主要为想要解决与时间系列预测相关问题的人设计的。深入浅出地为讲解了解决时间序列的分析及预所需的...博文来自:sunsoda的博客

  一、简介:    fbprophet是facebook开发的关于时间序列预测的开源工具包,具体的介绍请参考重头戏来了!!!开发程序...博文来自:的博客

  使用LSTM进行时间序列预测欢迎使用Markdown编辑器你好!这是你第一次使用Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器,可以仔细阅读这篇文章,了解一下Mark...博文来自:小EZ的博客

  目录1.简介2.适用条件3.安装教程4.使用详解5.参考内容1.简介Prophet是FaceBook开源的时序框架,目前支持R语言和python语言。托管在github上。Prophet的原理是分析各...博文来自:满腹的小不甘

  关于prophet库的安装参考Windows平台下安装prophet,linux平台下一般没什么问题,直接用pip就可以。本文安装的fbprophet包版本为0.4.0(最新版本)简介输入到proph...博文来自:iwtbs

  prophet:时间序列预测原理介绍prophet是Facebook开源一款基于Python和R语言的数据预测工具即“先知”。Facebook表示,Prophet相比现有预测工具更加人性化,并且难得地...博文来自:hqr20627的博客

  jquery/js实现一个网页同时调用多个倒计时(最新的)nn最近需要网页添加多个倒计时. 查阅网络,基本上都是千遍一律的不好用. 自己按需写了个.希望对大家有用. 有用请赞一个哦!nnnn//jsn...博文来自:Websites

  这一篇,代码折腾的时间较长,完成之后都是一些小细节,主要有三:n1、引入的依赖错误;n2、启动配置错误;n3、xml文件的mapper命名空间错误。n一、完整的pom.xmlnn...博文来自:lxhjh的专栏

  本系列博客学习由非官方人员 半颗心脏 潜心所力所写,仅仅做个人技术交流分享,不做任何商业用途。如有不对之处,请留言,本人及时更改。1、 Esp8266之 搭建开发环境,开始一个“hellow worl...博文来自:徐宏的博客。

  扫二维码关注,获取更多技术分享nnn 本文承接之前发布的博客《 微信支付V3微信公众号支付PHP教程/thinkPHP5公众号支付》必须阅读上篇文章后才可以阅读这篇文章。由于最近一段时间工作比较忙,...博文来自:Marswill

  采用EasyUI 1.4.x 版本,默认default风格,异步加载页面,多Tab页展示,使用JSON文件模拟从后台动态获取数据。...博文来自:般若

  DirectX修复工具API Sets强力修复实验包下载地址:nn密码:5y5vnnnn实验包使用说明...博文来自:VBcom的专栏

  接着上次的图书管理系统rnrn修改完问题后把SpringBoot成功部署到了服务器上rn测试了下api接口,能正常访问rn那么下面就是在服务器上部署前端的vue.js了rnrnrn这里的话我们要明确一...博文来自:小时的枫的博客

http://glossclub.net/fuzaimaoxianmoxing/721.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有