为企业业务不间断运行保驾护航

在全球范围内，物联网(IoT)一直是一个热门话题。今年，预计全球物联网支出总额为1,950亿美元，并且全球物联网设备的数量将增加到204亿台。物联网设备具有改变我们日常生活中许多领域的潜力，从医疗保健和汽车到零售和娱乐不等。但是迄今为止，最突出和最成功的领域是家庭物联网。

在英国，家庭智能设备的数量呈指数增长，到2024年，市场规模预计将达到582万英镑，家庭普及率将达到44.8%。这是一个有利可图的市场，各品牌商将技术视为一种更好地了解消费者在智能设备上投资的方式以及如何适应用户体验的方法。
 

我们熟悉的以BAT为首的互联网大厂，都拥有自身的大数据系统平台，但是各自面临的业务场景是不同的，比如说腾讯，主要是社交业务场景;百度，主要是搜索业务场景;而阿里，主要是电商业务场景。

这样不同的业务场景下，需要根据实际的业务需求，选择适合自己的技术框架，来搭建自己的大数据架构体系。但是从技术架构体系的共性来说，是可以从通用的技术模块去理解，来帮助我们更好地学习和掌握大数据技术架构的。

大数据分析技术架构通用模块：

数据收集模块：主要负责收集各种数据源的数据，包括日志文件、网络请求、数据库、消息队列等，并将这些数据转换为文件或者消息向后传递。

数据转存模块：主要负责将数据定时传递到分布式存储或者实时传递给下游的数据处理程序。

ETL模块：主要负责数据的清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库等。

数据仓库模块：这是整个架构的核心，数据仓库是数据有组织的集中存储的地方，负责数据的存取和管理。

元数据管理模块：主要负责记录和约束数据仓库中数据的含义和格式，控制着数据的生命周期和数据质量。

分析引擎模块：数据分析师交互最多的模块，主要负责执行各种分析语句或代码，完成各种分析任务。

作业管理与调度模块：负责分析作业的管理和定时调度，包括作业的增删改查、查看修改历史、设置调度定时和执行引擎等。

资源分配与调度模块：主要负责在多作业同时运行的场景下，有效协调和分配集群的资源，使资源利用率最大化。

关于大数据分析需要什么技术架构，以上就为大家做了一个简单的介绍了。大数据技术架构需要结合实际业务来考量，学习阶段，先从通用层面去掌握，实际工作当中还需持续积累经验，才能真正地掌握扎实，融会贯通。
 

对比：你应该用哪一个AutoML库?

如果你的首要任务是需要一个干净，简单的界面和相对快速的结果，请选择使用auto-sklearn。此外：该库与sklearn的自然集成，可与常用的模型和方法一起使用，这样可以对时间有更多的控制作用。

如果你的首要任务是高准确度，不考虑可能需要的长时间训练，则使用TPOT。强调高级预处理方法，通过将管道表示为树结构而成为可能。额外提示：TPOT可以为最佳模型输出Python代码。

如果你的首要任务是高准确度，不考虑可能需要的长时间训练，则可以使用 HyperOpt sklearn。强调模型的超参数优化，不知道是否产生效果，具体情况要取决于数据集和算法。

如果你的问题需要神经网络才能解决，特别是当它以文本或图像的形式出现时，使用AutoKeras。虽然确实需要很长的训练时间，但有很多措施可以控制时间和搜索空间的大小。

（编辑：周口站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!