-
网络爬虫程序员被抓,我们还敢爬虫吗?细数那些Java爬虫技术
所属栏目:[优化] 日期:2019-10-21 热度:101
最近,某大数据科技公司因为涉嫌非法抓取某招聘网站用户的简历信息,公司被查封,负责编写抓取程序的程序员也将面临坐牢。 事情的大概经过是这样的: 某大数据科技公司老板丢给一个小小的程序员一个网站,告诉他把这个网站的数据抓取下来,咱们做一做分析[详细]
-
数据科学中一些不常用但很有用的Python库
所属栏目:[优化] 日期:2019-10-21 热度:158
导读 提到数据科学的python包,大家想到的估计是numpy,pandas,scikit-learn之类的,这里给大家介绍一些不常用,但是非常有用的python包,就像是痒痒挠,虽然大部分时间用不上,但是真要用起来,还是挺爽的。 Python是个了不起的语言。事实上,这是世界上[详细]
-
架构师知识储备——深入理解BIO、NIO、AIO
所属栏目:[优化] 日期:2019-10-21 热度:177
本文你将获取到:同/异步 + 阻/非阻塞的性能区别;BIO、NIO、AIO 的区别;理解和实现 NIO 操作 Socket 时的多路复用;同时掌握 IO 最底层最核心的操作技巧。 BIO、NIO、AIO 的区别是什么? 同/异步、阻/非阻塞的区别是什么? 文件读写最优雅的实现方式是什么? N[详细]
-
久等了,提高开发效率的Vue 技巧来了
所属栏目:[优化] 日期:2019-10-21 热度:171
最近俩月正好用 vue 做了一个大数据的项目,积累了很多心得。今天终于有机会分享出来了。 组件(component)的使用 vue 提供的模块化无疑是提高开发效率的神器,而且对于后期代码优化和维护也提供的极大地便利。 组件使用简介 vue 提供了组件功能,组件又可[详细]
-
一文搞懂如何在Spring Boot正确中使用JPA
所属栏目:[优化] 日期:2019-10-21 热度:200
JPA 这部分内容上手很容易,但是涉及到的东西还是挺多的,网上大部分关于 JPA 的资料都不是特别齐全,大部分用的版本也是比较落后的。另外,我下面讲到了的内容也不可能涵盖所有 JPA 相关内容,我只是把自己觉得比较重要的知识点总结在了下面。很多地方我[详细]
-
开发十年面试过1000个人,总结出这份高薪Java 试秘诀
所属栏目:[优化] 日期:2019-10-21 热度:183
【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 目录: 框架是重点,但别让人感觉你只会山寨别人的代码 别只看单机版的框架,分布式也需要了解 对于数据库,别只知道增删改查,得了解性能优化 Java核心,围绕数据结构和性能优化准备面试[详细]
-
2019 年可以选用这些 Rust IDE/DE
所属栏目:[优化] 日期:2019-10-21 热度:96
【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 最近一段时间 Rust 似乎开始从默默无闻走向聚光灯下,从微软宣布探索采用 Rust 替代 C/C++,到 Linux 内核维护者表示愿意接受Rust 作为驱动开发语言,再到 AWS 公开表示赞助 Rust,同时连[详细]
-
女友闹别扭不用担心,python做个软件轻松哄好
所属栏目:[优化] 日期:2019-10-21 热度:198
【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 学编程难免有时觉得枯燥,但我们可以自己用编程来做一些有趣的事情,不仅可以排解自己的无聊,还可以给女朋友一个惊喜,增进两人感情! 人们都喜欢记住一些重要的日子,比如说跟女朋友认识[详细]
-
Golang不到100行实现一套灵活的JWT库
所属栏目:[优化] 日期:2019-10-20 热度:193
【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 JWT 全 chen JSON Web Tokens 现在被广泛的应用于各种前后端分离的场景,他比传统的 Token Session 方式,更具灵活性。 当然网上也有很多开源的 JWT 库,非常之多,开源组织也提供了官方[详细]
-
搞定 Linux Shell 文本处理工具,看完这篇集锦就够了
所属栏目:[优化] 日期:2019-10-17 热度:147
Linux Shell是一种基本功,由于怪异的语法加之较差的可读性,通常被Python等脚本代替。既然是基本功,那就需要掌握,毕竟学习Shell脚本的过程中,还是能了解到很多Linux系统的内容。 Linux脚本大师不是人人都可以达到的,但是用一些简单的Shell实现一些常[详细]
-
炒作还是赌未来?量子技术深陷淘金狂潮
所属栏目:[优化] 日期:2019-10-17 热度:80
量子技术的概念出现之后,几乎所有的科幻小说、电影里都有它的身影。不管到底是不是强相关,只要遇见了没法解释说明的问题,就套用量子技术的概念来解释,仿佛量子技术是万能的。 随着技术的进步,量子技术也逐渐从虚无缥缈的概念变得真实可触,来自全球的[详细]
-
Java中牛逼哄哄的消息队列到底有什么用?
所属栏目:[优化] 日期:2019-10-17 热度:176
最近小千会听到很多学员说,在面试大型互联网公司的时候,很可能会被问到消息队列的问题: 在何种场景下使用了消息中间件? 为什么要在系统里引入消息中间件? 如何实现幂等? 链式调用是我们在写程序时候的一般流程,为了完成一个整体功能,会将其拆分成多个[详细]
-
如何避免新代码变包袱?阿里通用方法来了
所属栏目:[优化] 日期:2019-10-17 热度:147
什么是设计?什么是架构?从零开始建立一个新的系统,新写的每行代码都可能成为明天的历史包袱?如何能有效的在遗留代码上工作?今天,阿里资深技术专家辉子为我们带来NBF框架下软件工程架构设计通用方法论,值得细细品读。 Note:本文讨论的是基于服务化前提[详细]
-
还不懂微服务原理?阿里高级技术专家带你看透微服务的来龙去脉
所属栏目:[优化] 日期:2019-10-17 热度:56
我们先看下维基百科和百度百科给出的定义: 维基百科:2014年,Martin Fowler 与 James Lewis 共同提出了微服务的概念,定义了微服务是由以单一应用程序构成的小服务,自己拥有自己的行程与轻量化处理,服务依业务功能设计,以全自动的方式部署,与其他服[详细]
-
9款Kubernetes的无服务器工具,收藏了
所属栏目:[优化] 日期:2019-10-17 热度:84
继续分享Kubernetes的有用工具,本文为大家介绍9款Kubernetes的无服务器工具,朋友们喜欢的话,请多多评论转发,给更多的朋友。 1.Kubeless Kubeless是Kubernetes原生的无服务器框架,可让你部署少量代码,而不必担心基础架构的问题。Kubeless有开箱即用的[详细]
-
这篇文章,让你了解 JavaScript 中的原型(基础篇-图文)
所属栏目:[优化] 日期:2019-10-17 热度:168
JavaScript是一门动态语言, 你可以在任何时候向对象上添加属性,如下 functionStudent(){ this.name='LeBronJames'; this.gender='Male'; } varstudObj1=newStudent(); studObj1.age=15; alert(studObj1.age);//15 varstudObj2=newStudent(); alert(studObj[详细]
-
如何设置非安全的Docker镜像仓库?
所属栏目:[优化] 日期:2019-10-17 热度:133
在docker的配置文件中,有一个的配置项insecure-registries,表示配置一个非安全的镜像仓库。这是不安全的做法,容易受到攻击,一般不建议这么做。此解决方案,仅用于隔离的测试或者完全可控的环境,比如公司内部测试环境。 一、修改daemon.json 文件 Linu[详细]
-
Java 多线程爬虫及分布式爬虫架构探索
所属栏目:[优化] 日期:2019-10-17 热度:56
这是 Java 爬虫系列博文的第五篇,在上一篇 Java 爬虫服务器被屏蔽,不要慌,咱们换一台服务器 中,我们简单的聊反爬虫策略和反反爬虫方法,主要针对的是 IP 被封及其对应办法。前面几篇文章我们把爬虫相关的基本知识都讲的差不多啦。这一篇我们来聊一聊爬[详细]
-
详解分布式事务XA实现数据一致性的协议与原理--2PC与3PC
所属栏目:[优化] 日期:2019-10-16 热度:174
概述 大型业务系统有着用户多、并发高的特点,而在这方面,集中式数据库(单机数据库)的性能很难支持,因此主流的互联网公司往往采用分布式(架构)数据库,物理上利用更多的低端设备,逻辑上对大表水平拆分支撑业务的需要。 虽然分布式数据库能解决性能难题[详细]
-
8个Python爬虫框架,你用过几个?
所属栏目:[优化] 日期:2019-10-16 热度:151
小编收集了一些较为高效的Python爬虫框架。分享给大家。 1.Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的[详细]
-
大规模集群故障处理,能抗住这3个灵魂拷问算你赢
所属栏目:[优化] 日期:2019-10-16 热度:184
我相信每一个集群管理员,在长期管理多个不同体量及应用场景的集群后,都会多少产生情绪。其实这在我看来,是一个很微妙的事,即大家也已经开始人性化的看待每一个集群了。 既然是人性化的管理集群,我总是会思考几个方向的问题: 集群的特别之处在哪儿?[详细]
-
9月份Github上热门的JavaScript开源项目
所属栏目:[优化] 日期:2019-10-16 热度:144
9 月份 GitHub 上最热门的JavaScript开源项目排行已经出炉啦,从前端学习资料到技术面试宝典,从免费开源的前端书籍到算法刷题库....... 1. Web https://github.com/qianguyihao/Web Star 7127 前端入门和进阶学习笔记,超详细的Web前端学习图文教程。从零[详细]
-
只需五步!哈佛学霸教你用Python分析相亲网站数据,在两万异性中找到真爱
所属栏目:[优化] 日期:2019-10-16 热度:103
大数据文摘出品 来源:Wired 编译:啤酒泡泡、张大笔茹、张睿毅、牛婉杨 想脱单?那还不容易! 如果身在美国,就像其余四千万单身男人一样,注册一下Match.com, J-Date和OkCupid等相亲网站,坐等真爱上门不就可以了。 但是相信大多数人和McKinlay一样,尽管[详细]
-
吐血整理!程序员喜爱的13个免费Python课程
所属栏目:[优化] 日期:2019-10-16 热度:50
Python如今无疑是全球最受欢迎的编程语言。它最大的好处,就是让越来越多的人通过它加入了编程的世界。 近年来,Python的使用人数与日俱增,超过了包括JavaScript在内的其他计算机语言许多人学习Python是为了探索它提供的绝佳数据科学和机器学习库。 Pytho[详细]
-
一次跨行取款失败,而引发对分布式事务的思考
所属栏目:[优化] 日期:2019-10-16 热度:177
场景 不知道大家有没有遇到这样的情况,就是去自动取款机取钱的时候,比如说你去取1000块钱,这个时候系统会先帮你把1000块钱扣除,然后自动取款机再把钱吐出来。但是如果取款机出现问题,会发现钱被扣了,但是钱没有取出来。我第一次遇到这个问题的时候很[详细]
