数据采集

• 开发平台：Java EE & SpringBoot
• 爬虫框架：Spider-flow & WebMagic & HttpClient
• APP爬虫：Xposed框架
• URL仓库：Redis
• web应用服务器：Nginx&Tomcat
• 储存任务发送：Kafka&Zookeeper
• 抓取任务发送：RabbitMQ
• 配置管理：MySQL
• 前端展示：Bootstrap & VUE

数据处理

• 开发框架：SpringBoot
• 开发语言：Java JEE
• 数据暂存：MySQL
• 数据索引：Redis
• 深度学习：PaddlePaddle
• 自然语言处理：HaNLP &
• 数据处理和储存任务发送：Kafka&Zookeeper
• 数据中台：自研 & DataEase

数据分析

• 数据库：MySQL
• 数据检索：Elasticsearch
• 文章储存：Mongodb
• 系统缓存：Redis
• 消息队列：kafak & rabbitMQ
• 开发框架：SpringBoot
• 开发语言：Java JEE