搜索
产品介绍
企业动态
11 25,2024 2024年广东省跨境电子商务师职业技能竞赛决赛顺利进行
09 27,2022 广东省行业企业职业技能竞赛—2022年跨境电子商务师职业技能竞赛总决赛顺利举行
04 02,2022 跨境电商实战 丨 eBay E青春项目落地广州市财经商贸职业学校
01 25,2022 春节放假通知
01 04,2022 恭祝我司成为高新技术企业
12 16,2021 跨境电商实战丨“亿元班”!eBay E青春项目落地广州南洋理工职业学院!
热门关键词
《互联网数据采集系统及数据采集实训简介》
互联网数据采集系统及数据采集实训
一.互联网数据采集系统(私有化部署版)
1.1 数据采集私有化部署版V7.0(服务器端)
系统支持各主流电商网站数据信息采集,数据清洗,数据处理,数据存储的教学实训,并贴学院教学方向,支持在电商商品/评论等具体数据信息需求
1.2 数据采集私有化部署版V7.0(学生端)
1.2.1 采集模式:支持模板采集,自定义采集
1.2.2 流程图模式:可视化操作,双界面展示采集过程
1.2.3 采集任务:采集任务自定义,无采集任务限制,无采集数量限制,支持数据云端存储
1.2.4 采集网址:支持手动输入,从文件导入,批量生成,从任务导入
1.2.5 采集内容:支持文本类数据采集,包括图片,附件下载链接等数据信息
1.2.6 导出数据:导出数据到本地,导出格式:Excel、Csv、Html
1.2.7 导出到数据库:无数量限制,支持发布到本地和云端服务器,支持类型:MySQL、SqlServer、MongoDB、Oracle
1.2.8 数据处理:替换、正则表达式替换、正则表达式匹配、去除空格、添加前缀、添加后缀、日期时间格式化、Html转码、字段合并
1.2.9 条件采集功能:根据条件组合精准化采集需求数据线信息
1.2.10 预登录采集:采集需要登录才能查看内容的网址
1.2.11 定时采集:支持按每周/每天/实时定时采集
1.2.12 循环采集:无时间间隔,采集频率自定义设置
1.2.13 支持代理IP切换:官方优质代理(另售)和自定义代理
切换方式:按时间切换/按文本切换
1.2.14 验证码自动识别:支持滑动验证码自动识别和手动打码,支持图片验证码自动识别和自动打码(另售)
1.2.15 触发器功能:丢弃本条数据、结束本次采集、跳出循环等自定义功能
1.2.16 脱机采集:支持采集任务拆分云节点运行,满足关机时仍可采集
1.2.17 并发采集:多节点支持,将单个采集任务拆分成子任务,并发执行
1.2.18 增量采集:支持只采集新增的数据内容
1.2.19 API接口支持:通过我们提供的接口,快速实现数据采集与归档
1.2.20云节点管理:支持任务和云节点管理,合理有效地利用云节点,并进行任务管理
1.2.21子账号管理:私有云支持在主账号下添加子账号,共享主账号节点及权限资源
二. 数据采集实训案例
2.1 通用类电商数据采集教学实训案例
2.2 电商商品列表类数据采集教学实训案例
2.3 电商商品评论类数据采集教学实训案例
以上三个实训案例每一套实训案例包含6个行业真实项目案例(含天猫,淘宝,京东,亚马逊等网站平台),每个案例包括教学课件,指导文档,视频教学,采集规则,案例数据等整套资源
2.4 教学需求定制化项目实训案例
专属定制化教学案例,符合专业教学特色需求
1.1 数据采集私有化部署版V7.0(服务器端)
系统支持各主流电商网站数据信息采集,数据清洗,数据处理,数据存储的教学实训,并贴学院教学方向,支持在电商商品/评论等具体数据信息需求
1.2 数据采集私有化部署版V7.0(学生端)
1.2.1 采集模式:支持模板采集,自定义采集
1.2.2 流程图模式:可视化操作,双界面展示采集过程
1.2.3 采集任务:采集任务自定义,无采集任务限制,无采集数量限制,支持数据云端存储
1.2.4 采集网址:支持手动输入,从文件导入,批量生成,从任务导入
1.2.5 采集内容:支持文本类数据采集,包括图片,附件下载链接等数据信息
1.2.6 导出数据:导出数据到本地,导出格式:Excel、Csv、Html
1.2.7 导出到数据库:无数量限制,支持发布到本地和云端服务器,支持类型:MySQL、SqlServer、MongoDB、Oracle
1.2.8 数据处理:替换、正则表达式替换、正则表达式匹配、去除空格、添加前缀、添加后缀、日期时间格式化、Html转码、字段合并
1.2.9 条件采集功能:根据条件组合精准化采集需求数据线信息
1.2.10 预登录采集:采集需要登录才能查看内容的网址
1.2.11 定时采集:支持按每周/每天/实时定时采集
1.2.12 循环采集:无时间间隔,采集频率自定义设置
1.2.13 支持代理IP切换:官方优质代理(另售)和自定义代理
切换方式:按时间切换/按文本切换
1.2.14 验证码自动识别:支持滑动验证码自动识别和手动打码,支持图片验证码自动识别和自动打码(另售)
1.2.15 触发器功能:丢弃本条数据、结束本次采集、跳出循环等自定义功能
1.2.16 脱机采集:支持采集任务拆分云节点运行,满足关机时仍可采集
1.2.17 并发采集:多节点支持,将单个采集任务拆分成子任务,并发执行
1.2.18 增量采集:支持只采集新增的数据内容
1.2.19 API接口支持:通过我们提供的接口,快速实现数据采集与归档
1.2.20云节点管理:支持任务和云节点管理,合理有效地利用云节点,并进行任务管理
1.2.21子账号管理:私有云支持在主账号下添加子账号,共享主账号节点及权限资源
二. 数据采集实训案例
2.1 通用类电商数据采集教学实训案例
2.2 电商商品列表类数据采集教学实训案例
2.3 电商商品评论类数据采集教学实训案例
以上三个实训案例每一套实训案例包含6个行业真实项目案例(含天猫,淘宝,京东,亚马逊等网站平台),每个案例包括教学课件,指导文档,视频教学,采集规则,案例数据等整套资源
2.4 教学需求定制化项目实训案例
专属定制化教学案例,符合专业教学特色需求