北京PK10人工在线计划

  • EN
 
  • app download

登录 / 注册北京PK10人工在线计划

职场百科   职场文库   招聘信息  

您所在的位置:最新招聘信息 >全国职位信息 >爬虫开发工程师招聘信息

职位推荐:快速消费销售车间储备干部工程检测建筑电气设计知识产权律师ct医生大锅菜厨师暖通设计工程师贷款销售银行渠道销售五金冲压设备管理景观规划设计隧道工程技术歌手

职位分类:不限

更多
更多:

已选条件:
爬虫开发工程师
清除条件
全选
申请职位

java爬虫武汉佰钧成技术有限责任公司杭州1.5-1.6万/月09-08

学历要求:本科|工作经验:2年|公司性质:民营公司|北京PK10人工在线计划公司规模:10000人以上

北京PK10人工在线计划岗位职责:1.掌握Java开发,会Shell, Python等自动化脚本; 2.会爬虫技术;3.会Web开发4.此岗位为阿里外包,介意的勿投

立即申请
收藏

爬虫开发工程师广州市衡生科技有限公司广州-天河区0.8-1.2万/月09-08

学历要求:本科|工作经验:2年|公司性质:民营公司|公司规模:少于50人

技能要求:Python,爬虫,MySQL,爬虫架构。岗位职责:1、负责金融网站数据的收集,负责采集方案的设计、代码实现等;2、负责规划并实现分布式爬虫和数据采集系统的技术实现方案;3、设计和开发分布式网络爬虫程序;4、大容量数据的管理及分布式存储; 5、设计优化爬虫调度系统,优化调度策略。任职要求:1、2-5年工作经验,本科及以上学历;2、熟悉Python基础,熟悉多线程编程环境,熟悉常见开源框架; 3、了解前端技术,HTML,JavaScript,Ajax等 ;4、熟练使用正则表达式,精通网页数据提取;5、熟悉抓取原理及技术,熟悉Scrapy、Pyspider、nutch等主流爬虫框架使用;6、熟练使用Mysql,熟悉Nosql数据库如Redis等;7、熟悉websocket 数据实时采集;8、喜欢技术钻研,具有较强的学习能力,有独立解决问题的能力。

立即申请
收藏

Python爬虫杭州策软科技有限公司杭州1.1-1.8万/月09-08

学历要求:大专|工作经验:3-4年|公司性质:合资|北京PK10人工在线计划公司规模:1000-5000人

任职要求: 1、计算机相关专业、专科以上学历,接受应届毕业生; 2、熟悉HTML编写及JavaScript Dom编程; 3、掌握 .Net 或 Python 语言,掌握 SQLServer 或 MySQL 数据库相关技术; 4、有RPA行业厂商认证的优先; 5、掌握网页爬虫相关技术的优先; 职位描述: 1. 负责公司内业务部门的RPA业务调研,整理工作; 2. 负责公司内RPA机器人流程自动化的开发及维护工作; 3. 根据已上线RPA机器人产生的需求和问题,持续优化RPA产品功能,可用性及稳定性; 4. 协助第三方RPA服务商完成外包项目相关工作,解决相应的业务对接问题;    

立即申请
收藏

爬虫工程师深圳妮姬网络科技有限公司深圳-南山区0.6-1.5万/月09-08

学历要求:|工作经验:1年|公司性质:民营公司|公司规模:50-150人

爬虫工程师1.专注于垂直领域数据爬取,进行多平台信息的抓取和分析;2.参与爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;3.协助部门爬虫工程师的工作,推进项目进展;技能要求:1.计算机专业毕业,1年及以上网页爬虫开发经验;2.Python语言基础扎实,有良好的编程功力;3.熟悉HTTP,HTTPS等网络应用层协议以及数据包抓包和分析;4.熟悉掌握Python等爬虫模块和框架;5.有使用过redis,mongodb数据库;6.熟悉Linux系统及其命令操作;7.了解js和websoket,和常见的加密算法;8.有体育相关领域爬虫开发经验优先;

立即申请
收藏

python爬虫工程师衡哲信息科技(上海)有限公司上海-普陀区1-1.8万/月09-08

学历要求:大专|工作经验:3-4年|公司性质:民营公司|公司规模:1000-5000人

1、负责设计和开发爬虫系统,进行多平台信息的抓取和分析工作;2、负责网页信息和微 公众号平台信息抽取、清洗、消重等工作,提升平台的抓取效率;3、负责爬虫核心算法和策略优化;4、实时监控爬虫的进度和警报反馈;5、根据开发需求,完成基于PYTHON的模块开发。职位要求:1、掌握Python语言,有良好的编码习惯;2、熟悉面向对象编程方法;3、有扎实的算法和数据结构能力;4、熟悉爬虫原理,熟悉常见的反爬虫技术,有爬虫相关项目开发经验者优先;5、了解Linux系统基本操作;6、掌握http协议,熟悉html、dom、xpath等常见的数据抽取技术;7、有大规模数据处理、数据挖掘、信息提取等经验者优先。

立即申请
收藏

爬虫工程师艾瑞咨询集团上海-徐汇区1.5-2万/月09-08

学历要求:本科|工作经验:2年|公司性质:合资|北京PK10人工在线计划公司规模:150-500人

1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作;2、负责网页信息和APP数据抽取、清洗、消重等工作,提升平台的抓取效率;3、参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;4、实时监控爬虫进度和预警处理。任职要求:1、大学本科及以上学历,计算机相关专业,基础扎实;2、2-3年 python 爬虫相关经验,具备分布式爬虫经验,熟悉 python 常用库;3、熟练掌握 html、css、xpath、正则表达式、scrapy、selenium、消息队列;4、深入了解 HTTP,TCP/IP 网络协议;5、熟练使用 Linux、 postgre、Redis、MongoDB;6、熟悉常见的反爬策略,有一定的研究和解决问题的能力; 7、具备良好的沟通能力和团队协作精神;具备良好的编码习惯和撰写技术文档能力。 

立即申请
收藏北京PK10人工在线计划

爬虫处理实习生(重庆)亚信科技(中国)有限公司重庆09-08

学历要求:硕士|工作经验:|公司性质:外资(欧美)|公司规模:

北京PK10人工在线计划【工作职责】1、负责网站web数据爬虫处理2、负责爬虫数据的分类整理【任职要求】1、2021年毕业硕士及以上学历,通信、计算机类专业;2、精通word,excel相关的office办公软件3、精通python语法,并具备一定的爬虫处理能力4、责任心强,积极主动,较强团队意识,较强的安全风险意识和跟进能力。

立即申请
收藏

高级爬虫工程师(J13354)北京北大方正电子有限公司北京-海淀区1.5-2.3万/月09-08

学历要求:本科|工作经验:2年|公司性质:国企|北京PK10人工在线计划公司规模:1000-5000人

北京PK10人工在线计划工作职责:1、负责分布式数据采集产品的设计与研发2、负责分布式数据采集基础设施软件系统的设计与研发,为大规模数据抓取提供稳定易用网络链路、基础组件等3、设计策略和算法,提升数据采集时效性和数据清洗的质量,解决信息大规模多样化数据精准抽取的核心技术难题4、分析和改进已有的数据采集系统任职资格:1、计算机相关专业本科及以上学历,二年及以上开发经验2、至少掌握C++/Java/Python中一种语言,C++语言更佳3、对算法设计和数据结构有较强的理解,精通HTTP/TCP等协议;4、熟悉常用的反爬对抗策略,有安卓/IOS端APP采集、APP逆向能力者优先5、有大规模分布式系统建设经验者优先6、强烈的责任心和良好的团队合作精神,较好的沟通能力,善于学习新知识,能承担较大的工作压力

立即申请
收藏北京PK10人工在线计划

爬虫开发工程师浙江隆仕升服饰有限公司杭州-滨江区0.8-2万/月09-08

学历要求:本科|工作经验:2年|公司性质:合资|公司规模:150-500人

北京PK10人工在线计划岗位职责:  1、负责分布式爬虫系统和数据采集系统的设计、开发 2、负责爬虫核心算法和策略优化, 提升网络抓取的效率和质量岗位要求: 1、3年以上爬虫开发经验 2、精通JAVA或者Pyhton,常用数据结构、算法3、熟悉开源爬虫框架,如scrapy、nutch等  4、熟悉TCP/IP、HTTP、HTTPS等网络协议 5、熟悉反爬虫手段以及解决方案,有一定的逆向工程能力6、有开发爬虫框架经验优先,熟悉验证码识别等技术者优先7、有主流电商平台、抖音、快手数据爬取经验者优先

立即申请
收藏

java数据工程师(爬虫)上海人科数据科技有限公司上海-长宁区1.5-2万/月09-08

学历要求:本科|工作经验:3-4年|公司性质:民营公司|公司规模:50-150人

岗位职责:1. 负责爬虫系统架构和数据存储设计, 建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善;2. 理解系统数据处理流程以及业务功能需求,能按照给定的信息通过爬虫恒定获取需要的关键信息;3、按照开发规范、编码规范开发。具备良好的质量,Review团队代码,排除Bug,支持并解决团队其他人员开发中遇到困难和问题;4、撰写并规范各类系统设计文档;5、参与日常运维,解决系统运行中遇到的相关问题,给出优化建议;6、迭代优化系统,按需重构系统架构,优化系统性能,提升系统安全性、稳定性;7、维护和升级现有软件产品,快速定位并修复现有软件缺陷。岗位要求:1、4年以上java使用经验,本科或以上学历,计算机软件或相关专业;2、精通JAVA语言、精通J2EE架构,熟悉python 有扎实的编程功底;3、精通分布式架构体系,从事过1年以上的分布式开发;4. 熟悉常见爬虫框架,有解决复杂的反爬限制实践经验, 能解决如图片验证码/滑块/账号限制/ip限制/访问频繁限制等问题;5、熟悉基于MySQL和redis,有一定的SQL性能调优经验6、熟练掌握数据结构、算法与多线程,并熟练使用设计模式重构代码结构;7、责任心强,具有良好的表达、沟通技巧,具备良好的团队合作精神。

立即申请
收藏

爬虫工程师知而行(上海)营销咨询有限公司上海-黄浦区2-2.5万/月09-08

学历要求:本科|工作经验:5-7年|公司性质:外资(欧美)|公司规模:150-500人

北京PK10人工在线计划爬虫工程师主要工作包括:1、负责完善现有爬虫系统,通过对抓取、解析、调度、存储等模块的拆分与优化,构建和完善统一的抓取服务平台。2、负责多平台信息爬取,负责破解各类反爬机制,包括网页,微信、APP 的数据抓取和爬取链路优化(包括 APP 反编译、逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力;3、负责 HTTP、AJAX 等各类网络请求分析,探索和研究高效的数据抓取解决方案;4、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、人机交互验证,页面跳转等难点,提升网页抓取的效率和质量;5、负责现有爬虫系统的日常运维,监控和性能调优,确保系统稳定运行,向业务方输出高质量数据职位技能1.计算机相关专业,本科及以上学历,3年以上爬虫相关工作经验; 2.对爬虫编程有强烈爱好,熟练精通掌握至少1种语言java、python,在需要的情况下能快速上手新语言切换;3.精通爬虫和反爬技术,精通 HttpClient/jsoup/XPath/CSS/ 正则表达式 / 验证码加密处理 / 代理池等网页信息抽取技术4.精通tpc/ip、http、以及web登录认证的机制,有成功破解手机验证码,人机交互验证的实战经验;5.熟悉行为验证码识别、模拟登陆、数据清洗、去重、入库等技术,具有海量数据处理和分布式计算开发经验者优先;6.有过大型平台数据爬取经验, 例如淘宝、京东、美团、饿了么等;7.具有较强的分析和解决问题的能力,以及良好的沟通、团队协作和计划能力

立即申请
收藏北京PK10人工在线计划

爬虫开发工程师上海渠生网络技术有限公司北京-朝阳区1-1.5万/月09-08

学历要求:本科|工作经验:2年|公司性质:民营公司|北京PK10人工在线计划公司规模:50-150人

负责多平台信息的抓取负责网页,APP等平台数据清洗和分析工作解决技术疑难问题任职要求:有扎实的算法和数据结构能力熟悉常用开源爬虫框架,如 scrapy / pyspider了解基于Cookie的登录原理,熟悉常用的信息抽取技术,如正则表达式、XPath熟悉常见的反爬虫技术,有一定的对抗能力分布式爬虫架构经验有大规模数据处理、数据挖掘、信息提取等经验者优先

立即申请
收藏

python爬虫工程师四川隧唐科技股份有限公司成都-武侯区0.8-1.2万/月09-08

学历要求:本科|工作经验:1年|公司性质:民营公司|公司规模:150-500人

北京PK10人工在线计划1.负责国际数据的采集与维护工作2.设计数据库存储数据,提高读取效率3.及时响应需求,提供业务所需数据任职资格:1.熟练使用Python2.熟练操作redis, mysql, elasticsearch等常用数据库 3.熟悉http协议以及网页抓取原理及技术,熟悉基于Cookie的网站登录原理4.熟悉APP、小程序的数据抓取和爬取链路优化(包括APP反编译、逆向分析、脱壳、加密参数破解、抓取攻防等)5.熟悉信息抓取和整合技术,熟悉从结构化和非结构化数据中获取信息,掌握正则表达式6.有过大型平台爬取经验,例如淘宝、大众点评、美团、今日头条等7.了解kafka消息中间件8.熟练使用Git版本控制【满足以下条件者优先考虑】1.英语六级及以上者优先考虑;2.有采集过推特、Reddit或是外网站点经验者优先考虑;3.熟练掌握scrapy框架、有scrapy-redis使用经验者优先。

立即申请
收藏北京PK10人工在线计划

高级爬虫开发工程师亿翰智库上海-静安区1.2-1.5万/月09-08

学历要求:本科|工作经验:3-4年|公司性质:上市公司|公司规模:150-500人

爬虫工程师岗位职责:1、负责数据抓取平台规划和建设,完成数据采集与爬取、解析处理和入库;2、研究各种网页探寻特点和规律,负责网页信息抽取、数据清洗工作;3、负责领域知识的定向爬取、深度提取和挖掘;4、配合数据清洗、整理、去重和合并工作;5、负责爬虫相关技术的创新和优化。任职要求:1、计算机相关专业,本科以上学历,2年以上爬虫领域工作经验;2、熟悉Python开发,熟悉wxpython,熟悉抓取框架,有完整的界面化爬虫平台开发经验;3、熟悉Web抓取原理及技术实现细节,对HTTP协议和HTML有深入了解;4、熟悉数据抓取和整合技术,从结构化和非结构化数据中提取信息;5、熟悉反爬机制,能够通过逆向js脚本,获取参数,熟悉使用正则表达式/验证码加密处理/代理池,熟悉行为验证码识别、模拟登陆。

立即申请
收藏

招开发程序员*** 500元每天广州新普电子科技有限公司广州-天河区500元/天09-08

学历要求:本科|工作经验:1年|公司性质:民营公司|北京PK10人工在线计划公司规模:1000-5000人

招聘人数:2人 薪资:500/日职位福利:(房补/交通补助/加班补助)学历要求: 学历不限工作经验: 1年工作经验以上工作地址:广州市天河区金豪商务大厦岗位职责1、负责会员后台系统设计和开发,独立完成模块的设计和编码;2、参与产品和项目的业务梳理和需求分析;3、负责网站日常管理维护,监控,性能优化及研发需求处理任职要求:1、至少熟练掌握一门后台语言;2、精通MySQL等关系型数据库,包括安装部署、设计、维护、存储过程的编写等;3、熟悉HTTP协议,熟悉Jquery、ExtJs、Bootstrap至少一种前端开发框架;熟悉MVC、EF至少一种后端框架;4、了解爬虫原理与爬虫算法者优先;5、有性能调优经验者优先;6、良好的代码规范,注重细节;7、出色的工作责任心,良好的职业道德;工作时间:灵活时间,面议。

立即申请
收藏北京PK10人工在线计划

算法工程师上海唱语教育科技有限公司上海-浦东新区2-3万/月09-08

学历要求:本科|工作经验:2年|公司性质:民营公司|北京PK10人工在线计划公司规模:150-500人

北京PK10人工在线计划职位描述1.负责公司教育产品,如用户画像、课程推荐、学员能力模型等算法开发;2.基于对业务的深入理解,搭建业务分析模型,制定策略,为业务和产品提供数据决策支持和解决方案;3.推广、运营、应用各类数据产品在业务上创造更高的价值,驱动业务快速增长。任职资格:1.计算机、统计学、数学、软件工程等相关专业本科及以上学历,三年以上相关经验;2.熟悉分类、聚类、回归、图计算等机器学习算法;3.熟练掌握SQL语言,掌握python、R、Java等建模语言;4.积极主动,保持好奇心,有持续学习的动力,关注前沿技术的发展;5.有分布式数据处理平台经验(hadoop、spark);6.具有较强的学习、分析和解决问题能力,良好的团队意识和协作精神和内外部沟通能力。

立即申请
收藏

爬虫(艺术收藏平台型app)上海布景服饰有限公司上海-普陀区1.2-2万/月09-08

学历要求:大专|工作经验:2年|公司性质:民营公司|公司规模:500-1000人

负责分布式爬虫的核心研发和设计,进行多平台信息的抓取、清洗、结构化、入库等工作。工作内容:1.负责分布式爬虫的核心研发和设计,进行多平台信息的抓取、清洗、结构化、入库等工作;2.维护日常爬取脚本的稳定运作,设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;3.与产品对接爬虫需求,需要极强的沟通理解能力,完成实时数据与离线数据的爬取与入库;任职要求:1.大专及以上学历,互联网工作经验3年及以上,2年及以上爬虫、反爬虫研发经验;2.精通python开发,熟练使用scrapy开源爬虫框架;3.熟悉多线程、网络编程以及分布式爬虫架构开发场景;4.熟悉MYSQL/mongodb数据库的常规使用5.熟练使用模拟登陆、UA池、动态代理、IP池等常规伪装手段;6.熟悉常规反爬虫手段以及常见的解决方案,有一定的逆向工程能力;

立即申请
收藏北京PK10人工在线计划

Python爬虫工程师杭州瑞成信息技术有限公司武汉-洪山区1.5-2.2万/月09-08

学历要求:大专|工作经验:3-4年|公司性质:民营公司|公司规模:150-500人

任职要求:1、统招大专以上,计算机或相关专业,三年以上Python开发经验;2、熟悉爬虫原理,掌握常见的反爬虫技术,精通Scrapy框架,熟练使用Splash;4、精通WebDriver,掌握http协议,熟悉html、dom、xpath等常见的数据抽取技术;5、熟练使用MySQL或其他数据库,熟悉Hadoop、HBase、Elastic Search等技术;6、扎实的算法和数据结构能力,有大型分布式爬虫架构经验;7、有舆情相关系统开发经验者优先。岗位职责:1、负责设计和开发分布式的网络爬虫应用,包括调度、抓取、入库等内容,进行互联网相关信息的抓取和分析;2、负责网络爬虫系统架构设计、功能开发及优化;3、负责网页信息抽取等核心算法的研究和优化。

立即申请
收藏北京PK10人工在线计划

Data Operations Developer聚物腾云物联网(上海)有限公司上海-长宁区1-1.5万/月09-08

学历要求:本科|工作经验:1年|公司性质:外资(欧美)|公司规模:150-500人

职位: 数据工程师部门: Content工作地点:上海汇报线: Senior Manager of Content Team, Shanghai岗位职责:1. 负责公司大数据的爬虫与清洗工作2. 设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量3. 负责大规模文本、图像的抓取、抽取、去重、分类,垃圾过滤,质量识别等4. 研究各种目标网站的形态,互联网特征挖掘,发现它们的特点和规律5. 设计和维护内部使用的数据库任职要求:1. 本科及以上学历2. 了解Mysql等常用数据库3. 熟练掌握一种爬虫框架,例如Scrapy或者Selenium4. 熟悉常见的反爬虫机制解决办法5. 熟悉Internet基本协议(如TCP/IP. HTTP等)6. 熟悉缓存、消息机制、并发框架,异步框架等7. 熟悉HTML/DOM/XPATH/CSS,对DOM有一定的功底能够熟练使用Jsoup等进行分析网页,有模拟登录、模拟浏览器、APP抓取经验者优先8. 一年以上网络抓取及数据挖掘的经验,应届生具备Python项目经验亦可9. 谦虚勤奋,有良好的时间管理能力,以结果为导向加分技能:1. 有一定的PDF数据自动化处理相关知识,优先考虑2. 有网络应用开发的经验3. 有用Python、C#或Delphi开发UI应用程序的经验Job Title: Data Operations DeveloperDepartment: ContentWork Location: Shanghai, ChinaReports to: Senior Manager of Content Team, ShanghaiResponsibilities:1. Craw and clean the company’s big data.2. Design crawler strategies and anti-blocking rules to improve the efficiency and quality of web crawing.3. Large-scale text, image data capture, extraction, deduplication, classification, garbage filtering, quality recognition, etc.4. Research the morphology of various target websites, mining Internet characteristics, and discover their characteristics and laws.5. Deploy and maintain internally used databases.Requirements:1. Bachelor Degree above.2. Familiar with Mysql and other common databases.3. Proficiency in a crawler framework, such as Scrapy or Selenium.4. Familiar with common anti-crawler mechanism solutions.5. Familiar with basic Internet protocols (such as TCP/IP, HTTP, etc.).6. Familiar with caching, message mechanism, concurrency framework, asynchronous framework, etc.7. Familiar with HTML/DOM/XPATH/CSS. Basic knowledge of DOM and proficiency in analyzing web pages by Jsoup, etc. Experience in simulated login, simulation of browser and APP fetching is preferred.8. 1+ year above working experience or project experience in web crawling and datamining.9. Diligent and humble. Good time management skill, and result oriented behavior mode.The following skills is a plus:1. Knowledge of PDF data automation.2. Experience of developing web applications.3. Experience of developing applications with UI in python, C# or Delphi.

立即申请
收藏北京PK10人工在线计划

Java爬虫亿企赢网络科技有限公司浙江分公司杭州-拱墅区0.8-1.3万/月09-08

学历要求:本科|工作经验:2年|公司性质:民营公司|北京PK10人工在线计划公司规模:50-150人

北京PK10人工在线计划工作职责:负责自动化web端填报服务设计与开发。负责网页数据的爬取,清洗,去重等。岗位要求:熟练掌握JAVA语言,熟悉至少一种爬虫框架。熟悉http协议,对模拟请求,模拟登录,模拟填报表格等实际开发经验。能熟练使用xpath,CSS,正则对HTML文本进行处理。熟悉至少一种关系型数据库,MySQL,Oracle等,熟悉至少一种非关系型数据库redis等。有分布式架构开发经验者优先。其他要求:本科,两年以上开发经验。

立即申请
收藏

全选
申请职位
共10页,到第确定

-中高端人才求职平台

招聘职位: 后端开发,前端开发,移动端开发,测试,产品/设计/运营
招聘职位: 财务审计,合规与风险控制,后台运营,投行,销售
招聘职位: 房地产开发,建筑工程,规划设计,商业,市场营销
招聘职位: 汽车新能源,软件与汽车电子,生产制造,质量管理,供应链管理