数据采集开发工程师
参与数据采集平台的架构设计与开发;负责分布式网络爬虫系统的设计、开发与技术选型;持续进行系统架构优化,提升平台稳定性、可扩展性与安全性;负责多平台信息的采集,包括视频、音频、图片、文章等内容。要求具备计算机相关专业背景,3年及以上网络爬虫、采集平台或 RPA 相关开发经验;熟练掌握 Python 及常用采集框架,精通 Web 端逆向和常见风控对抗技术,能够处理验证码、封号封IP、混淆加密、页面跳转等问题;熟悉 TLS 指纹、JS 补环境...
第 653 页,共 829 页
参与数据采集平台的架构设计与开发;负责分布式网络爬虫系统的设计、开发与技术选型;持续进行系统架构优化,提升平台稳定性、可扩展性与安全性;负责多平台信息的采集,包括视频、音频、图片、文章等内容。要求具备计算机相关专业背景,3年及以上网络爬虫、采集平台或 RPA 相关开发经验;熟练掌握 Python 及常用采集框架,精通 Web 端逆向和常见风控对抗技术,能够处理验证码、封号封IP、混淆加密、页面跳转等问题;熟悉 TLS 指纹、JS 补环境...
负责算法数据平台系统的架构设计与开发,保障系统稳定、高效、安全运行;深入分析算法团队的数据需求,设计并实现合理的技术方案;持续进行平台架构改造和优化,提升系统稳定性与可扩展性;参与数据采集、数据标注、数据治理等数据平台的设计与开发。要求具备计算机相关专业背景,3年及以上开发经验,熟悉 Java、Python、Golang 及常用框架,具备全栈开发能力;精通常用中间件技术,如 MySQL、Redis、MQ、ES 等,具备大型复杂业务平台设...
负责规划、协调和推动大规模基础模型(包括但不限于大语言模型、多模态模型)从研究构想、实验开发到原型验证的全过程,成为连接前沿AI研究与高效项目交付的核心桥梁。制定并跟踪基础模型研发项目的整体计划、时间表和资源预算,主动识别、评估并缓解技术、资源、进度风险;作为项目主要协调人,与研究员、算法工程师、软件工程师、数据工程师和基础设施团队紧密合作,组织站会、周会和评审会,确保信息高效透明流动;管理和优化项目工作流程,提升团队协同效率和实验迭代...