工作职责:
1、在数据专家的带领下,根据业务需求,构建并维护数据采集系统,从工业数据源收集、清洗、预处理数据;
2、构建数据仓库与数据湖,为算法研发与模型训练提供高质量数据支持;
3、优化ETL作业性能,提高数据处理效率,排查和解决ETL过程中出现的问题和故障;
4、负责数据的日常维护工作,保障数据存储的高效性和安全性,保证数据安全合规;
4、深入理解工业领域场景的业务问题,理解工业生产流程和痛点。
任职条件:
1、计算机、软件工程、数学等相关专业本科或以上学历,3年以上相关工作经验,有工业数据处理经验者优先;
2、熟悉数据处理流程,掌握至少一种主流ETL工具,如Informatica、DataStage、Kettle等,熟练掌握其开发和配置;
3、精通SQL语言,能够熟练编写复杂的查询语句和存储过程,熟悉数据库设计和优化;
4、掌握至少一种编程语言(如Python、Java、Scala等);
5、了解大模型对数据规模、质量的要求,掌握针对大模型的数据预处理优化策略;
6、对业务流程有较强的理解能力,具备良好的问题解决能力和快速学习能力。