数据员个人工作计划Word格式.docx

数据员个人工作计划Word格式.docx

《数据员个人工作计划Word格式.docx》由会员分享，可在线阅读，更多相关《数据员个人工作计划Word格式.docx（19页珍藏版）》请在冰豆网上搜索。

五、成立缓存体制

当数据量增添时，一般的办理工具都要考虑到缓存问题。

缓存大小设置的好差也关系到

数据办理的成败，比如，笔者在办理2亿条数据聚合操作时，缓存设置为100000条/Buffer，

这关于这个级其余数据量是可行的。

六、加大虚构内存

假如系统资源有限，内存提示不足，则能够靠增添虚构内存来解决。

笔者在实质项目中

以前碰到针对18亿条的数据进行办理，内存为1GB，1个P4的CPU，对这么大的数

据量进行聚合操作是有问题的，提示内存不足，那么采纳了加大虚构内存的方法来解决，在

6块磁盘分区上分别成立了6个4096M的磁盘分区，用于虚构内存，这样虚构的内存则增

加为4096*6+1024=25600M，解决了数据办理中的内存不足问题。

七、分批办理

海量数据办理难因为数据量大，那么解决海量数据办理难的问题此中一个技巧是减少量

据量。

能够对海量数据分批办理，而后办理后的数据再进行归并操作，这样逐个击破，有益

于小数据量的办理，不至于面对大数据量带来的问题，可是这类方法也要因时因势进行，如

果不一样意拆分数据，还需要另想方法。

可是一般的数据按天、按月、按年等储存的，都能够

采纳先分后合的方法，对数据进行分开办理。

八、使用暂时表和中间表

数据量增添时，办理中要考虑提早汇总。

这样做的目的是化整为零，大表变小表，分块办理达成后，再利用必定的规则进行归并，办理过程中的暂时表的使用和中间结果的保留都

特别重要，假如关于超海量的数据，大表办理不了，只好拆分为多个小表。

假如办理过程中需要多步汇总操作，可按汇总步骤一步步来，不要一条语句达成，一口气吃掉一个胖子。

九、优化查问SQL语句

在对海量数据进行查问办理过程中，查问的SQL语句的性能对查问效率的影响是特别

大的，编写高效优异的SQL脚本和储存过程是数据库工作人员的职责，也是查验数据库工

作人员水平的一个标准，在对SQL语句的编写过程中，比如减少关系，少用或不用游标，

设计好高效的数据库表构造等都十分必需。

笔者在工作中试着对1亿行的数据使用游标，运转3个小时没有出结果，这是必定要改用程序办理了。

十、使用文本格式进行办理

对一般的数据办理能够使用数据库，假如对复杂的数据办理，一定借助程序，那么在程

序操作数据库和程序操作文本之间选择，是必定要选择程序操作文本的，原由为：

程序操作文本速度快；

对文本进行办理不简单犯错；

文本的储存不受限制等。

比如一般的海量的网络日记都是文本格式或许csv格式（文本格式），对它进行办理牵涉到数据冲洗，是要利用程序进行办理的，而不建议导入数据库再做冲洗。

十一、定制强盛的冲洗规则和犯错办理体制

海量数据中存在着不一致性，极有可能出现某处的瑕疵。

比如，相同的数据中的时间字段，有的可能为非标准的时间，出现的原由可能为应用程序的错误，系统的错误等，这是在进行数据办理时，一定拟订强盛的数据冲洗规则和犯错办理体制。

十二、成立视图或许物化视图

视图中的数据根源于基表，对海量数据的办理，能够将数据按必定的规则分别到各个基

表中，查问或办理过程中能够鉴于视图进行，这样分别了磁盘I/O，正如10根绳索吊着一

根柱子和一根吊着一根柱子的差别。

十三、防止使用32位机子（极端状况）

当前的计算机好多都是32位的，那么编写的程序对内存的需要便受限制，而好多的海

量数据办理是一定大批耗费内存的，这便要求更好性能的机子，此中对位数的限制也十分重

要。

十四、考虑操作系统问题

海量数据办理过程中，除了对数据库，办理程序等要求比较高之外，对操作系统的要求也放到了重要的地点，一般是一定使用服务器的，并且对系统的安全性和稳固性等要求也比

较高。

特别对操作系统自己的缓存体制，暂时空间的办理等问题都需要综合考虑。

十五、使用数据库房和多维数据库储存

数据量加大是必定要考虑

OLAP

的，传统的报表可能

5、6个小时出来结果，而鉴于Cube

的查问可能只要要几分钟，所以办理海量数据的利器是

OLAP多维剖析，即成立数据库房，

成立多维数据集，鉴于多维数据集进行报表显现和数据发掘等。

十六、使用采样数据，进行数据发掘

鉴于海量数据的数据发掘正在逐渐盛行，

面对着超海量的数据，一般的发掘软件或算法

常常采纳数据抽样的方式进行办理，

这样的偏差不会很高，

大大提高了办理效率和办理的成

功率。

一般采样时要注意数据的完好性和，

防备过大的偏差。

笔者以前对

1亿2千万行的表

数据进行采样，抽拿出

400万行，经测试软件测试办理的偏差为千分之五，客户能够接受。

还有一些方法，需要在不一样的状况和场合下运用，

比如使用代理键等操作，

这样的利处

是加速了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。

近似的状况需要针对不

同的需求进行办理。

海量数据是发展趋向，

对数据剖析和发掘也愈来愈重要，

从海量数据中提取实用信息重

要而紧急，这便要求办理要正确，精度要高，并且办理时间要短，获得有价值信息要快，所

以，对海量数据的研究很有前程，也很值得进行宽泛深入的研究。

在过去的一年里，我在领导、同事们的支持和帮助下，用自己所学知识，在自己的工作

岗位上，尽责尽责，较好的达成了各项工作任务。

为企业做出了应有的贡献。

同时，身为一

名化验员我也在从思想到行动，

从理论到实践，进一步学习，

提高自己的工作水平。

现将本

人今年度工作总结以下：

一、努力学习，完美自我：

随

-着企业的发展，实验室仪器的增添。

为了更好的达成工

作，在以前的工作基础之上，又学习了水中油含量、柴油烃类构成（稀释法）

、hcl的测定等

新的实验方法，并且娴熟掌握，较好的达成了有关的工作任务。

其次在工作中也常常碰到一

些新的问题，经过和领导、同事们的商议研究最后解决。

同时也对有关工作有了进一步的认

识。

二、工作内容与领会：

我的工作主假如配合研发一部的其余几个岗位做相应的剖析。

第

一，配合重整催化剂评定岗位生成油的折光率和烃类构成剖析；

第二，配合抽提组的芳烃抽

提的柴油做烃类构成剖析；

第三，配合代研究做的裂解油的黏度，

酸值及色度平剖析；

第四，

负责研发一部水样的水中油含量、水垢等有关剖析；

此外在原油评论中负责酸值、蜡含量、

硫醇硫、色度、冷虑点、黏度及逆流黏度等有关剖析；

参加

hr-05b300溶剂生产负责取样及

黏度剖析共二十一天；

其次就是一些储藏油样的色度剖析及其余的一些实验剖析；

此外我还

踊跃配合其余同事达成了一些工作任务。

一年中，在领导和同事们的尽心关心和指导下：

我

共达成色度数据500多个；

折光率数据

150个；

黏度数据

88个；

逆流黏度数据

140个；

水

中油数据245个；

荧光族组数据

193个；

柴油族构成数据

115个；

酸值数据30

多个；

蜡含

量数据11个；

密度数据

16个；

冷虑点数据

5个；

溴价溴指数数据

18个。

化验工作精美琐

碎，并且因为我们主假如搞

研发，所以不像炼油厂的化验工作很有规律性。

我们会常常遇

到不一样的新问题。

所认为了搞好工作，我不怕麻烦，仔细察看实验现象，向领导讨教、向同

事学习、自己探索实践，

仔细学习有关业务知识，不停提高自己的理论水平易综合素质。

在

实验室工作安全意识和环保意知趣当重要。

所以我工作投入，能够正确仔细对待每一项工作，

熟记各项安全举措，遇事不可以慌。

环保也是相当重要，做到每种化学试剂和需要办理的油样，

集中分类办理，不任意乱倒。

这些对环境都很有影响。

在洗刷瓶子时，

不随意倒沾有油的污

水。

同时注意到实验室的通风和各样化学试剂及油样的摆放问题。

三、工作态度与勤劳敬业：

我热爱自己的本员工作，

正确仔细对待每一项工作，在展开

工作以前做好个人，有主次的先后及时达成各项工作。

热情为大家服务，仔细恪守劳动纪律，

保证准时出勤。

有效利用工作时间，

固守岗位，需要加班达成工作准时加班加点，

保证工作

能准时达成。

在作风上，能遵章守纪、团结同事、务真务实、乐观长进，一直保持谨慎仔细

的工作态度和谨小慎微的工作作风。

踊跃参加企业组织的各项活动，

如春游，秋天五项全能

体育竞赛等。

总结这一年来的工作，只管有了必定的进步和成绩，

但在一些方面还存在着不足。

比方

好多实验不过逗留在简单的操作而忽略了工作原理；

实验过程中因为自己的马虎致使实验仪

器破坏或实验结果偏差较大等。

还有个别实验做得不够娴熟，

不够完美，这有待于在此后的

工作中加以改良。

经过这段时间的工作实践，让我懂得从事实验剖析工作必定要仔细，

不可以

放过一个疑点，有问题多请示，多报告。

在此后的时间里，我将仔细恪守各项考勤制度，努

力学习有关石油化工的各项实验剖析方法及石油化工知识，

争取成为一名更加优异的全方面

的实验剖析化验员，为企业的发展献出自己的一份力量。

在市委、市政府的领导和关心下，

在自治区农普办的业务指导下，

经过市农普办和县区

农普办全体人员的共同努力，

我市第二次农业普查数据办理工作靠近结尾。

现将全市农业普

查数据办理工作总结以下：

一、数据办理基本状况

我市共有1602个普查区、17010个普查小区，涉农单位

1960家，需要录入的普查表有

200多万张。

我市农普数据办理工作所有安排在市一级展开，分为光电录入和

Apras逻辑审

核两个阶段，两个阶段同时进行。

市农普办分配二十多台电脑，加上自治区调拨的

12台电

脑，约有30多台PC机用于农普数据办理工作。

整个普查数据办理工作从准备阶段到数据上报，

历时一年半时间，经历了数据办理组组

建阶段、清点办理阶段、设施安装调试阶段、培训阶段、光电录入阶段、逻辑审查阶段、数

据上报阶段等。

我市光电录入工作开始于

2007年4月上旬，采纳外聘实习生和市农普办工

作人员相联合操作的方式，由实习生进行扫描、校验、审查整个流程的操作，农普办人员在

旁监察以保证扫描录入的质量。

全面的光电录入工作于

6月12日结束，时期共扫描普查表

2300579张，均匀每日扫描3

万张左右，最高一天扫描约

7万张的普查表。

Apras逻辑审查

开始于4月中旬，采纳的方法是由乡镇人员操作对本乡镇的数据进行逻辑审查、

改错，市农

普办业务组人员控制整体数据质量。

为保证数据质量，市农普办多次召开现场培训会，

经过

拟订、履行完好的工作流程，进而对

Apras审查进行全程监控。

市农普办先后组织了

20批

约400人次参加了农普Apras逻辑审查工作，整个审查工作于

7月下旬结束。

市农普办还结

合我市的实质，发挥创新能力，在国家下发的

Apras程序制度基础上，新增了

19条审查公

式和10张汇总表用于数据质量控制。

8月下旬，我市农普数据顺利经过自治区审查并上报

至国家。

数据办理工作总结

（2）

二、主要做法

（一）领导重视，为数据办理工作供给强有力的组织保障。

数据办理作为整个农普工作的重要环节，

关系到农普工作的利害，

我市农普数据办理工

作之所以顺利展开，与市农普办领导亲密关心分不开的。

农普办领导常常对数据办理工作进

行检查指导，及时纠正数据办理工作错误，协调停决数据办理工作碰到的困难。

市农普办领导从普查经费中划拨出数据办理专项经费，

用于保障数据办理培训、

外聘数

据办理人员劳务费、购买数据办理用服务器和

PC机等电子设施、网站建设和网络正常运转

以及平常平常办公所需要的支出，保障了农普数据办理工作的顺利进行。

（二）精心准备，成立农普数据办理组，拟订本市普查数据办理实行。

依据南农普办字11号文《南宁市第二次全国农业普查领导小组办公室成员职责分工方

案》的要求，在市农业普查领导小组办公室特意建立数据办理组，并以文件形式明确了数据

办理组的工作职责，办理构成员由市统计局计算站业务骨干构成。

依据国家和自治区的普查数据办理实行方案要求，

联合南宁市的实质状况，

我们拟订了

农普数据办理实行方案。

方案明确规定了整个农普数据办理工作流程、

办理模式，成立了数

据办理工作岗位责任制，保证了系统管理、扫描、辨别、校验、审查、任务管理、数据管理

岗位责任到人。

市农普办还拟订了一些数据办理工作规定，

如计算机房管理规定、

机房平常

工作管理要求等。

（三）亲密配合，做好农普清点数据办理工作，为普查正式展开夯实基础。

市农普数据

办理组踊跃配合业务组展开农普清点摸底工作，辅助业务组达成清点迅速汇总工作。

（四）仔细筹办，做好数据办理环境的落实、数据办理系统的集成和设施增补工作。

市农普办及时落实了数据办理工作的场所，

并对数据场所按要求进行了改造，

保证独立

接地并且小于1欧姆。

购买了

17台PC机，在机房安装了一台格力

5P天井式空调，给机房

装备了打印机，分配5台电脑和2台服务器用于

Apras逻辑审查工作，并更新了机房的两台

UPS。

及时接收自治区下发的数据办理软、

硬件，及时组织数据办理组人员组装设施、

安装程

序、调试网络、测试系统集成，搭建了与外面隔断的农普数据办理专用网络，保障了数据处

理准时展开。

同时，落实了资料周转、调阅和管理的资料库用房。

（五）精心精选，做好数据办理人员选调解培训工作。

依据农普工作要求，

市农普办从各成员单位抽调了一批年龄轻、

学历高、业务精的同志

充分到农普数据办理工作中来，

在数据办理工作各环节担当监察员、

审查员等重要角色。

并

从南宁市有关院校精选出

39名学生参加光电录入和

Apras逻辑审查工作。

市农普办多次派出业务骨干参加国家、

自治区举办的各样数据办理工作的培训会，

联合

本市实质拟订了详尽的培训计划，对我市参加数据办理工作的县区及外聘的人员进行数据处

理技术的培训。

培训获得优异成效，受训人员娴熟理解培训内容和掌握了相应的操作技巧，

极大促使了我市农普数据办理工作顺利展开。

（六）合理安排，做好各县区普查表上交及数据办理工作中原始资料的登记交接工作。

拟订原始资料交接流程，

制作了交接登记表，规定各县区上交普查表的时间，

指定专人

负责资料的交接工作，原始资料有特意地址寄存，

专人进行管理，已录入和未录入的资料分

开寄存，防止了在资料管理上出现杂乱。

在光电录入和逻辑审查过程中，

每个环节普查表的流转均有详尽的记录。

特别是在光电

录入环节中，有专人领取普查表并由专人负责回收领取的普查表，

关于已扫描、已校正、已

审查的普查表均有显然表记。

（七）精心组织，做好普查表光电录入和逻辑审查工作。

在自治区下发的12台PC机的基础上，我市又购买一批

PC机用于光电录入工作。

拟订

了规范的录入工作流程，领表、扫描、校验、审查、收表等环节均定人定岗，专人负责，市

级和县级排出专业人员负责跟从答疑。

参加录入工作的人员推行两班倒，

每班设有一个由市

农普办人员担当的班长负责对光电录入的全面分配。

每班交接有详尽的交接单，

记录清楚前

一班未达成的工作、已领出报表的小区名。

数据办理组负责把光电扫描的数据从光电录入系统导出，再导入到

Apras逻辑审查中，

并进行审查，记录好审查出来的错误笔数。

当光电录入导出时碰到错误，

数据办理组人员将

错误清单打出，交由光电录入当班班长办理。

Apras逻辑审查由乡镇人员操作达成，乡镇人员负责审查、订正本乡镇的农普数据。

市

农普办一致协调，安排各个乡镇进行数据办理的时间，业务组和数据办理组人员及时监控，

当发现问题、错误，及时见告有关乡镇的人员。

为进一步控制好我市的数据质量，

市农普办

联合我市的真相，发挥创新能力，在国家下发的

19条审查

公式和10张汇总表。

光电录入工作基本结束后，原来参加光电录入的人员立刻转入到Apras

逻辑审查的工作。

（八）严格履行，做好农普图像、数据的备份和办理设施的保护工作。

数据办理组对光电录入系统进行刻盘备份，按期对光电扫描的图像和Apras逻辑审查的

数据进行备份，图像能够经过程序准时自动备份，Apras中的数据经过人工准时备份。

接入

农普数据办理专用网络的每台电脑上均装有国家下发的VRV北信源杀毒软件，并对其设置

了准时自动查杀病毒。

因为举措适当，整个数据办理工作中未出现因操作不妥或不及时备份

或未及时查杀病毒而造成数据和图像丢掉现象。

每日工作结束时，均要求扫描仪操作人员对扫描仪进行洁净。

数据办理组每个月按期对

扫描仪进行深度洁净。

当扫描仪出现故障高出能力范围时，数据办理组均能及时与赞华企业

联系，请技术人员上门保护办理故障。

其余设施在农普数据办理工作时期未出现任何故障。

及时对光电录入系统和逻辑审查系统进行升级。

一旦国家农普网或自治区下文件更新，

市农普办数据办理组均能及时对市级有关程序按要求进行更新（包括Apras制度更新），避

免出现更新不及时而耽搁整个数据办理进度的事件。

（九）听从分配，踊跃配合全区农普数据办理工作的展开。

依据自治区的要求，在光电录入时期，我市先后增援了贵港市和北海市各一台光电扫描

仪，增援贵港市四台PC机，有力支持了兄弟市的数据办理工作。

在数据上报后，及时返还

了自治区下发的所有扫描仪、PC机、服务器等数据办理设施。

（十）准时保质，做好普查数据质量检查、评估和上报工作。

市农普办安排有专人负责统计每日的光电录入进度，并依据要务及时向自治区上报光电

录入进度。

严格依据规定的内容、时间和方式向自治区农普办上报我市农普数据和扫描图像。

在上

报数据以前，数据经市农普办业务组进行了剖析和评估，切合要求的评估报告及有关文字随

同普查数据一并上报自治区。

关于自治区审查反应的数据和错误清单，及时组织人员进行核实、订正，及时按规定再

次上报数据。

（十一）亲密配合，做好普查数据过后质量抽查工作。

数据上报后，依据自治区农普办的安排，我市派出业务组组长和数据办理业务骨干参加

了普查数据过后质量的抽查工作。

在整个抽查工作中，我市依据自治区农普办的要求，严格

把关，仔细达成抽查工作的每一个步骤。

我市农普数据办理工作质量获得了较大提高。

三、此后工作计划

下一步数据办理工作的重心将转移到数据资料的开发上。

我们计划在自治区反应数据后

立刻组织人员对全市农普资料进行系统整理,提早展开本