基于AWS云平台的数据出力项目(2023-12~2024-08)

项目情况概述

编程相关

1. 该项目总结下来基本只需要做两件事情，将数据从桶里导入表中，或者将表里的数据导出到数据库，除了极个别业务逻辑比较复杂的模块，或者数据量比较大模块之外，大多数时候不太需要思考

2. 基于AWS平台，使用了Lambda（函数，主要处理逻辑）、S3（存储，实例对象叫做Bucket）

3. 使用到的编程语言有两种Python和TypeScript，对语言的要求级别不高，只要有过经验就能胜任，需要一定的编程经验来解决项目中出现的各种问题

4. 使用到的数据库是MySQL，因为该项目经常会有单表的数据过百万，千万，甚至亿级别程度，需要会编写一些较为复杂的SQL语句，以及一些优化技巧，比如索引，分表等

5. 对于Lambda使用方式，本项目主要是用到了两种，一种是通过Scheduler（定时任务，根据你设定的时间来执行），另一种方式是通过触发器，通过对某个桶设置监听指定的文件前缀，当该桶有文件被放入，就会触发。

项目管理相关

6. 使用到版本管理工具是Git，分支量很大，需要经常合并分支，解决冲突，有过相关经验即可

7. 使用SVN来管理文档，SVN管理文档相对方便，也不是很需要太精细的操作

8. 因为项目的式样书大部分情况都是和开发并行，所以开发相对自由，只要符合机能需求即可，但是经常因为需求不确定，发生回炉重造的问题

9. 部署有自动化，但是经常需要有人熬夜查看是否出现问题，一旦出现问题，整个部署过程就会停止

10. 项目团队比较垂直，沟通比较方便（开发团队），不需要经常开那种无用的早会晚会。

11. 使用Backlog来管理项目的WIKI，问题票之类的，类似Redmine，不过界面更加友好一些。

经验总结

1. 对于数据库大数据的优化，比如索引方面有了一定实践上的收获，以前这方面经验较少，大部分的项目数据量较少，不需要考虑数据方面的问题，即使考虑了也只需要按照式样建索引，优化的效果不太明显，再者对日项目做到优化的阶段基本处于后期，这种时候一般就不在项目中了。※（这是很重要的经验）
2. 对于AWS的使用有了一定经验。
3. 日语方面基本没有长进，该项目只需要简单的书面用语即可。
4. 技术方面长进可忽略，除了数据库之外，单纯是熟悉了一遍Python的语法。
5. 做对日亘古不变的道理是如果有问题那就一定要问清楚，再开始着手。

写在最后

总体来说是一个对成长有一点帮助，相对比较自由的项目，这是第一次写这种类型的总结，要以真实为第一要义，毕竟是写给自己看的，不要拘泥于形式，通过坐下来冷静的思考，反省，来总结自己在这个项目中的得与失，以此来警醒自己，需要时时勤拂拭。

写于
2024.07.26
一个阴天的下午
——by 三页半