8.22会议记录

当前遇到的问题

• kylo运行feed实例不通过 原因：日志显示nifi提交并运行spark job时依赖包找不到
• HDF中kafka、storm等组件未安装完全，需要替换版本进行修正

阶段性总结

• 项目的任务重点： 1.离线数据处理 2.实时流数据处理 3.transform的研究与使用 4.kylo与HDP元数据的结合

接下来要做的事

• 文档的规范化 1.统一使用md格式文档 2.各自把文档提交到git
  • 文档的分类 1.构架设计与使用文档 2.安装文档 3.QA文档
• 为解决当前遇到的问题与以后要涉及的二次开发，抽时间看源码
• 1.独立的mysql环境部署 2.spider3现有kylo环境的备份 3.将nifi纳入HDP环境管理
• 尝试另一种思路，将kylo与HDP环境结合进行安装
• druid要替代hbase、influxdb、kylin等存储环境（赵总提出）