请根据本课程所学的分布式系统与云计算的相关知识,如分布式计算、并行计算、分布式存储及虚拟化等技术,结合机器学习、深度学习、大数据、物联网等技术在云计算领域的应用,完成基于MapReduce的算法、系统、平台等的相关项目。
以个人为单位一人一题,完成整个项目任务。
3.1 选题要求
具体任务名称如表3.1所示,要求学生在下表中随机抽选一个题目(每位学生题目不重复),也可自选题目进行项目设计,选题需经过教师同意,并完成一个MapReduce项目。
表3.1项目选题
项目名称 | |
基于MapReduce的大规模网络社区发现算法 | 基于MapReduce的大数据分类模型及算法 |
基于MapReduce的并行化电网运行数据处理方法研究 | 基于MapReduce的分治k均值聚类方法 |
基于MapReduce云计算的报表平台技术与应用 | MapReduce框架下结合分布式编码计算的容错算法 |
基于MapReduce与优化布谷鸟算法的并行密度聚类算法 | MapReduce框架下PCA算法的并行实现 |
基于MapReduce物联网大数据处理框架设计 | 基于MapReduce的强连通网格聚类算法 |
基于MapReduce的健康大数据并行挖掘算法研究 | 基于MapReduce的局部相似自连接算法 |
基于MapReduce的电信网络反诈骗大数据分析与检测算法研究 | 基于MapReduce的Skyline查询优化算法 |
基于MapReduce模型的非结构化数据分布式存储方法 | 基于MapReduce的并行数据流调度策略 |
基于MapReduce的支持向量机参数选择研究 | 基于MapReduce框架下的K-means聚类算法的改进 |
基于MapReduce微博数据清洗的研究与实现 | 一种基于MapReduce的车辆轨迹提取方法 |
基于MapReduce并行计算的网站日志数据分析处理 | 基于MapReduce的ID3决策树算法并行化 |
基于MapReduce和改进密度峰值的划分聚类算法 | 基于MapReduce的并行加权k近邻与离群检测 |
基于MapReduce和改进人工蜂群算法的并行划分聚类算法 | MapReduce同类机排序问题的改进算法 |
基于MapReduce框架的实时大数据图像分类研究 | 基于MapReduce的关联规则挖掘算法的研究及应用 |
基于MapReduce模型的并行粒子群分簇算法研究 | 基于MapReduce的商品评论热点发现算法研究 |
基于MapReduce实现的KNN改进算法 | 基于MapReduce的并行异常检测算法 |
基于MapReduce的朴素贝叶斯算法文本分类方法 | 基于MapReduce的CTK加权聚类改进算法 |
基于MapReduce模型的并行处理优化策略 | 基于MapReduce并行化计算的大数据聚类算法 |
基于MapReduce的Apriori算法增量挖掘 | 基于MapReduce架构的Reduce任务调度优化 |
基于MapReduce实现的改进决策树 | 基于MapReduce的聚类算法相似性度量分析研究 |
基于MapReduce和IFOA的并行密度聚类算法 | 基于MapReduce的HDFS数据窃取随机检测算法 |
基于MapReduce的模糊K-means算法并行化研究 | 基于MapReduce改进K-NN的大数据分类算法研究 |
基于MapReduce的档案信息数据库快速检索系统设计 | 基于MapReduce的增量式全文Lucene引擎并行检索 |
基于MapReduce的分布式图像处理与特征提取算法 | 基于MapReduce的多模态大数据融合分析方法 |
基于MapReduce的快速文本摘要生成算法研究 | 基于MapReduce的大规模社交网络数据情感分析 |
基于MapReduce的深度学习模型并行训练优化 | 基于MapReduce的物联网实时数据聚合方法 |
基于MapReduce的大数据隐私保护和加密处理算法 | 基于MapReduce的实时流数据异常检测与预测模型 |
基于MapReduce的大规模图数据算法并行化研究 | 基于MapReduce的基因组数据并行处理与分析方法 |
基于MapReduce的跨语言文本相似度计算研究 | 基于MapReduce的时间序列数据聚类与预测算法 |
基于MapReduce的分布式数据压缩与解压缩算法 | 基于MapReduce的大数据实时推荐系统优化设计 |
3.2 过程要求
(1)背景调研。根据所选项目名称,展开与题目相关的背景调研工作,并详细介绍背景知识。
(2)总体设计。根据所选任务,说明算法(模型、项目、平台或系统)的整体设计原理;说明与算法(模型、项目、平台或系统)相关的主要技术;说明实现算法(模型、项目、平台或系统)所用到的开发环境、开发平台及开发工具。
(3)项目实现。说明实现算法(模型、项目、平台或系统)所用到的数据集或测试数据;说明实现算法(模型、项目、平台或系统)所设计的各个重要步骤;说明实现算法(模型、项目、平台或系统)所设计的各个模块的代码实现。
(4)项目测试。说明测试算法(模型、项目、平台或系统)完成情况的方法、测试用例及实现效果,要求图文结合。
(5)项目总结。具体要求如下:总结项目中涉及的本学期学过的具体知识点,要求至少2个,并予以简单介绍;认真总结本学期对于该课程的学习情况;根据说明书模板要求,撰写项目设计说明书,并参加答辩。
3.3 答辩要求
1.学生按事先安排好的顺序进行答辩;
2.通过PPT自述项目内容,自述时间3分钟;
3.教师根据项目说明书和学生自述进行提问,时间2分钟。
四、成果材料及提交时间要求
4.1 成果材料及规范性
设计结束后,学生要提交以下具体材料,以体现其设计成果。
(1)电子版材料:将项目报告、项目数据集和标注结果放在同一个文件夹下,文件夹命名方式为:班级-姓名-学号。将整个文件夹以压缩包的形式上交给各班学习委员,由学习委员汇总上交给老师。
(2)纸质版材料:项目报告一份,左侧两钉装订。
注意:项目设计说明书目录自动生成,正文排版规范,中文采用宋体小四;数字及英文采用 Times New Roman 小四,1.5倍行距。
参考文献不少于5篇。
4.2 提交时间
第16次课提交电子版及纸质版材料。
五、考核标准(满分100分,占总成绩的40%)
序号 | 考核项目 | 考核点及标准 |
1 | 项目调研 (10分) | 调研内容全面,即包含项目背景、相关技术、可行性、应用场景及发展方向这5个方面,得10分; 调研内容较全面,即包含项目背景、相关技术、可行性、应用场景及发展方向这5个方面中的3-4个方面,得6-9分; 调研内容不充足,即包含项目背景、相关技术、可行性、应用场景及发展方向这5个方面中的1-2个方面,得1-5分; 未进行项目调研,得0分。 |
2 | 总体设计(15分) | 整体设计原理(5分): 介绍了整体设计原理,且完整、清晰和明确,得4-5分; 介绍了整体设计原理,但不够完整、清晰和明确,得1-3分, 未介绍整体设计原理,得0分。 |
相关技术介绍(5分): 介绍了相关技术,且适切和清晰,得4-5分; 介绍了相关技术,但不够适切和清晰,得1-3分; 未介绍相关技术,得0分。 | ||
开发环境、平台、工具的介绍(5分): 介绍了开发环境、平台、工具,且清晰和详细,得4-5分; 介绍了开发环境、平台、工具,但不够清晰和详细,得1-3分; 未介绍开发环境、平台、工具,得0分。 | ||
3 | 项目实现(30分) | 数据集或测试数据介绍(10分): 数据集或测试数据来源、使用方法介绍十分详细,得10分; 数据集或测试数据来源、使用方法介绍较详细,得6-9分; 数据集或测试数据来源、使用方法介绍不详细,得1-5分; 未对数据集或测试数据进行介绍,得0分。 |
算法设计(10分): 算法使用合理且主要流程介绍十分详细,得10分; 算法使用较合理且主要流程介绍较详细,得6-9分; 算法使用不合理且主要流程不详细,得1-5分; 未使用算法且未介绍算法主要流程,得0分。 | ||
代码实现(10分): 实现了算法各个模块的代码,且准确完整,得10分; 实现了算法各个模块的代码,且较为准确完整,得6-9分; 实现了算法部分模块的代码,且较为准确完整,得1-5分; 算法各个模块的代码均未实现,得0分。 | ||
4 | 项目测试 (10分) | 测试方法和测试用例(5分): 设计了测试方法和用例,且恰当和完整,得5分; 设计了测试方法和用例,且较为恰当和完整,得1-4分; 未设计测试方法和用例,得0分。 |
结果展示(5分): 展示了项目的运行结果,且全面和正确,得5分; 展示了项目的运行结果,但不够全面和正确,得1-4分; 未展示项目的运行结果,得0分。 | ||
5 | 项目总结 (10分) | 项目总结(10分): 项目中的知识点总结全面,得10分; 项目中的知识点总结较全面,得6-9分; 项目中的知识点总结不全面,得1-5分; 未进行项目知识点总结,得0分。 |
6 | 项目报告 (10分) | 项目报告(10分): 项目报告结构合理,内容充实,格式正确,得10分; 项目报告结构比较合理,内容比较充实,格式少量错误,得6-9分; 项目报告结构混乱,内容不充足,格式较多错误,得1-5分; 项目报告结构混乱,内容不足,格式大量错误,得0分。 |
7 | 答辩 (15分) | 项目介绍(5分): 对项目介绍逻辑清晰,表达流畅,对项目优缺点有清晰认识,得4-5分;对项目介绍较为粗陋,表达不够清晰流畅,对项目的整体认识不足,得1-3分; 未进行项目介绍,得0分。 |
个人答辩(10分): 个人答辩思路清晰,语言流畅,有条理,得10分; 个人答辩思路较清晰,问题基本回答正确,得6-9分; 个人答辩思路不清晰,语言不流畅得1-5分; 个人答辩混乱,问题回答全部错误,得0分。 | ||
在答辩过程中,如若发现雷同、抄袭等现象,成绩记为零分。 |
鄂ICP备2023011697号-1 | Powered By 91代做