1、大数据可以根据其来源和特性被分为三大类：- 传统企业数据：这类数据包括客户关系管理系统（CRM）中的消费者信息、企业资源规划（ERP）系统中的常规管理数据、库存和财务账目等。
2、大数据的类型大致可分为三类：传统企业数据（Traditional enterprise data）：包括 CRM systems的消费者数据，传统的ERP数据，库存数据以及账目数据等。
3、大数据常用的数据处理方式主要有以下几种： 批量处理（Bulk Processing）： 批量处理是一种在大量数据上执行某项特定任务的方法。这种方法通常用于分析已经存储在数据库中的历史数据。批量处理的主要优点是效率高，可以在大量数据上一次性执行任务，从而节省时间和计算资源。
4、大数据常用的数据处理方式主要包括以下几种： 批量处理（Bulk Processing）： 批量处理是一种在大量数据上执行某项操作的策略，通常在数据被收集到一个特定的时间点后进行。这种方式的特点是效率高，但响应时间较长。它适用于需要大量计算资源的大型数据处理任务，如数据挖掘和机器学习。
5、大数据处理的四种常见方法包括： 批量处理：这种方法在数据集累积到一定量后集中处理，适合对存储的数据进行大规模操作，如数据挖掘和分析。 流处理：流处理涉及对实时数据流的即时分析，适用于需要快速响应的场景，如实时监控系统和金融市场分析。
6、大数据算法有多种，以下是一些主要的算法：聚类算法 聚类算法是一种无监督学习的算法，它将相似的数据点划分到同一个集群中。常见的聚类算法包括K均值聚类、层次聚类等。这些算法在处理大数据时能够有效地进行数据分组，帮助发现数据中的模式和结构。
可以通过list命令查看数据库中的表，或scan ‘access_log’，查看表中数据 配置Flume，实现采集和存储 在本方案中，我们要将数据存储到HBase中，所以使用flume中提供的hbase sink，同时，为了清洗转换日志数据，我们实现自己的AsyncHbaseEventSerializer。
Flume内部有一个或者多个Agent，对于每一个Agent来说，它就是一个独立的守护进程（JVM），它从客户端哪儿接收收集，或者从其他的 Agent接收，然后迅速的将获取的数据传给下一个目的节点sink，或者agent。Agent主要由source、channel、sink三个组件组成。
数据收集这块的技术选择，Agent是用Go自己研发的，消息中间件Kafka，数据传输工具Flume。说到数据收集经常有人拿Flume和Kafka做比较，我看来这两者定位是不同的，Flume更倾向于数据传输本身，Kakfa是典型的消息中间件用于解耦生产者消费者。
Linux系统和Hadoop生态体：大数据的开发的框架是搭建在Linux系统上面的，所以要熟悉Linux开发环境。而Hadoop是一个大数据的基础架构，能搭建大型数据仓库，PB级别数据的存储、处理、分析、统计等业务。还需要了解数据迁移工具Sqoop、Flume分布式日志框架。
需要实时收集多台服务器的nginx日志到一台机器。收集完成结果存放需要按天生成文件夹，按每5分钟生成文件，比如2012年12月29日12点26分的日志，需要放到/data/log/20121229/log-1225-对应的文件中。自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。
1、日志数据的类型包括：错误日志（errorlog）；慢查询日志（slow query log） ；一般查询日志（general log）；二进制日志（binlog）；中继日志（relay log）；。
2、传统企业数据：这类数据包括客户关系管理系统（CRM）中的消费者信息、传统的企业资源规划（ERP）数据、库存记录、财务账目等。机器与传感器数据：这一类数据源包括通话详情记录、智能仪表读数、工业设备传感器数据、设备日志（通常称为数字排泄物）以及交易数据等。
3、大数据要分析的数据类型主要有四大类：交易数据（TRANSACTION DATA）大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的交易数据类型进行分析，不仅仅包括POS或电子商务购物数据，还包括行为交易数据，例如Web服务器记录的互联网点击流数据日志。
4、传统企业数据：这类数据包括CRM系统的消费者数据、传统的ERP数据、库存数据以及账目数据等。机器和传感器数据：这类数据包括呼叫记录、智能仪表、工业设备传感器、设备日志以及交易数据等。社交数据：这类数据包括用户行为记录、反馈数据等，例如Twitter、Facebook等社交媒体平台上的数据。
