数据库(database)
Feb
17
begin --byitlief365
rows between unbounded preceding and current row等unbounded ，preceding ，following，current row含义详解
unbounded:无界限 by itlife365.com
preceding:从分区第一行头开始，则为 unbounded。 N为:相对当前行向前的偏移量
following :与preceding相反,到该分区结束，则为 unbounded。N为:相对当前行向后的偏移量
current row:顾名思义，当前行，偏移量为0
例子:
partition by order by asc/desc rows between unbounded preceding and current row
partition by order by asc/desc rows between 1 preceding and 1 following
sql_unbounded_preceding_demo
时间窗口统计：SUM(amt) OVER (PARTITION BY cust_no,class_no ORDER BY amt asc,expate_date asc ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS amt /*向前汇总累计金额*/
更多：
https://www.cnblogs.com/xiaohuilong/p/6047678.html
end by --byitlief365
Jan
12
如何在Windows下监控mysql正在执行的sql语句和日志
因为我们开发的时候大部分是在本机进行，使用本地的数据库，所以这边以本地为例
以本机mysql为例，先查看mysql日志启用情况，默认情况下mysql日志是关闭状态，
可以通过如下语句 SHOW VARIABLES LIKE "general_log%" ，进行查看，
这时我们看到的是OFF，还有日志所在的位置，使用此默认位置
how-to-show-mysql-sql-log
可以通过如下语句开启，SET GLOBAL general_log = 'ON'，执行成功之后看到如下
这样我们就开启mysql日志文件了，
若是在Linux系统下，我们直接使用 tail -f 命令进行日志的输出查看，在Windows下，我们通过Bare Tail这个实时读取sql日志文件和输出sql语句
mysql> SHOW VARIABLES LIKE "general_log%";
+------------------+------------------------------------------------------+
| Variable_name | Value |
+------------------+------------------------------------------------------+
| general_log | ON |
| general_log_file | C:\phpStudy\PHPTutorial\MySQL\data\itlife365-com.log |
+------------------+------------------------------------------------------+
2 rows in set (0.00 sec)
mysql>
mysql> SELECT * from mysql.general_log ORDER BY event_time DESC;
Empty set (0.00 sec)
mysql> SET GLOBAL general_log = 'OFF';
Query OK, 0 rows affected (0.01 sec)
mysql> SELECT * from mysql.general_log ORDER BY event_time DESC;
Empty set (0.00 sec)
mysql> SHOW VARIABLES LIKE "general_log%";
+------------------+------------------------------------------------------+
| Variable_name | Value |
+------------------+------------------------------------------------------+
| general_log | OFF |
| general_log_file | C:\phpStudy\PHPTutorial\MySQL\data\itlife365-com.log |
+------------------+------------------------------------------------------+
2 rows in set (0.00 sec)
其他语句也可以参考
1、使用processlist，但是有个弊端，就是只能查看正在执行的sql语句，对应历史记录，查看不到。好处是不用设置，不会保存。
-- use information_schema;
-- show processlist;
或者：
-- select * from information_schema.`PROCESSLIST` where info is not null;
2、开启日志模式
-- 1、设置
-- SET GLOBAL log_output = 'TABLE';SET GLOBAL general_log = 'ON'; //日志开启
-- SET GLOBAL log_output = 'TABLE'; SET GLOBAL general_log = 'OFF'; //日志关闭
-- 2、查询
SELECT * from mysql.general_log ORDER BY event_time DESC;
-- 3、清空表（delete对于这个表，不允许使用，只能用truncate）
-- truncate table mysql.general_log;
在查询sql语句之后，在对应的 C:\Program Files\MySQL\MySQL Server 5.7\data 文件夹下面有对应的log记录
如：
C:\phpStudy\PHPTutorial\MySQL\data\itlife365-com.log
ps:在查询到所需要的记录之后，应尽快关闭日志模式，占用磁盘空间比较大
Apr
11
---begin
kafka快速入门--中文伪官网
kafka官网地址:
中文版本
kafka-console-producer.sh
kafka-console-producer.sh
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
--broker-list localhost:9092 --topic test
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Linux版本 快捷版本步骤
Step 1: 下载代码
下载 1.0.0版本并解压缩。.
> tar -xzf kafka_2.11-1.0.0.tgz
> cd kafka_2.11-1.0.0
Step 2.1: 启动服务器--zookeeper
Kafka 使用 ZooKeeper 如果你还没有ZooKeeper服务器，你需要先启动一个ZooKeeper服务器。 您可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。
> bin/zookeeper-server-start.sh config/zookeeper.properties
Step 2.2
现在启动Kafka服务器
> bin/kafka-server-start.sh config/server.properties
Step 3: 创建一个 topic
让我们创建一个名为“test”的topic，它有一个分区和一个副本：
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
现在我们可以运行list（列表）命令来查看这个topic：
> bin/kafka-topics.sh --list --zookeeper localhost:2181
输出结果 test
或者，您也可将代理配置为：在发布的topic不存在时，自动创建topic，而不是手动创建。
Step 4: 发送一些消息
Kafka自带一个命令行客户端，它从文件或标准输入中获取输入，并将其作为message（消息）发送到Kafka集群。默认情况下，每行将作为单独的message发送。
运行 producer，然后在控制台输入一些消息以发送到服务器。
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
>输入值this is a message
Step 5: 启动一个 consumer
Kafka 还有一个命令行consumer（消费者），将消息转储到标准输出。
> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
Step 6: 设置多代理集群（更多高级用法）
到目前为止，我们一直在使用单个代理，这并不好玩。对 Kafka来说，单个代理只是一个大小为一的集群，除了启动更多的代理实例外，没有什么变化。 为了深入了解它，让我们把集群扩展到三个节点（仍然在本地机器上）。
首先，为每个代理创建一个配置文件 (在Windows上使用copy 命令来代替)：
> cp config/server.properties config/server-1.properties
> cp config/server.properties config/server-2.properties
现在编辑这些新文件并设置如下属性：
config/server-1.properties:
broker.id=1
listeners=PLAINTEXT://:9093
log.dir=/tmp/kafka-logs-1
config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://:9094
log.dir=/tmp/kafka-logs-2
broker.id属性是集群中每个节点的名称，这一名称是唯一且永久的。我们必须重写端口和日志目录，因为我们在同一台机器上运行这些，我们不希望所有的代理尝试在同一个端口注册，或者覆盖彼此的数据。
我们已经建立Zookeeper和一个单节点了，现在我们只需要启动两个新的节点：
> bin/kafka-server-start.sh config/server-1.properties &
...
> bin/kafka-server-start.sh config/server-2.properties &
Step 7: 使用Kafka Connect来导入/导出数据
略--具体看页面顶部网站
Step 8:使用 Kafka Streams 来处理数据
略--具体看页面顶部网站
Kafka Streams是用于构建实时关键应用程序和微服务的客户端库，输入与输出数据存储在Kafka集群中。 Kafka Streams把客户端能够轻便地编写部署标准Java和Scala应用程序的优势与Kafka服务器端集群技术相结合，使这些应用程序具有高度伸缩性、弹性、容错性、分布式等特性.
kafka-quick-begin
---end
Apr
11
---begin
Pulsar VS RocketMQ| RocketMQ | Pulsar | |
|---|---|---|
| 架构 | 单层架构，Broker服务也负责存储 | 存储和服务分离，Broker负责提供服务，BookKeeper提供存储能力 |
| 存储 | Master-Slave结构 | BookKeeper，高可用存储 |
| 多域部署 | 无 | GEO-REPLICATION |
| 订阅模式 | 集群消费、广播消费 | Exclusive、Shared、Failover三种模式 |
| Stream | 不支持 | 支持 |
| ACK | cumulative ack | individual & cumulative ack |
| 顺序消息 | 支持 | 支持 |
| 事务消息 | 支持 | 无 |
| 二级消息 | 支持 | 无 |
| 定时消息 | 支持 | 无 |
from：Pulsar-VS-RocketMQ
--end
Apr
11
-- begin
Pulsar 替代 Kafka
在这之前智联招聘使用 RabbitMQ + Kafka 等产品来支撑智联招聘消息系统以流式处理、批处理的支持，RabbitMQ 主要支持在线业务的消息投递，Kafka 主要应用在流式处理、批处理、日志处理等场景。
但痛点如下:
两种产品带来的高维护成本
两套系统数据的一致性问题
数据存储分散且透明度不足
在经过大量的技术调研工作之后, Apache Pulsar 的分层抽象、存储设计以及多租户、多订阅模式等特性让它在技术选型中胜出。
why-pulsar-replace-kafka-demo
--- end
