数据库(database)
Sep
13
flink-1.11快速入门--begin
flink-1-11-window-quick-start
flink-1.11快速入门--end
Feb
17
begin --byitlief365
rows between unbounded preceding and current row等unbounded ,preceding ,following,current row含义详解
unbounded:无界限 by itlife365.com
preceding:从分区第一行头开始,则为 unbounded。 N为:相对当前行向前的偏移量
following :与preceding相反,到该分区结束,则为 unbounded。N为:相对当前行向后的偏移量
current row:顾名思义,当前行,偏移量为0
例子:
partition by order by asc/desc rows between unbounded preceding and current row
partition by order by asc/desc rows between 1 preceding and 1 following
sql_unbounded_preceding_demo
时间窗口统计:SUM(amt) OVER (PARTITION BY cust_no,class_no ORDER BY amt asc,expate_date asc ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS amt /*向前汇总累计金额*/
更多:
https://www.cnblogs.com/xiaohuilong/p/6047678.html
end by --byitlief365
Jan
12
如何在Windows下监控mysql正在执行的sql语句和日志
因为我们开发的时候大部分是在本机进行,使用本地的数据库,所以这边以本地为例
以本机mysql为例,先查看mysql日志启用情况,默认情况下mysql日志是关闭状态,
可以通过如下语句 SHOW VARIABLES LIKE "general_log%" ,进行查看,
这时我们看到的是OFF,还有日志所在的位置,使用此默认位置
how-to-show-mysql-sql-log
可以通过如下语句开启,SET GLOBAL general_log = 'ON',执行成功之后看到如下
这样我们就开启mysql日志文件了,
若是在Linux系统下,我们直接使用 tail -f 命令进行日志的输出查看,在Windows下,我们通过Bare Tail这个实时读取sql日志文件和输出sql语句
mysql> SHOW VARIABLES LIKE "general_log%";
+------------------+------------------------------------------------------+
| Variable_name | Value |
+------------------+------------------------------------------------------+
| general_log | ON |
| general_log_file | C:\phpStudy\PHPTutorial\MySQL\data\itlife365-com.log |
+------------------+------------------------------------------------------+
2 rows in set (0.00 sec)
mysql>
mysql> SELECT * from mysql.general_log ORDER BY event_time DESC;
Empty set (0.00 sec)
mysql> SET GLOBAL general_log = 'OFF';
Query OK, 0 rows affected (0.01 sec)
mysql> SELECT * from mysql.general_log ORDER BY event_time DESC;
Empty set (0.00 sec)
mysql> SHOW VARIABLES LIKE "general_log%";
+------------------+------------------------------------------------------+
| Variable_name | Value |
+------------------+------------------------------------------------------+
| general_log | OFF |
| general_log_file | C:\phpStudy\PHPTutorial\MySQL\data\itlife365-com.log |
+------------------+------------------------------------------------------+
2 rows in set (0.00 sec)
其他语句也可以参考
1、使用processlist,但是有个弊端,就是只能查看正在执行的sql语句,对应历史记录,查看不到。好处是不用设置,不会保存。
-- use information_schema;
-- show processlist;
或者:
-- select * from information_schema.`PROCESSLIST` where info is not null;
2、开启日志模式
-- 1、设置
-- SET GLOBAL log_output = 'TABLE';SET GLOBAL general_log = 'ON'; //日志开启
-- SET GLOBAL log_output = 'TABLE'; SET GLOBAL general_log = 'OFF'; //日志关闭
-- 2、查询
SELECT * from mysql.general_log ORDER BY event_time DESC;
-- 3、清空表(delete对于这个表,不允许使用,只能用truncate)
-- truncate table mysql.general_log;
在查询sql语句之后,在对应的 C:\Program Files\MySQL\MySQL Server 5.7\data 文件夹下面有对应的log记录
如:
C:\phpStudy\PHPTutorial\MySQL\data\itlife365-com.log
ps:在查询到所需要的记录之后,应尽快关闭日志模式,占用磁盘空间比较大
Apr
11
---begin
kafka快速入门--中文伪官网
kafka官网地址:
中文版本
kafka-console-producer.sh
kafka-console-producer.sh
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
--broker-list localhost:9092 --topic test
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Linux版本 快捷版本步骤
Step 1: 下载代码
下载 1.0.0版本并解压缩。.
> tar -xzf kafka_2.11-1.0.0.tgz
> cd kafka_2.11-1.0.0
Step 2.1: 启动服务器--zookeeper
Kafka 使用 ZooKeeper 如果你还没有ZooKeeper服务器,你需要先启动一个ZooKeeper服务器。 您可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。
> bin/zookeeper-server-start.sh config/zookeeper.properties
Step 2.2
现在启动Kafka服务器
> bin/kafka-server-start.sh config/server.properties
Step 3: 创建一个 topic
让我们创建一个名为“test”的topic,它有一个分区和一个副本:
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
现在我们可以运行list(列表)命令来查看这个topic:
> bin/kafka-topics.sh --list --zookeeper localhost:2181
输出结果 test
或者,您也可将代理配置为:在发布的topic不存在时,自动创建topic,而不是手动创建。
Step 4: 发送一些消息
Kafka自带一个命令行客户端,它从文件或标准输入中获取输入,并将其作为message(消息)发送到Kafka集群。默认情况下,每行将作为单独的message发送。
运行 producer,然后在控制台输入一些消息以发送到服务器。
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
>输入值this is a message
Step 5: 启动一个 consumer
Kafka 还有一个命令行consumer(消费者),将消息转储到标准输出。
> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
Step 6: 设置多代理集群(更多高级用法)
到目前为止,我们一直在使用单个代理,这并不好玩。对 Kafka来说,单个代理只是一个大小为一的集群,除了启动更多的代理实例外,没有什么变化。 为了深入了解它,让我们把集群扩展到三个节点(仍然在本地机器上)。
首先,为每个代理创建一个配置文件 (在Windows上使用copy 命令来代替):
> cp config/server.properties config/server-1.properties
> cp config/server.properties config/server-2.properties
现在编辑这些新文件并设置如下属性:
config/server-1.properties:
broker.id=1
listeners=PLAINTEXT://:9093
log.dir=/tmp/kafka-logs-1
config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://:9094
log.dir=/tmp/kafka-logs-2
broker.id属性是集群中每个节点的名称,这一名称是唯一且永久的。我们必须重写端口和日志目录,因为我们在同一台机器上运行这些,我们不希望所有的代理尝试在同一个端口注册,或者覆盖彼此的数据。
我们已经建立Zookeeper和一个单节点了,现在我们只需要启动两个新的节点:
> bin/kafka-server-start.sh config/server-1.properties &
...
> bin/kafka-server-start.sh config/server-2.properties &
Step 7: 使用Kafka Connect来导入/导出数据
略--具体看页面顶部网站
Step 8:使用 Kafka Streams 来处理数据
略--具体看页面顶部网站
Kafka Streams是用于构建实时关键应用程序和微服务的客户端库,输入与输出数据存储在Kafka集群中。 Kafka Streams把客户端能够轻便地编写部署标准Java和Scala应用程序的优势与Kafka服务器端集群技术相结合,使这些应用程序具有高度伸缩性、弹性、容错性、分布式等特性.
kafka-quick-begin
---end
Apr
11
---begin
Pulsar VS RocketMQRocketMQ | Pulsar | |
---|---|---|
架构 | 单层架构,Broker服务也负责存储 | 存储和服务分离,Broker负责提供服务,BookKeeper提供存储能力 |
存储 | Master-Slave结构 | BookKeeper,高可用存储 |
多域部署 | 无 | GEO-REPLICATION |
订阅模式 | 集群消费、广播消费 | Exclusive、Shared、Failover三种模式 |
Stream | 不支持 | 支持 |
ACK | cumulative ack | individual & cumulative ack |
顺序消息 | 支持 | 支持 |
事务消息 | 支持 | 无 |
二级消息 | 支持 | 无 |
定时消息 | 支持 | 无 |
from:Pulsar-VS-RocketMQ
--end