数据库(database)
Sep 13

flink-1.11快速入门 不指定

admin , 20:39 , 数据库 » flink , 评论(0) , 引用(0) , 阅读(16) , Via 本站原创
flink-1.11快速入门--begin
flink-1-11-window-quick-start


flink-1.11快速入门--end
Tags:
Feb 17

begin --byitlief365

rows between unbounded preceding and current row等unbounded ,preceding ,following,current row含义详解

unbounded:无界限  by itlife365.com

preceding:从分区第一行头开始,则为 unbounded。 N为:相对当前行向前的偏移量

following :与preceding相反,到该分区结束,则为 unbounded。N为:相对当前行向后的偏移量

current row:顾名思义,当前行,偏移量为0

例子:

partition by  order by asc/desc rows between unbounded preceding and current row

partition by order by asc/desc rows between 1 preceding and 1 following

sql_unbounded_preceding_demo

时间窗口统计:SUM(amt) OVER (PARTITION BY cust_no,class_no ORDER BY amt asc,expate_date asc  ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS amt /*向前汇总累计金额*/

更多:

https://www.cnblogs.com/xiaohuilong/p/6047678.html

end by  --byitlief365

Jan 12
如何在Windows下监控mysql正在执行的sql语句和日志
因为我们开发的时候大部分是在本机进行,使用本地的数据库,所以这边以本地为例
以本机mysql为例,先查看mysql日志启用情况,默认情况下mysql日志是关闭状态,
可以通过如下语句 SHOW VARIABLES LIKE "general_log%" ,进行查看,
这时我们看到的是OFF,还有日志所在的位置,使用此默认位置


how-to-show-mysql-sql-log
可以通过如下语句开启,SET GLOBAL general_log = 'ON',执行成功之后看到如下
这样我们就开启mysql日志文件了,
若是在Linux系统下,我们直接使用 tail -f 命令进行日志的输出查看,在Windows下,我们通过Bare Tail这个实时读取sql日志文件和输出sql语句

mysql> SHOW VARIABLES LIKE "general_log%";
+------------------+------------------------------------------------------+
| Variable_name    | Value                                                |
+------------------+------------------------------------------------------+
| general_log      | ON                                                   |
| general_log_file | C:\phpStudy\PHPTutorial\MySQL\data\itlife365-com.log |
+------------------+------------------------------------------------------+
2 rows in set (0.00 sec)

mysql>
mysql> SELECT * from mysql.general_log ORDER BY event_time DESC;
Empty set (0.00 sec)

mysql> SET GLOBAL general_log = 'OFF';
Query OK, 0 rows affected (0.01 sec)

mysql> SELECT * from mysql.general_log ORDER BY event_time DESC;
Empty set (0.00 sec)

mysql> SHOW VARIABLES LIKE "general_log%";
+------------------+------------------------------------------------------+
| Variable_name    | Value                                                |
+------------------+------------------------------------------------------+
| general_log      | OFF                                                  |
| general_log_file | C:\phpStudy\PHPTutorial\MySQL\data\itlife365-com.log |
+------------------+------------------------------------------------------+
2 rows in set (0.00 sec)

其他语句也可以参考
1、使用processlist,但是有个弊端,就是只能查看正在执行的sql语句,对应历史记录,查看不到。好处是不用设置,不会保存。
-- use information_schema;
-- show processlist;
或者:
-- select * from information_schema.`PROCESSLIST` where info is not null;

2、开启日志模式
-- 1、设置
-- SET GLOBAL log_output = 'TABLE';SET GLOBAL general_log = 'ON';  //日志开启
-- SET GLOBAL log_output = 'TABLE'; SET GLOBAL general_log = 'OFF';  //日志关闭
-- 2、查询
SELECT * from mysql.general_log ORDER BY event_time DESC;

-- 3、清空表(delete对于这个表,不允许使用,只能用truncate)
-- truncate table mysql.general_log;
在查询sql语句之后,在对应的  C:\Program Files\MySQL\MySQL Server 5.7\data   文件夹下面有对应的log记录
如:
 C:\phpStudy\PHPTutorial\MySQL\data\itlife365-com.log
ps:在查询到所需要的记录之后,应尽快关闭日志模式,占用磁盘空间比较大
Tags:
Apr 11
---begin
kafka快速入门--中文伪官网
kafka官网地址:
中文版本

kafka-console-producer.sh
kafka-console-producer.sh
bin/kafka-console-producer.sh --broker-list localhost:9092  --topic test
--broker-list localhost:9092 --topic test

bin/kafka-topics.sh  --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Linux版本 快捷版本步骤
Step 1: 下载代码
下载 1.0.0版本并解压缩。.
> tar -xzf kafka_2.11-1.0.0.tgz
> cd kafka_2.11-1.0.0
Step 2.1: 启动服务器--zookeeper
Kafka 使用 ZooKeeper 如果你还没有ZooKeeper服务器,你需要先启动一个ZooKeeper服务器。 您可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。
> bin/zookeeper-server-start.sh config/zookeeper.properties

Step 2.2
现在启动Kafka服务器
> bin/kafka-server-start.sh config/server.properties

Step 3: 创建一个 topic
让我们创建一个名为“test”的topic,它有一个分区和一个副本:
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
现在我们可以运行list(列表)命令来查看这个topic:
> bin/kafka-topics.sh --list --zookeeper localhost:2181
输出结果 test
或者,您也可将代理配置为:在发布的topic不存在时,自动创建topic,而不是手动创建。

Step 4: 发送一些消息
Kafka自带一个命令行客户端,它从文件或标准输入中获取输入,并将其作为message(消息)发送到Kafka集群。默认情况下,每行将作为单独的message发送。

运行 producer,然后在控制台输入一些消息以发送到服务器。
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
>输入值this is a message

Step 5: 启动一个 consumer
Kafka 还有一个命令行consumer(消费者),将消息转储到标准输出。
> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

Step 6: 设置多代理集群(更多高级用法)
到目前为止,我们一直在使用单个代理,这并不好玩。对 Kafka来说,单个代理只是一个大小为一的集群,除了启动更多的代理实例外,没有什么变化。 为了深入了解它,让我们把集群扩展到三个节点(仍然在本地机器上)。
首先,为每个代理创建一个配置文件 (在Windows上使用copy 命令来代替):

> cp config/server.properties config/server-1.properties
> cp config/server.properties config/server-2.properties
现在编辑这些新文件并设置如下属性:
config/server-1.properties:
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dir=/tmp/kafka-logs-1
 
config/server-2.properties:
    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dir=/tmp/kafka-logs-2
broker.id属性是集群中每个节点的名称,这一名称是唯一且永久的。我们必须重写端口和日志目录,因为我们在同一台机器上运行这些,我们不希望所有的代理尝试在同一个端口注册,或者覆盖彼此的数据。

我们已经建立Zookeeper和一个单节点了,现在我们只需要启动两个新的节点:
> bin/kafka-server-start.sh config/server-1.properties &
...
> bin/kafka-server-start.sh config/server-2.properties &

Step 7: 使用Kafka Connect来导入/导出数据
略--具体看页面顶部网站
Step 8:使用 Kafka Streams 来处理数据
略--具体看页面顶部网站
Kafka Streams是用于构建实时关键应用程序和微服务的客户端库,输入与输出数据存储在Kafka集群中。 Kafka Streams把客户端能够轻便地编写部署标准Java和Scala应用程序的优势与Kafka服务器端集群技术相结合,使这些应用程序具有高度伸缩性、弹性、容错性、分布式等特性.
kafka-quick-begin
---end
Tags:
Apr 11

Pulsar VS RocketMQ 不指定

admin , 22:04 , 数据库 » Pulsar , 评论(0) , 引用(0) , 阅读(232) , Via 本站原创
---begin
Pulsar VS RocketMQ

RocketMQPulsar
架构单层架构,Broker服务也负责存储存储和服务分离,Broker负责提供服务,BookKeeper提供存储能力
存储Master-Slave结构BookKeeper,高可用存储
多域部署GEO-REPLICATION
订阅模式集群消费、广播消费Exclusive、Shared、Failover三种模式
Stream不支持支持
ACKcumulative ackindividual & cumulative ack
顺序消息支持支持
事务消息支持
二级消息支持
定时消息支持

from:Pulsar-VS-RocketMQ
--end
Tags: ,
分页: 1/69 第一页 1 2 3 4 5 6 7 8 9 10 下页 最后页 [ 显示模式: 摘要 | 列表 ]