資源描述：
《消息中間件-Kafkappt課件.ppt》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在教育資源-天天文庫。
1、Kafka一、MQ系統(tǒng)二、Kafka架構三、Kafka命令四、配置文件MQ系統(tǒng)一、Redis二、ZeroMQ三、ActiveMQ四、RocketMQ五、KafkaMQ系統(tǒng)RedisRedis是一個NoSQL數(shù)據(jù)庫處理小流量的消息隊列不適用于大流量的應用場景MQ系統(tǒng)ActiveMQActiveMQ2007年發(fā)布第一個版本(同年JDK1.5發(fā)布)被廣泛應用于零售、銀行、電子商務和政府等領域。穩(wěn)定性好，性能還過得去。缺少異步JavaAPI和NIO支持，在高資源配置的計算機上擴展性不佳。Apollo重寫了ActiveMQ內(nèi)核，Apac
2、he稱其為最快、最強健的STOMP（StreamingTextOrientatedMessageProtocol，流文本定向消息協(xié)議）服務器。github一年多沒更新，網(wǎng)傳Apollo項目已經(jīng)失敗MQ系統(tǒng)ZeroMQ不支持序列化，閱后即焚。如果服務器宕機，數(shù)據(jù)將丟失ZeroMQ本身只是一個網(wǎng)絡協(xié)議棧的實現(xiàn)庫.使用過程中由應用服務器扮演服務器的角色ZeroMQ的目標是，成為Linux內(nèi)核的一部分逆天的性能MQ系統(tǒng)KafakVSRocketMQ定位Kafak：由Linkin開源，用于即時的日志傳輸RocketMQ：由淘寶開源，實現(xiàn)
3、非日志的可靠消息傳輸，用于交易、訂單、充值等場景TPS性能kafka單機寫入TPS在百萬條/秒，消息大小為10bRocketMQ單機7萬條/秒，消息大小為10b隊列數(shù)kafak單機超過64個隊列/分區(qū)，Load會發(fā)生明顯的飆高現(xiàn)象RocketMQ最高支持5萬隊列實時性Kafka使用短輪詢方式，實時性取決于輪詢間隔時間RocketMQ使用長輪詢，同Push方式實時性一致，消息的投遞延時通常在幾個毫秒。成熟度Kafka在日志領域比較成熟，操作系統(tǒng)Crash，會導致數(shù)據(jù)丟失RocketMQ在阿里集團內(nèi)部有大量的應用在使用，不會丟消息
4、MQ系統(tǒng)總結Kafka架構系統(tǒng)結構kafkaclusterBroker1Broker2Broker3Producer-AProducer-BProducer-CConsumer-AConsumer-AConsumer-CZookeeper基礎架構Kafka架構基本概念主題：topic分區(qū)：partition消息：message生產(chǎn)者：producer消費者：consumergroup消息隊列：brokerProducerTopicConsumerGroupPartitionConsumer11..N11..NKafka架構ka
5、fka消息流程圖topic消息隊列Producer-AProducer-BConsumerconsumergrouppartitionproducer本地磁盤注1：消息隊列依賴于本地磁盤注2：默認情況下，磁盤存儲會保存7天Kafka架構kafka消息流程圖topic消息隊列Producer-AProducer-BConsumerconsumergrouppartitionproducer本地磁盤1本地磁盤2注1：在一個由6個7200rpm的SATA硬盤組成的RAID-5磁盤陣列上，線性寫入的速度大約是300MB/秒，隨機寫入?yún)s
6、只有50k/秒。注2：在某些情況下，順序磁盤訪問能夠比【隨機】內(nèi)存訪問還要快！Kafka架構kafka集群運行流程圖broker(1)broker(2)topic13741282109611Producer-AProducer-BConsumer-AConsumer-BConsumer-Cconsumergrouppartition1partition2partition3producerKafka架構topic&partitiontopicbroker(1)13741282broker(2)109611Producer-AP
7、roducer-BConsumer-AConsumer-BConsumer-Cconsumergrouppartition1partition2partition3producerproducer怎么保證業(yè)務有序？1、每個partition對應一個文件（夾）2、分文件存儲利于增加topic消息容量3、把partition放在不同磁盤上，可以提高讀寫性能4、把partition分散在不同機器上，支持負載均衡5、通過遷移單個partition，實現(xiàn)快速水平擴展6、partition內(nèi)有序，partition間無序Kafka架構pr
8、oducertopicbroker(1)13741282broker(2)109611Producer-AProducer-BConsumer-AConsumer-BConsumer-Cconsumergrouppartition1partition2partition3pr
