Tìm đọc khối hệ thống quản lý log trong lòng ELK Staông xã, tiến hành setup Elastictìm kiếm Logstash Kibana trên CentOS, thiết lập Filebeat nhằm thu thập tệp tin log
Bạn đang xem: Elk là gì
Giới thiệu Elastic Stack
Elastic Staông chồng (ELK Stack) - là một trong đội phần mềm mối cung cấp mnghỉ ngơi, dựa vào Elastic nó chất nhận được tìm kiếm tìm, so sánh, trình bày trực quan liêu những log tích lũy được tự các nguồn, những log này là ngẫu nhiên format làm sao, ELK là trung trọng điểm phân tích log. Trung vai trung phong log này có ích Khi trợ giúp xác minh những vụ việc tạo nên bên trên các hệ thống, các ứng dụng mà các bạn không bắt buộc truy cập trực tiếp vào log của từng hệ thống, từng ứng dụng. Thường nhằm xây dựng nên trung trung ương này dùng đến ELK cùng với các nhân tố chủ yếu gồm:

Xem thêm: 20/2 Là Cung Gì - Xem Tử Vi Đầy Đủ
Elasticsearch - máy chủ tàng trữ và kiếm tìm kiếm tài liệu Logstash - yếu tố cách xử lý dữ liệu, tiếp nối nó gửi dữ liệu nhận ra đến Elasticsearch nhằm tàng trữ Kibana - vận dụng nền website để tìm kiếm tìm và coi trực quan các logs Beats - gửi tài liệu tích lũy tự log của sản phẩm mang lại Logstash
Xem thêm: Chi Tiết Trang Bị Trong Đấu Trường Chân Lý Mùa 4, Chi Tiết Trang Bị Và Cách Ghép Đồ Đtcl Mùa 4
Cài đặt Elastic Staông xã (ELK) trên CentOS
Server setup ở đây thực hiện bên trên CentOS 7, trước tiên cần bảo vệ cài đặt Java (openjdk)
yum update -yyum install java-1.8.0-openjdk-devel -y# kiểm tra bằng lệnhjava -version

Cách 1) Cài đặt Elasticsearch CentOS
Thực hiện lệnh:# thêm repoemang lại "Bước 2) Cài đặt Kibamãng cầu CentOS
Kibamãng cầu là áp dụng nền website, nó lắng nghe những truy hỏi vấn http gửi cho cổng mặc định 5601, phần này vẫn thông số kỹ thuật truy cập trực tiếp đến cổng 5601 (thông số kỹ thuật hệ thống.host ở dưới), nếu như xúc tiến thực tế hoàn toàn có thể bạn cần một proxy (ví dụ Nginx) nhằm bảo đảm an toàn bảo mật thông tin, soát sổ được user tất cả quền truy cập Kibana
yum install kibana -ysystemctl enable kibana# thông số kỹ thuật truy cập được tự hồ hết IPemang lại "server.host: 0.0.0.0" >> /etc/kibana/kibamãng cầu.ymlsystemctl start kibanafirewall-cmd --permanent --add-port=5601/tcpfirewall-cmd --permanent --add-port=5601/tcpfirewall-cmd --reload Kiểm tra Kibana bằng cách truy cập mang lại shop IP VPS cùng với cổng là 5601, ví dụ sản phẩm công nghệ VPS đang xuất hiện tác động 192.168.1.104 thì truy vấn mang đến http://192.168.1.104

Cách 3) Cài đặt Logstash CentOS
Logstash là chỗ nhấn tài liệu đầu vào, nó cách xử trí tiếp đến đưa lưu trên Elasticseach. Luồng thao tác của chính nó buộc phải được thông số kỹ thuật gồm cấu hình đầu vào input và đầu ra output output. Đầu tiên cài đặt bằng lệnh:
yum install logstash -y Cấu hình input: file cấu hình trên /etc/logstash/conf.d/02-beats-đầu vào.conf, phần này đang cấu hình để nó nhân nguồn vào vị Beats gửi đến cổng beats, triển khai lệnh sau để sản xuất tệp tin 02-beats-input đầu vào.conf
emang đến "input beats host => "0.0.0.0" port => 5044 " > /etc/logstash/conf.d/02-beats-đầu vào.conf Cấu hình cổng đầu ra, file cấu hình trên /etc/logstash/conf.d/30-elasticsearch-output.conf, phần này đang cấu hình sau khoản thời gian Logstash nhận dữ liệu đầu vào từ Beats, nó cách xử trí rồi gửi mang đến Elastictìm kiếm (localhost:9200). Thực hiện lệnh để chế tạo file 30-elasticsearch-output.conf
emang đến "output elasticsearch hosts => <"localhost:9200"> manage_template => false index => "%<
metadata>
eđến "filter if
subởi vì -u logstash /usr/share/logstash/bin/logstash --path.settings /etc/logstash -t Có thông báo Config Validation Result: OK. là được

cũng có thể đề xuất msinh hoạt cổng 5044 ở trên để nó dấn dữ liệu từ Server khác
firewall-cmd --permanent --add-port=5044/tcpfirewall-cmd --permanent --add-port=5044/tcpfirewall-cmd --reload Kích hoạt dịch vụ
systemctl enable logstashsystemctl start logstash Đến trên đây vẫn có một ELK hệ thống làm chủ logs trung trọng tâm. Việc tiếp sau là setup nhằm những logs trường đoản cú những Server khác biệt gửi đến trung tâm này.
Cách 4) Cài đặt Beats/Filebeat CentOS
Beats là 1 trong những nền tảng để gửi tài liệu vào Logstash, nó có khá nhiều yếu tắc nhưu:
Packetbeat : rước / gửi những gói tin mạng Filebeat : rước / gửi các tệp tin log của Server Metricbeat : đem / gửi những log hình thức dịch vụ (Apabịt log, mysql log ...) ...Trong phần này sẽ demo sử dụng Filebeat, tích lũy những tệp tin log trên Server thiết đặt nó, thông số kỹ thuật nhằm nó gửi trao Logstash
Cài đặt
yum install filebeat -y File thông số kỹ thuật tại /etc/filebeat/filebeat.yml, xuất hiện chỉnh sửa các câu chữ sau:
Tìm cho mục Elasticsearch output bình luận lại để ko gửi log thẳng đến Elasticsearch
#output.elasticsearch: # Array of hosts to connect lớn. # hosts: <"localhost:9200"> Tìm mang đến Logstash output, quăng quật những bình luận để hưởng thụ filebeat gửi đến Logstash (liên hệ cần sử dụng là localhost:)
output.logstash: # The Logstash hosts hosts: <"localhost:5044"> Trong khi trên mục filebeat.inputs: bao gồm phần
paths: - /var/log/*.log #- c:programdataelasticsearchlogs* tức là nó vẫn tích lũy logs từ những file ở /var/log/*.log, nếu như muốn cấu hình thu thập thêm log tự các đường truyền không giống cho những ứng dụng không giống không viết log ra /va/log thì từ cấp dưỡng, ví dụ trường hợp Apađậy của doanh nghiệp download bỏ trên đồ vật cấu hình nhằm nó viết log ra /etc/httpd/logs/access_log, để filebeat thu thập thì phân phối - /etc/httpd/logs/access_log
paths: - /var/log/*.log - /etc/httpd/logs/access_log filebeat có khá nhiều module tương xứng cùng với một số loại log nó thu thập, để thấy tâm lý những module này thực hiện lệnh
filebeat modules danh sách Sau đó nếu như muốn kích hoạt module như thế nào thì thực hiện theo cú pháp, ví dụ kích hoạt system, apabịt, mysql ...
filebeat modules enable systemfilebeat modules enable apachefilebeat modules enable mysql Kích hoạt các dịch vụ filebeat
systemctl enable filebeatsystemctl start filebeat
Xem log trong Kibana
Đến phía trên bạn đã có một ELK (một trung chổ chính giữa quản lý log), nó vẫn thừa nhận log xuất phát từ 1 hệ thống gửi mang đến bằng Filebeat (nếu còn muốn server không giống gửi cho nữa thì sở hữu Filebeat bên trên hệ thống mối cung cấp cùng cấu hình nlỗi trên)Truy ctràn lên Kibamãng cầu theo tương tác IP của ELK, ví dụ http://192.168.1.104:5601, nhấp vào phần Discover, lựa chọn mục Index Management của Elastictìm kiếm, các bạn sẽ thấy các index tất cả chi phí tố là filebeat-*, đó là các index lưu giữ tài liệu log vì Filebeat gửi cho Logstash với Logstash nhằm chuyển giữ trên Elasticsearch. (Nếu có nhiều VPS gửi đến thì có nhiều index dạng này)

Để tróc nã vấn bằng Kibamãng cầu ta sẽ tạo nên những Index patterns, đó là tầm nã vấn lên tiếng các index tất cả chi phí tố là filebeat-, nhấn vào Index patterns của Kibamãng cầu, click chuột Create index pattern
Chuyên mục: Công Nghệ 4.0