Linux логирование. Лог файлы Linux по порядку
Размещение перед именем файла символа канала (|) позволит использовать fifo (first in - first out, первый пришел - первый вышел) или именованный канал (named pipe) в качестве приемника для сообщений. Прежде чем запускать (или перезапускать) syslogd, необходимо создать fifo при помощи команды mkfifo. Иногда fifo используются для отладки.
Терминал и консоль
Терминал, такой как /dev/console.
Удаленная машина
Чтобы сообщения пересылались на другой хост, поместите перед именем хоста символ (@). Обратите внимание, что сообщения не пересылаются с принимающего хоста. (для работы данного назначения на клиенте и сервере в файле /etc/services должна быть прописана строчка syslog 514/udp , и открыт UTP-порт 514)
Список пользователей
Разделенный запятыми список пользователей, получающих сообщения (если пользователь зарегистрирован в системе). Сюда часто включается пользователь root.
Все зарегистрированные пользователи
Чтобы известить всех зарегистрированных пользователей при помощи команды wall, используйте символ звездочки (*).
Пример несложного syslog.conf:
# Все сообщения ядра выдавать на консоль. #kern.* /dev/console # Все логи уровня info или выше, кроме сообщений электронной почты, а так же # не логировать сообщения аутентификации и сообщений демона cron! *.info;mail.none;authpriv.none;cron.none /var/log/messages # Записывать в отдельный файл сообщения, содержащие конфиденциальную # информацию аутентификации, независимо от их уровня. authpriv.* /var/log/secure # Все сообщения почтовой системы тоже записывать в отдельный файл. mail.* -/var/log/maillog # Логировать сообщения планировщика в файл /var/log/cron cron.* /var/log/cron # Сообщения о чрезвычайных ситуациях должны немедленно получить # все пользователи системы *.emerg * # Сохранять сообщения новостей уровня crit и выше в отдельный файл. uucp,news.crit /var/log/spooler # Сохранять сообщения загрузки в boot.log local7.* /var/log/boot.log
Как и во многих конфигурационных файлах, синтаксис следующий:
- строки, начинающиеся с #, и пустые строки игнорируются.
- Символ * может использоваться для указания всех категорий или всех приоритетов.
- Специальное ключевое слово none указывает, что журналирование для этой категории не должно быть выполнено для этого действия.
- Дефис перед именем файла (как -/var/log/maillog в этом примере) указывает, что после каждой записи журнал не должен синхронизироваться. В случае аварии системы вы можете потерять информацию, но отключение синхронизации позволит повысить производительность.
В синтаксисе конфигурационного файла можно поставить перед приоритетом знак! , чтобы показать, что действие не должно применяться, начиная с этого уровня и выше . Подобным образом, перед приоритетом можно поставить знак = , чтобы показать, что правило применяется только к этому уровню, или != , чтобы показать, что правило применяется ко всем уровням, кроме этого. Ниже показано несколько примеров (man syslog.conf можно найти множество других примеров):
# Посылать все сообщения ядра в /var/log/kernel. # Посылать все сообщения уровня critical и higher на удаленную машину sysloger и на консоль # Посыласть все сообщения уровня info, notice и warning в /var/log/kernel-info # kern.* /var/log/kernel kern.crit @sysloger kern.crit /dev/console kern.info;kern.!err /var/log/kernel-info # Посылать все сообщения почтовой системы, кроме уровня info в /var/log/mail. mail.*;mail.!=info /var/log/mail
Я постарался максимально понятно работу syslogd показать на схеме:
Запуск демона syslogd
Запуск демона протоколирования запускаются на этапе инициализации системы посредством скрипта /etc/rc.d/init.d/syslog , однако для того, чтобы задать параметры запуска, нет необходимости корректировать этот скрипт - начиная с версии 7.2, опции запуска считываются из отдельного конфигурационного файла /etc/sysconfig/syslog (/etc/default/syslog в debian) .
Вот некоторые возможные параметры запуска демона syslogd:
- -a /folder/socket - указание дополнительного слушающего сокета (не забудьте предварительно создать сокет)
- -d - отладочный режим. При этом демон не переходит в фоновый режим и выдает все сообщения на текущий терминал;
- -f имя-конфигурационного-файла . Задает имя альтернативного конфигурационного файла, который будет использоваться вместо заданного по умолчанию /etc/syslog.conf;
- -l список-хостов - задание списка хостов, имена которых не должны записываться с указанием полного доменного имени (FQDN - Full Qwalified Domain Name);
- -m минут - запущенный без этой опции sysklogd через каждые 20 минут записывает в протокол сообщения категории mark (временные отметки). С помощью опции -m можно либо изменить интервал между отметками, либо вовсе отменить выдачу таких сообщений;
- -p socket - задание альтернативного сокета UNIX (вместо прослушиваемого по умолчанию /dev/log);
- -r - разрешение принимать сообщения от удаленных хостов;
- -x - запрет определения имени хоста по его адресу для предотвращения зависания при работе на одном хосте с сервером DNS.
- -v - показать версию и закончить работу
После запуска демона syslogd создается файл статуса /var/lock/subsys/syslog нулевой длины, и файл с идентификационным номером процесса /var/run/syslogd.pid .
С помощью команды
kill -SIGNAL `cat /var/run/syslogd.pid`
можно послать демону syslogd один из следующих сигналов: SIGHUP - перезапуск демона; SIGTERM - завершение работы; SIGUSR1 - включить/выключить режим отладки.
Вообще-то в системе запускаются два демона протоколирования - syslogd и klogd . Оба демона входят в состав пакета sysklogd .
Демон klogd отвечает за журналирование событий, происходящих в ядре системы . Необходимость в отдельном демоне klogd объясняется тем, что ядро не может использовать стандартную функцию syslog. Дело в том, что стандартные библиотеки С (включая ту библиотеку, в которой находится функция syslog) предназначены для использования только обычными приложениями . Поскольку ядро тоже нуждается в функциях журналирования, в него включены свои библиотеки, недоступные приложениям. Поэтому ядро использует свой собственный механизм генерации сообщений.
Демон klogd предназначен для организации обработки этих сообщений. В принципе он может производить такую обработку полностью самостоятельно и независимо от syslogd, например, записывая эти сообщения в файл, но в большинстве случаев используется принятая по умолчанию настройка klogd, при которой все сообщения от ядра пересылаются тому же демону syslogd.
Автоматическая ротация (обновление заполненных файлов) и архивирование журналов
Со временем, файл журнала имеет свойство увеличиваться, особенно при интенсивной работе какого-либо сервиса. Соответственно, необходимо иметь возможность контролировать размер журналов. Это делается при помощи команды logrotate , которая обычно выполняется демоном cron . О работе cron я расскажу в следующих статьях. Главная цель команды logrotate состоит в том, чтобы периодически создавать резервные копии журналов и создавать новые чистые журналы. Сохраняется несколько поколений журналов и, когда завершается срок жизни журнала последнего поколения, он может быть заархивирован (сжат). Результат может быть отправлен по почте, например, ответственному за ведение архивов.
Для определения порядка ротации и архивирования журналов используется конфигурационный файл /etc/logrotate.conf . Для разных журналов можно задать разную периодичность, например, ежедневно, еженедельно или ежемесячно, кроме того, можно регулировать количество накапливаемых поколений, а также указать, будут ли копии архивов отправляться ответственному за ведение архивов и, если будут, когда. Ниже показан пример файла /etc/logrotate.conf:
# сначала заданы параметры "по-умолчанию" (глобальные опции) # обновлять файлы журнала еженедельно weekly # хранить архив логов за 4 последние недели rotate 4 # создавать новый (пустой) файл после ротации (обновления) create # раскомментируйте, если желаете, чтобы сохраненные файлы сжимались #compress # включить настройки ротации из указанного каталога include /etc/logrotate.d # не хранить wtmp, или btmp -- настройки ротации данных журналов следующие: /var/log/wtmp { missingok monthly create 0664 root utmp rotate 1 } /var/log/btmp { missingok monthly create 0664 root utmp rotate 1 } # специфичные системные журналы могут быть настроены ниже
Глобальные опции размещаются в начале файла logrotate.conf . Они используются по умолчанию, если где-то в другом месте не задано ничего более определенного. В примере ротация журналов происходит еженедельно и резервные копии сохраняются в течение четырех недель. Как только производится ротация журнала, на месте старого журнала автоматически создается новый. Файл logrotate.conf может содержать спецификации из других файлов. Так, в него включаются все файлы из каталога /etc/logrotate.d.
В этом примере также содержатся специальные правила для /var/log/wtmp и /var/log/btmp (хранящие информацию о удачных и неудачных попытках входя в систему), ротация которых происходит ежемесячно. Если файлы отсутствуют, сообщение об ошибке не выдается. Создается новый файл и сохраняется только одна резервная копия.
В этом примере по достижении резервной копией последнего поколения она удаляется, поскольку не определено, что следует с ней делать.
Резервные копии журналов могут также создаваться, когда журналы достигают определенного размера, и могут быть созданы скрипты из наборов команд для выполнения до или после операции резервного копирования. Пример:
/var/log/messages { rotate 5 mail logadmin@sysloger size 100k postrotate /usr/bin/killall -HUP syslogd endscript }
В этом примере ротация /var/log/messages производится по достижении им размера 100 КБ. Накапливается пять резервных копий, и когда истекает срок жизни самой старой резервной копии, она отсылается по почте на адрес logadmin@sysloger. Командное слово postrotate включает скрипт, перезапускающий демон syslogd после завершения ротации путем отправки сигнала HUP. Командное слово endscript необходимо для завершения скрипта, а также в случае, если имеется скрипт prerotate. Более полную информацию см. в страницах руководства man для logrotate.
Параметры , задаваемые в конфигурационном файле logrotate.conf:
- compress | nocompress (старые версии сжимаются или не сжимаются с помощью gzip)
- compresscmd (задает программу сжатия, по умолчанию - gzip)
- uncompresscmd (задает программу разжатия, по умолчанию - ungzip)
- compressext (задает суффикс для сжатых файлов)
- compressoptions (задает параметры программы сжатия; по умолчанию - "-9", т.е. максимальное сжатие для gzip)
- copytruncate | nocopytruncate (обычно старая версия переименовывается и создается новая версия журнала; при задании этого параметра logrotate копирует журнал в новый файл, а затем обрезает старый; используется, если программа, создающая журнал, не умеет его закрывать; теряются записи, сделанные в промежутке между копированием и обрезанием; а поможет ли, если создающая журнал программа вместо режима append просто пишет в файл, используя внутренний указатель?)
- create [права-доступа владелец группа] | nocreate (сразу после переименования старой версии журнала и до вызова postrotate создается новый журнал с указанными атрибутами - права доступа задаются в восьмеричном виде, как в chmod.2; если атрибуты не указаны, то берутся от старого журнала)
- daily (смена версий в серии происходит ежедневно)
- delaycompress | nodelaycompress (некоторые программы не сразу закрывают журнал, в этом случае сжатие надо отложить до следующего цикла)
- errors email (кому направлять сообщения об ошибках)
- extension суффикс (задается суффикс, добавляемый к именам файлов при ротации перед суффиксом сжатия)
- ifempty | notifempty (смена версий даже если файл пуст; действует по умолчанию)
- include имя-файла | имя-директории (текстуально подставить файл или все файлы из указанной директории; не включаются поддиректории, специальные файлы и файлы с суффиксами из списка исключений; нельзя использовать внутри секции)
- mail адрес | nomail (когда смена версий приводит к необходимости удалить старый журнал, то послать его по указанному адресу)
- mailfirst (посылать не удаляемую версию журнала, а первую)
- maillast (посылать удаляемую версию журнала; действует по умолчанию)
- missingok | nomissingok (не посылать сообщения об ошибке, если журнал отсутствует)
- monthly (смена версий происходит ежемесячно)
- olddir директория | noolddir (во время смены версий журнал перемещается в указанную директорию; д.б. на том же физическом устройстве)
- postrotate (все дальнейшие строчки до строки endscript исполняются как команды shell после процесса смены версии)
- prerotate (все дальнейшие строчки до строки endscript исполняются перед процессом смены версии)
- rotate число (сколько старых версий хранить; если 0, то ни одной)
- size байт (смена версии происходит, если размер журнала превысил указанное число; можно использовать суффиксы "k" - килобайт - и "M" - мегабайт)
- sharedscripts | nosharedscripts (выполнять команды prerotate и postrotate только один раз для всех файлов, описанных в секции)
- tabooext [+] список-суффиксов (задание списка суффиксов-исключений для include; если указан знак "плюс", то дополнение, иначе замена; по умолчанию: .rpmorig, .rpmsave, .rpmnew, ",v", .swp и "~")
- weekly (смена версий происходит еженедельно)
Изучение и мониторинг журналов
Записи в журналах обычно содержат метку времени, имя хоста, на котором выполняется описываемый процесс, и имя процесса. Просматривать журналы можно при помощи программы постраничного вывода, например, less , искать определенные записи (например, сообщения ядра от определенного демона) можно при помощи команды grep :
# less /var/log/messages
# grep "ppp" /var/log/messages | tail
Dec 17 16:34:25 proxy pppd: Connection terminated.
Dec 17 16:34:25 proxy pppd: Exit.
Dec 17 16:35:57 proxy pppd: LCP terminated by peer (^P]kV^@ Компьютер может работать не постоянно и выключаться, допустим на ночь. Поэтому в /var/log/messages записи хранятся циклически от запуска компьютера к выключению, это можно заметить по сообщениям: Дек 17 08:32:56 syslog-server syslogd 1.4-0: restart.
Дек 17 08:32:56 syslog-server syslog: запуск syslogd succeeded
Дек 17 08:32:56 syslog-server kernel: klogd 1.4-0, log source = /proc/kmsg started.
Дек 17 08:32:56 syslog-server syslog: запуск klogd succeeded
Dec 17 08:32:56 syslog-server kernel: Kernel command line:
auto BOOT_IMAGE=linux ro root=303
BOOT_FILE=/boot/vmlinuz-2.4.2-2
Dec 17 08:32:56 syslog-server kernel: Memory: 125652k/130560k available (1365k kernel code, 4200k reserved, 92k data, 236k init, 0k highmem)
Dec 17 08:32:56 syslog-server kernel: CPU: Intel(R) Pentium(R) 4 CPU 1.60GHz stepping 02
Так же, в этом файле можно найти информацию о дисковой памяти (включая информацию о геометрии диска, структуре разделов и используемых прерываниях), информацию о периферийных устройствах, о запуске отдельных служб и сервисов, информацию о подключении файловых систем и сообщения о входе пользователей в систему, а также сообщения об ошибках. Иногда может возникать необходимость мониторинга системных журналов
с целью поиска текущих событий. Например, можно попробовать поймать редко случающееся событие в тот момент, когда оно произошло. В таком случае можно использовать команду tail
с опцией -f
для отслеживания содержимого системного журнала. Пример:
# tail -f /var/log/messages | grep syslog-server
Dec 17 16:46:09 syslog-server pppd: pptpd-logwtmp.so ip-up ppp0 maikop 94.77.0.150
Dec 17 16:46:09 syslog-server pppd: Script /etc/ppp/ip-up finished (pid 12552), status = 0x0
Dec 17 16:46:49 syslog-server pptpd: CTRL: Client 85.175.197.65 control connection started
Dec 17 16:46:49 syslog-server pptpd: CTRL: Starting call (launching pppd, opening GRE)
Dec 17 16:46:49 syslog-server pppd: Plugin /usr/lib/pptpd/pptpd-logwtmp.so loaded.
Кроме файлов-журналов, указанных в /etc/syslog.conf, существуют так же и другие файлы, например файл , который хранит информацию о процессе загрузки системы до запуска syslogd, а так же файлы , имеющие двоичный формат и и хранящие информацию о последнем входе пользователя в систему, о всех удачных входах пользователей в систему и о всех неудачных входах пользователей в систему соответственно. Так же в каталоге /var/log/ могут находится лог-файлы таких демонов как веб-сервер или прокси-сервер. Формат данных файлов аналогичен журналам syslogd. На последок, хотелось бы сделать акцент на том, что данный протокол очень не защищен, т.к. syslog не содержит никаких средств защиты от подделок сообщений. Хуже того, использование протокола UDP позволяет злоумышленникам посылать сообщения от имени любого хоста. Ваша локальная сеть должна быть защищена экраном от приема пакетов с поддельными локальными адресами (хотя это не помешает посылать поддельные сообщения изнутри локальной сети) и от приема пакетов снаружи на порт 514/udp. Известны случаи переполнения диска ложными сообщениями. Протокол syslog и UDP не обеспечивают гарантированной доставки (сообщения могут быть потеряны при перегрузке сети или перехвачены, поврежденные сообщения удаляются без предупреждения), правильной последовательности доставки (сообщение о завершении процесса может придти раньше сообщения о его запуске), приоритетной доставки. Конфиденциальность сообщений не обеспечивается, так как они передаются открытым текстом. Если при настройке генератора сообщений указать неправильный адрес коллектора или релея, то никаких сообщений об ошибке не будет - сообщения будут удаляться (или записываться в чужой журнал). Были предложены несколько проектов улучшения протокола syslog. Например, документ RFC 3195 предлагает систему протоколирования (syslog-conn), основанную на TCP, обеспечивающую гарантированную доставку сообщений в правильной последовательности. Проект syslog-sign предлагает обеспечить аутентификацию, упорядоченность, целостность сообщений и обнаружение пропавших сообщений за счет генерации специальных сообщений, содержащих цифровую подпись (signature) блока предыдущих сообщений с сохранением стандартного протокола и формата syslog и использованием UDP. Подведем небольшой итог:
В линукс есть единый демон, отвечающий за журналирование событий локальной системы и удаленных систем. Все события собираются из сокета /dev/log, порта UDP - 514, а так же от "помощника" - демона klogd, который присылает сообщения от ядра. Все собранные сообщения фильтруются демоном syslogd через правила в файле /etc/syslog.conf и в соответствии с правилами распределяются по соответствующим местам назначения. Файлы логов периодически "обрезаются". Периодичность определяет файл logrotate.conf и команда logrotate, которая запускается системным планировщиком - cron. На сегодня это все. Надеюсь описал все максимально понятно. Со временем буду дополнять статью! С Уважением, Mc.Sim!
Демон syslogd (system logging-deamon) обеспечивает вид протоколирования, который поддерживается большинством программ. При этом демон syslogd пишет сообщения в файл /var/log/syslog. Записи в этом файле обычно содержат такие поля: дата и время, хост, программа, сообщение. Пример этого файла представлен ниже: Jan 27 17:09:35 dhsilabs modprobe: modprobe: Can"t locate module sound-service-1-0 Jan 27 17:09:35 dhsilabs modprobe: modprobe: Can"t locate module sound-slot-1 Jan 27 17:12:28 dhsilabs kernel: VFS: Disk change detected on device ide1(22,64) Jan 27 17:12:31 dhsilabs kernel: ISO 9660 Extensions: Microsoft Joliet Level 1 Jan 27 17:12:31 dhsilabs kernel: ISOFS: changing to secondary root Jan 27 17:12:32 dhsilabs kernel: VFS: Disk change detected on device fd(2,0) Jan 27 17:12:32 dhsilabs kernel: end_request: I/O error, dev 02:00 (floppy), sector 0 Например, из предпоследней записи мы можем узнать, что 27-го января 2002 года в 17:12 произошла смена носителя в устройстве fd, о чем нам любезно сообщило ядро системы (запись «программа» - kernel). А носитель (дискета) оказался подпорченным, о чем свидетельствует следующая запись - ошибка ввода/вывода (I/O error, dev 02:00 (floppy), sector 0). Демон syslogd запускается автоматически при старте системы. Для его запуска предназначен сценарий /etc/rc.d/init.d/syslog. Как обычно, запустить демон самостоятельно вы можете с помощью команды: /etc/rc.d/init.d/syslog start, а остановить - /etc/rc.d/init.d/syslog stop. Для обеспечения автоматической загрузки нужно создать символическую ссылку на этот файл, например: ls –s /etc/re.d/rc5.d/@S30syslog /etc/rc.d/init.d/syslog. В этом случае вы обеспечите запуск демона на пятом уровне запуска (автоматический запуск X Window). Если вы используете Linux Mandrake, включить и отключить автоматический запуск вы можете с помощью команды drakxservices. При использовании Linux Red Hat включите автозапуск демона с помощью конфигуратора setup. Демон syslogd можно запускать с опциями, указанными в табл. 5.7. В табл. 5.7 указаны не все опции демона. Назначение всех остальных опций вы можете найти в справочной системе, введя команду man syslogd. Опции демона syslogd Таблица 5.7 Системные администраторы, да и обычные пользователи Linux, часто должны смотреть лог файлы для устранения неполадок. На самом деле, это первое, что должен сделать любой сисадмин при возникновении любой ошибки в системе. Сама операционная система Linux и работающие приложения генерируют различные типы сообщений, которые регистрируются в различных файлах журналов. В Linux используются специальное программное обеспечение, файлы и директории для хранения лог файлов. Знание в каких файлах находятся логи каких программ поможет вам сэкономить время и быстрее решить проблему. В этой статье мы рассмотрим основные части системы логирования в Linux, файлы логов, а также утилиты, с помощью которых можно посмотреть логи Linux. Большинство файлов логов Linux находятся в папке /var/log/ Вы можете список файлов логов для вашей системы с помощью команды ls: Rw-r--r-- 1 root root 52198 май 10 11:03 alternatives.log Ниже мы рассмотрим 20 различных файлов логов Linux, размещенных в каталоге /var/log/. Некоторых из этих логов встречаются только в определенных дистрибутивах, например, dpkg.log встречается только в системах, основанных на Debian. /var/log/messages
- содержит глобальные системные логи Linux, в том числе те, которые регистрируются при запуске системы. В этот лог записываются несколько типов сообщений: это почта, cron, различные сервисы, ядро, аутентификация и другие. /var/log/dmesg
- содержит сообщения, полученные от ядра. Регистрирует много сообщений еще на этапе загрузки, в них отображается информация об аппаратных устройствах, которые инициализируются в процессе загрузки. Можно сказать это еще один лог системы Linux. Количество сообщений в логе ограничено, и когда файл будет переполнен, с каждым новым сообщением старые будут перезаписаны. Вы также можете посмотреть сообщения из этого лога с помощью команды dmseg. /var/log/auth.log
- содержит информацию об авторизации пользователей в системе, включая пользовательские логины и механизмы аутентификации, которые были использованы. /var/log/boot.log
- Содержит информацию, которая регистрируется при загрузке системы. /var/log/daemon.log
- Включает сообщения от различных фоновых демонов /var/log/kern.log
- Тоже содержит сообщения от ядра, полезны при устранении ошибок пользовательских модулей, встроенных в ядро. /var/log/lastlog
- Отображает информацию о последней сессии всех пользователей. Это нетекстовый файл, для его просмотра необходимо использовать команду lastlog. /var/log/maillog /var/log/mail.log
- журналы сервера электронной почты, запущенного в системе. /var/log/user.log
- Информация из всех журналов на уровне пользователей. /var/log/Xorg.x.log
- Лог сообщений Х сервера. /var/log/alternatives.log
- Информация о работе программы update-alternatives. Это символические ссылки на команды или библиотеки по умолчанию. /var/log/btmp
- лог файл Linux содержит информацию о неудачных попытках входа. Для просмотра файла удобно использовать команду last -f /var/log/btmp /var/log/cups
- Все сообщения, связанные с печатью и принтерами. /var/log/anaconda.log
- все сообщения, зарегистрированные при установке сохраняются в этом файле /var/log/yum.log
- регистрирует всю информацию об установке пакетов с помощью Yum. /var/log/cron
- Всякий раз когда демон Cron запускает выполнения программы, он записывает отчет и сообщения самой программы в этом файле. /var/log/secure
- содержит информацию, относящуюся к аутентификации и авторизации. Например, SSHd регистрирует здесь все, в том числе неудачные попытки входа в систему. /var/log/wtmp или /var/log/utmp -
системные логи Linux,
содержат журнал входов пользователей в систему. С помощью команды wtmp вы можете узнать кто и когда вошел в систему. /var/log/faillog
- лог системы linux, содержит неудачные попытки входа в систему. Используйте команду faillog, чтобы отобразить содержимое этого файла. /var/log/mysqld.log
- файлы логов Linux от сервера баз данных MySQL. /var/log/httpd/ или /var/log/apache2
- лог файлы linux11 веб-сервера Apache. Логи доступа находятся в файле access_log, а ошибок в error_log /var/log/lighttpd/
- логи linux веб-сервера lighttpd /var/log/conman/
- файлы логов клиента ConMan, /var/log/mail/
- в этом каталоге содержатся дополнительные логи почтового сервера /var/log/prelink/
- Программа Prelink связывает библиотеки и исполняемые файлы, чтобы ускорить процесс их загрузки. /var/log/prelink/prelink.log содержит информацию о.so файлах, которые были изменены программой. /var/log/audit/
- Содержит информацию, созданную демоном аудита auditd. /var/log/setroubleshoot/ -
SE Linux использует демон setroubleshootd (SE Trouble Shoot Daemon) для уведомления о проблемах с безопасностью. В этом журнале находятся сообщения этой программы. /var/log/samba/
- содержит информацию и журналы файлового сервера Samba, который используется для подключения к общим папкам Windows. /var/log/sa/
- Содержит.cap файлы, собранные пакетом Sysstat. /var/log/sssd/
- Используется системным демоном безопасности, который управляет удаленным доступом к каталогам и механизмами аутентификации. Чтобы посмотреть логи на Linux удобно использовать несколько утилит командной строки Linux. Это может быть любой текстовый редактор, или специальная утилита. Скорее всего, вам понадобятся права суперпользователя для того чтобы посмотреть логи в Linux. Вот команды, которые чаще всего используются для этих целей: Я не буду останавливаться подробно на каждой из этих команд, поскольку большинство из них уже подробно рассмотрены на нашем сайте. Но приведу несколько примеров. Просмотр логов Linux выполняется очень просто: Смотрим лог /var/log/messages, с возможностью прокрутки: less /var/log/messages Просмотр логов Linux, в реальном времени: tail -f /var/log/messages Открываем лог файл dmesg: cat /var/log/dmesg Первые строки dmesg: head /var/log/dmesg Выводим только ошибки из /var/log/messages: grep -i error /var/log/messages Кроме того, посмотреть логи на linux можно и с помощью графических утилит. Программа System Log Viewer может быть использована для удобного просмотра и отслеживания системных журналов на ноутбуке или персональном компьютере с Linux. Вы можете установить программу в любой системе с установленным X сервером. Также для просмотра логов может использоваться любой графический тестовый редактор. В каталоге /var/log вы можете найти всю необходимую информацию о работе Linux. Из сегодняшней статьи вы достаточно узнали, чтобы знать где искать, и что искать. Теперь просмотр логов в Linux не вызовет у вас проблем. Если остались вопросы, задавайте в комментариях! Невозможно представить себе пользователя и администратора сервера, или даже рабочей станции на основе Linux, который никогда не читал лог файлы. Операционная система и работающие приложения постоянно создают различные типы сообщений, которые регистрируются в различных файлах журналов. Умение определить нужный файл журнала и что искать в нем поможет существенно сэкономить время и быстрее устранить ошибку. Журналирование является основным источником информации о работе системы и ее ошибках. В этом кратком руководстве рассмотрим основные аспекты журналирования операционной системы, структуру каталогов, программы для чтения и обзора логов. Все файлы журналов, можно отнести к одной из следующих категорий: Большинство же лог файлов содержится в директории /var/log . Для каждого дистрибутива будет отдельный журнал менеджера пакетов. И немного бинарных журналов учета пользовательских сессий. Так как операционная система, даже такая замечательная как Linux, сама по себе никакой ощутимой пользы не несет в себе, то скорее всего на сервере или рабочей станции будет крутится база данных, веб сервер, разнообразные приложения. Каждое приложения или служба может иметь свой собственный файл или каталог журналов событий и ошибок. Всех их естественно невозможно перечислить, лишь некоторые. В домашнем каталоге пользователя могут находится журналы графических приложений, DE. Почти все знают об утилите less и команде tail -f . Также для этих целей сгодится редактор vim и файловый менеджер Midnight Commander. У всех есть свои недостатки: less неважно обрабатывает журналы с длинными строками, принимая их за бинарники. Midnight Commander годится только для беглого просмотра, когда нет необходимости искать по сложному шаблону и переходить помногу взад и вперед между совпадениями. Редактор vim понимает и подсвечивает синтаксис множества форматов, но если журнал часто обновляется, то появляются отвлекающие внимания сообщения об изменениях в файле. Впрочем это легко можно обойти с помощью <:view /path/to/file> . Недавно я обнаружил еще одну годную и многообещающую, но слегка еще сыроватую, утилиту - lnav
, в расшифровке Log File Navigator. Установка пакета как обычно одной командой. Навигатор журналов lnav
понимает ряд форматов файлов. Что в данном случае означает понимание форматов файлов? Фокус в том, что lnav
больше чем утилита для просмотра текстовых файлов. Программа умеет кое что еще. Можно открывать несколько файлов сразу и переключаться между ними. Программа умеет напрямую открывать архивный файл. Показывает гистограмму информативных сообщений, предупреждений и ошибок, если нажать клавишу . Это с моего syslog-а. Кроме этого поддерживается подсветка синтаксиса, дополнение по табу и разные полезности в статусной строке. К недостаткам можно отнести нестабильность поведения и зависания. Надеюсь lnav
будет активно развиваться, очень полезная программа на мой взгляд. Протокол syslog и программные средства поддержки обеспечивают
запись информации о событиях в системный журнал (журналы, системную консоль),
а также передачу их на сервер журнализации по сети,
сортировку и обработку в зависимости от источника и важности сообщений.
В статье описывается протокол syslog, его реализация в Solaris и Linux
(syslogd), Cisco IOS, а также вспомогательные средства: logrotate, logwatch. Компонентами системы являются генератор сообщений
(устройство или процесс), протокол обмена, коллектор сообщений (collector,
syslog server),
релей (relay, принимает сообщения от одного или нескольких генераторов и
передает одному или нескольким коллекторам или следующим релеям).
Генератор (или релей при передаче) не знает является
ли приемник релеем или коллектором, может передавать одно сообщение
нескольким приемникам, может обрабатывать сообщение самостоятельно
(например, записывая в файл). Протокол syslog не содержит никаких средств защиты от подделок
сообщений. Хуже того, использование протокола UDP позволяет злоумышленникам
посылать сообщения от имени любого хоста. Локальная сеть должна быть
защищена экраном (IOS ACL, ipchains) от приема пакетов с поддельными
локальными адресами (хотя это не помешает посылать поддельные сообщения
изнутри локальной сети) и от приема пакетов снаружи на порт 514/udp.
Известны случаи переполнения диска ложными сообщениями. Протокол syslog и UDP не обеспечивают гарантированной
доставки (сообщения могут быть потеряны при перегрузке сети или перехвачены,
поврежденные сообщения удаляются без предупреждения),
правильной последовательности доставки (сообщение о завершении процесса может
придти раньше сообщения о его запуске),
приоритетной доставки. Конфиденциальность сообщений не обеспечивается, так как
они передаются открытым текстом. Если при настройке генератора сообщений
указать неправильный адрес коллектора или релея, то никаких сообщений об ошибке
не будет - сообщения будут удаляться (или записываться в чужой журнал;). Средства защиты от зацикливания передачи сообщений
неправильно настроенными релеями не предусмотрены. RFC 3195 предлагает новый протокол над TCP (syslog-conn, 601),
обеспечивающий
гарантированную доставку в правильной последовательности. Реализация мне не
известна. Чудовищная смесь XML, команд и кодов возврата в стиле SMTP
и заголовков MIME (BEEP), в которую заворачиваются сообщения стандартного
формата syslog. Используется два режима - RAW (аналог нынешнего UDP протокола)
и COOKED (сообщения структурированы по полям). BEEP позволяет обеспечить
аутентификацию, целостность и конфиденциальность (SASL, TLS). Проект RFC syslog-sign предлагает обеспечить аутентификацию,
упорядоченность, целостность сообщений и обнаружение пропавших сообщений
за счет генерации специальных сообщений, содержащих цифровую подпись
(signature) блока предыдущих сообщений с сохранением стандартного протокола
и формата syslog и использованием UDP. Используется SHA1, OpenPGP DSA. Для приема сообщений используется порт 514/UDP.
Рекомендуется также использовать исходный порт 514 для передачи сообщений.
Сообщение представляет собой текстовую строку и не может иметь длину более
1024 байт, в противном случае его разрешается обрезать или даже выбрасывать.
Даже неправильно сформированное сообщение, посланное на 514 порт,
должно рассматриваться как сообщение syslog. Однако, если релей передает
сообщение дальше, то он должен добавить к нему стандартные заголовки (при этом,
возможно обрезав его до 1024 байт) - USER, NOTICE, свое локальное время и
простое имя источника сообщения. Сообщение начинается с поля PRI, которое в закодированном виде
содержит информацию об источнике сообщения (facility) и уровне серьезности
(Severity level)
сообщения. За ним записывается время (TIMESTAMP), пробел, имя или IP
адрес хоста в десятичной записи (HOSTNAME), пробел, произвольный текст сообщения
(MSG) в US-ASCII (0x20 - 0x7e). Имя хоста (простое, не FQDN!) записывается так, как оно
известно генератору сообщения. Если устройство имеет несколько интерфейсов
с различными IP-адресами, то в качестве имени или адреса хоста может быть
использовано любое из них. Текст сообщения (MSG) обычно содержит этикетку (TAG),
указывающую
на программу или процесс, выдавшую это сообщение и тело сообщения (CONTENT).
Этикетка может содержать латинские буквы и цифры. Начало тела сообщения
определяется по первому специальному символу - обычно двоеточие или
открывающая квадратная скобка. Например, Cisco IOS в качестве этикетки
использует последовательный номер сообщения и двоеточие, а Unix - простое
имя программы (тело сообщения начинается с номера процесса в квадратных
скобках и двоеточия). syslogd
осуществляет прием сообщений с порта 514/UDP
и от местных источников (сокет /dev/log),
их маршрутизацию в зависимости от источника сообщений и уровня серьезности.
Позволяет выводить сообщения в журнал, выводить на консоль,
на терминал, посылать на другой сервер.
Вводится дополнительный тип источника MARK (регулярные отметки, info) Каждая строка журнала содержит запись одного сообщения,
состоящую из полей, разделенных пробелами: Параметры запуска: Используемые файлы: Реакция на сигналы: Запускается с правами root.
Не меняет права доступа к файлам. Если вынужден
создавать файл, то делает его с правами 644. При необходимости
ограничить доступ к журналу, соответствующий файл надо создать
вручную (или поменять права доступа). Особые проблемы создает logrotate
. Представляет собой набор правил маршрутизации сообщений.
Каждое правило состоит из селектора и действия, которые разделяются
табуляциями (в старых системах - Solaris 5) или пробелами (Linux).
Получив сообщение для записи в журнал (от klogd, от локальной или удаленной
программы), syslogd для каждого правила проверяет не подходит ли
сообщение под шаблон, определяемый селектором. Если подходит, то
выполняется указанное в правиле действие.
Для одного сообщения м.б. выполнено произвольное количество действий
(т.е. обработка сообщения не прекращается при первом успехе). Селектор состоит из двух частей, разделенных точкой:
источник сообщения и уровень серьезности.
Прописные и строчные буквы не различаются.
Можно также использовать числа (см. /usr/include/syslog.h).
Кроме определенных в syslog.3 источников, можно указывать mark
(регулярные временные метки), security
(устаревший синоним для auth
).
Кроме определенных в syslog.h уровней серьезности можно
использовать warn
(синоним для warning
), error
(синоним для err
), panic
(синоним для emerg
).
Сообщения с уровнем, равным или выше указанного в селекторе,
и источником, равным указанному в селекторе, считается подходящим.
Звездочка перед точкой соответствует любому источнику, после точки -
любому уровню.
Слово none
после точки - никакому уровню для данного источника.
Можно указывать несколько источников в одном селекторе (через запятую).
В одной строке можно указывать несколько селекторов.
Семантика не ясна: если использовать
позитивные селекторы, то выполняется логическое ИЛИ
,
если негативные (none
и восклицательный знак), то логическое
И
.
В новом syslogd (linux)
перед уровнем можно поставить знак равенства - селектору будут
соответствовать только сообщения с указанным уровнем (но не с высшим);
восклицательный знак - не будут соответствовать сообщения с
уровнем равным или большим; восклицательный знак и равенство - не будут
соответствовать сообщения с уровнем, равным указанному. В качестве действия можно указывать: При разборе файла конфигурации syslogd
сравнивает адрес
loghost
(определяется в /etc/hosts, не через DNS) с адресом своего
компьютера и при совпадении определяет переменную LOGHOST
.
После этого syslog.conf пропускается через макропроцесссор m4(1).
В основном, это используется для того, чтобы один и тот же
конфигурационный файл можно было использовать на
клиентских и серверном (с точки зрения syslog) хостах. Процедура запуска и остановки:
/etc/init.d/syslog
(ссылки на нее из директорий
/etc/rc?.d). Номер процесса хранится в /etc/syslog.pid
. klogd читает сообщения ядра (либо через /proc/kmsg, либо с
помощью системных вызовов), определяет уровень,
преобразует адреса команд в имена программ и передает сообщение syslogd. Параметры запуска: Уровни сообщений ядра (определяется по цифре в угловых скобках и преобразуется
в уровень серьезности syslog, при выводе в файл не изменяется): Реакция на сигналы: Номер процесса хранится в /var/run/klogd.pid
. Инициализация записи в журнал: openlog
- указывается
стандартный префикс, добавляемый ко всем последующим сообщениям (обычно имя
программы, номер процесса в квадратных скобках и
двоеточие); источник и опции. closelog
-
завершить запись в журнал. syslog
- запись в журнал
(указывается источник, уровень серьезности и формат строки как в printf). logrotate
(версия 3.2-1/3.3.2-1/3.5.9) - борьба
с растущими
журналами: ротация (создание версий), сжатие, удаление и отправка по почте.
Запускается ежедневно cron-ом (/etc/cron.daily/logrotate
) и позволяет
обрабатывать журналы, если они превысили указанный размер или с указанным
временным интервалом. Позволяет обрабатывать не только журналы syslog, но
и любых других программ.
Параметры: Конфигурационный файл определяет глобальные параметры
(по одному на строке), задающие параметры по умолчанию для всех журналов.
Для каждой серии обрабатываемых журналов задаются локальные параметры:
указывается базовое имя файла, а затем в фигурных скобках локальные параметры
по одному на строке.
Имя файла может быть заключено в кавычки по правилам shell, если оно содержит
пробелы и другие специальные символы.
Можно указывать несколько имен файлов или шаблонов имен файлов через пробел
(шаблоны также по правилам shell).
Обработка каждой секции рассматривается как единое действие.
Строки, начинающиеся с символа "#" являются комментраиями.
Параметры, указанные в следующем конфигурационном файле перекрывают
значение параметров, указанных в предыдущем файле. Локальные параметры имеют
приоритет над глобальными.
Порядок файлов в конфигурационной директории не определен. Параметры: В поставке RH /etc/logrotate.conf
описывает глобальные
параметры и параметры для /var/log/wtmp и /var/log/lastlog и ссылается на
директорию /etc/logrotate.d
, в которую каждый пакет записывает локальные
параметры для своих журналов. logwatch представляет собой платформу (framework) для
написания программ (называемых фильтрами) извлечения полезной информации
из многочисленных,
больших и разноформатных журналов (не только syslog).
В "пакете" приходит несколько
фильтров, рассчитанных на Red Hat Linux (какой-то древней версии,
т.к. упоминается inetd вместо xinetd), но адаптировать их под
конкретную ситуацию придется самому. Последнее изменение было внесено
автором в сентябре 2000, так что дальнейшего развития можно уже не ждать. Фильтры могут быть написаны на любом языке программирования,
но автор пакета предпочитает perl. Фильтры должны быть написаны так,
что читают данные с stdin и выводят результат на stdout.
Перед вызовом фильтра устанавливаются переменные окружения:
LOGWATCH_DATE_RANGE, LOGWATCH_DETAIL_LEVEL, LOGWATCH_TEMP_DIR, LOGWATCH_DEBUG.
Основная программа также написана на perl:
/etc/log.d/scripts/logwatch.pl
(/etc/log.d/logwatch, /usr/sbin/logwatch
и /etc/cron.daily/00-logwatch - это символьные ссылки на нее). Директория /etc/log.d/conf/logfiles/
содержит
конфигурационные файлы групп журналов, в которых хранятся записи обслуживаемых
сервисов. Каждая группа описывается отдельным файлом
имя-группы
.conf
, в котором задаются: Директория /etc/log.d/conf/services/
содержит
конфигурационные файлы сервисов, чьи записи в журналах logwatch будет
обрабатывать. Каждый сервис описывается отдельным файлом
имя-сервиса
.conf
, в котором задаются: Директория /etc/log.d/scripts/logfiles/
содержит
фильтры обработки групп журналов: при обработке группы журналов все файлы в
директории /etc/log.d/scripts/logfiles/имя-группы
используются как фильтры. Директория /etc/log.d/scripts/services/
содержит
фильтры обработки записей конкретных сервисов. Директория /etc/log.d/scripts/shared/
содержит
общие фильтры, используемые в конфигурационных файлах групп журналов: Параметры по умолчанию хранятся в файле
/etc/log.d/conf/logwatch.conf (/etc/log.d/logwatch.conf есть символьная
ссылка на него), комментарии в котором позволяют понять смысл параметров: Параметры запуска: Основной способ использования состоит во включении
файла 00-logwatch (начинается с "00", чтобы выполняться до logrotate)
в директорию /etc/cron.daily, что вызывает ежедневное выполнение
logwatch с параметрами по умолчанию. К сожалению, все фильтры рассчитаны на то, что журналы
записываются на том же хосте, на котором работает сервис. Все журналы ведутся на одном компьютере (если есть
параноидальные наклонности, то можно записывать журналы сразу на двух серверах). Соответствие между формальным именем источника и реальным
устройством или программой: На сервере должен быть открыт экран для порта 514/udp (можно ограничить
исходные адреса пакетов, но это поможет только от случайностей).
Запуск syslogd (параметры в /etc/rc.d/init.d/syslog или /etc/sysconfig/syslog)
должен быть с ключами "-r -m 0" (и еще "-x", если на этом же компьютере работает
сервер DNS). Запуск klogd с ключами "-2 -c 1". Настройка syslog.conf: На клиентских компьютерах настраиваем syslog так, чтобы все
сообщения передавались на сервер syslog, сообщения об ошибках
дублировались в /var/log/syslog, сообщения о критическом состоянии
дублировались на консоль, терминалы пользователей.
На компьютерах с linux также сбрасывать в локальный файл сообщения о
загрузке (local7, boot.log). Запасной сервер syslog должен принимать
сообщения критического уровня из сети и записывать их в файл
(дырка в экране, ключ запуска "-r"). logrotate: хранить вечно, менять версии по возможности реже
(ежемесячно, кроме squid), сбрасывать в отдельные
директории (кроме squid) и сжимать (в
отложенном режиме, кроме ftpd, linuxconf, sendfax),
ошибки и удаляемые файлы посылать мне. Привести в
соответствие параметры для syslog.Опция
Описание
-а сокет
Этот параметр позволяет указать дополнительный сокет, который syslogd должен прослушивать
-d
Включает режим отладки. В этом режиме демон не будет использовать системный вызов fork(2) для переключения себя в фоновый режим и будет выводить больше отладочной информации
-f файл
Этот параметр определяет альтернативный файл конфигурации
-h
По умолчанию демон не перенаправляет сообщения, которые он получает от других узлов. Этот параметр позволяет перенаправить сообщения другим хостам, которые определены
-n
Этот параметр нужен, если syslogd запускается и контролируется программой init
-р сокет
Позволяет задать другой сокет Unix вместо /dev/log
-r
Позволяет принимать сообщения из сети. Данная опция появилась в версии syslogd 1.3
-v
Выводит версию демона syslogd
drwxr-x--- 2 root root 4096 ноя 14 15:07 apache2
drwxr-xr-x 2 root root 4096 апр 25 12:31 apparmor
drwx------ 2 root root 4096 май 5 10:15 audit
-rw-r--r-- 1 root root 33100 май 10 10:33 boot.logПросмотр логов в Linux
Выводы
Основные лог файлы
Поддерживаемые уровни журналирования (приоритеты):
emerg - система неиспользуемая
alert - действие должно быть произведено немедленно
crit - условия критичности
err - условия ошибок
warn - условия предупреждений
notice - обычные, но значимые условия
info - информационный
debug - отладочные сообщения
(5:520)$ dmesg -l err
usb 1-1.1: 2:1: cannot get freq at ep 0x1
usb 1-1.1: 1:1: cannot get freq at ep 0x81
usb 1-1.1: 1:1: cannot get freq at ep 0x81
(5:535)$ sudo utmpdump /var/log/wtmp
[Вт авг 11 16:50:07 2015]
[~~ ] [Вт авг 11 16:50:08 2015]
[~~ ] [Вт авг 11 16:50:57 2015]
[Вт авг 11 16:50:57 2015]
[~~ ] [Вт авг 11 16:50:57 2015]
И другие журналы
Initializing "kcm_input" : "kcminit_mouse"
Initializing "kcm_access" : "kcminit_access"
Initializing "kcm_kgamma" : "kcminit_kgamma"
QXcbConnection: XCB error: 3 (BadWindow), sequence: 181, resource id: 10486050, major code: 20 (GetProperty), minor code: 0
kf5.kcoreaddons.kaboutdata: Could not initialize the equivalent properties of Q*Application: no instance (yet) existing.
QXcbConnection: XCB error: 3 (BadWindow), sequence: 181, resource id: 10486050, major code: 20 (GetProperty), minor code: 0
Qt: Session management error: networkIdsList argument is NULL
Чем просматривать - lnav
$ aptitude install lnav #Debian/Ubuntu/LinuxMint
$ yum install lnav #RedHat/CentOS
$ dnf install lnav #Fedora
$ emerge -av lnav #Gentoo, нужно добавить в файл package.accept_keywords
$ yaourt -S lnav #Arch
(5:471)$ sudo lnav /var/log/pm-powersave.log /var/log/pm-suspend.log
(5:471)$ lnav -r /var/log/Xorg.0.log.old.gz
Mon May 02 20:25:00 123 normal 3 errors 0 warnings 0 marks
Mon May 02 22:40:00 2 normal 0 errors 0 warnings 0 marks
Mon May 02 23:25:00 10 normal 0 errors 0 warnings 0 marks
Tue May 03 07:25:00 96 normal 3 errors 0 warnings 0 marks
Tue May 03 23:50:00 10 normal 0 errors 0 warnings 0 marks
Wed May 04 07:40:00 96 normal 3 errors 0 warnings 0 marks
Wed May 04 08:30:00 2 normal 0 errors 0 warnings 0 marks
Wed May 04 10:40:00 10 normal 0 errors 0 warnings 0 marks
Wed May 04 11:50:00 126 normal 2 errors 1 warnings 0 marks
*имя-фильтра
= параметры
, например, чтобы
отфильтровать журнал по дате, если она записана в стандартном формате
syslog, надо использовать строку:
*ApplyStdDate =
*имя-фильтра
= параметры
, запускаемых до
фильтра сервиса
Загрузка...
