Illegal mix of collations (latin1_swedish_ci,IMPLICIT) and (utf8_general_ci,COERCIBLE)

# echo 'alter database zabbix collate utf8_bin;' | mysql -u root -p
# echo 'show tables;' | mysql -N -u username -p password zabbix | \
> perl -ne 'chomp; print "ALTER TABLE $_ CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci;\n"' | \
> mysql -u username -p password zabbix

Upgrade perl-5.8 to perl-10 on FreeBSD

# pkgdb -Ff
# env DISABLE_CONFLICTS=1 portupgrade -o lang/perl5.10 -f perl-5.8.\*
# portupgrade -fr perl

Monitoring processes by I/O

Linux: iotop
FreeBSD: top -m io -o total

Understanding Linux Load Average – Part 1
Understanding Linux Load Average – Part 2
Understanding Linux Load Average – Part 3

ICMPv6 Router Announcement flooding denial of service affecting multiple systems

Date:                  05 April 2011
Vendors:               Cisco, Juniper, Microsoft, FreeBSD
Affected Products:     All Cisco IOS ASA with firmware < November 2010
                       All Netscreen versions
                       All Windows versions
                       All FreeBSD version
Vulnerability:         ICMPv6 Router Announcement flooding denial of service
Severity:              7.8 (CVE CVSS Score), local network
CVEs:                  CVE-2010-4670, CVE-2010-4671, CVE-2010-4669

Источник: Marc Heuse (via PacketStorm)

Dummynet и io_fast

Проблема: ipfw не ограничивает полосу пропускания как мы того хотим. Например, мы ограничили клиенту полосу таким образом (целиком на его vlan):

${ipfw} pipe 1 config bw 100Mbit/s
${ipfw} pipe 2 config bw 200Mbit/s
${ipfw} 10 pipe 2 ip from any to any via vlan1541 in
${ipfw} 11 pipe 1 ip from any to any via vlan1541 out

Через некоторое время увидели на графиках, что входящий трафик составил примерно 400Мбит. Оказалось дело в sysctl net.inet.ip.dummynet.io_fast, который у нас был выставлен в режим fast (1).

После установки в режим normal все встало на свои места. Графики (io_fast=1 — около 400Мбит/с, и после включения io_fast=0 — 200Мбит/с):




man 8 ipfw:

There are two modes of dummynet operation: ``normal'' and ``fast''. The
``normal'' mode tries to emulate a real link: the dummynet scheduler
ensures that the packet will not leave the pipe faster than it would on
the real link with a given bandwidth. The ``fast'' mode allows certain
packets to bypass the dummynet scheduler (if packet flow does not exceed
pipe's bandwidth). This is the reason why the ``fast'' mode requires
less CPU cycles per packet (on average) and packet latency can be signif-
icantly lower in comparison to a real link with the same bandwidth. The
default mode is ``normal''. The ``fast'' mode can be enabled by setting
the net.inet.ip.dummynet.io_fast sysctl(8) variable to a non-zero value.

Обновление портов FreeBSD

# portsnap fetch
# portsnap update
# pkg_version -vL = (покажет устаревшие порты)
# portupgrade -arR

# pkgdb -aF (Interactively fix the package registry database)

Example of FreeBSD rc-file for Mojolicious Hypnotoad Server

Клонирование hdd

Клонируем ad4 на ad5. Для ускорения размер блока устанавливаем в 32256 байт (жесткий диск имеет на треке 63 сектора по 512 байт каждый: 63*512=32256):

dd if=/dev/ad4 of=/dev/ad5 bs=32256

ЗЫ. По-умолчанию bs=512.

Пишем логи с определенного хоста с помощью Syslog в отдельный файл

/etc/rc.conf:
syslogd_flags="-n -a 127.0.0.1/32:* -a 81.73.224.197/32:*"

/etc/syslog.conf:
+81.73.224.197
*.* /var/log/ip-pbx.log

Использование активного режима ftp

Для правильной работы ftp в активном режиме на FreeBSD в /boot/loader.conf надо добавить: alias_ftp_load="YES" (kldload alias_ftp).

Вырезка из sys/netinet/libalias/alias_ftp.c:

Alias_ftp.c performs special processing for FTP sessions under TCP. Specifically, when a PORT/EPRT command from the client side or 227/229 reply from the server is sent, it is intercepted and modified. The address is changed to the gateway machine and an aliasing port is used.

http://www.lissyara.su/articles/freebsd/tuning/ipfw_nat/#extra_info:

..."после запуска модуля alias_ftp.ko (или вручную через kldload alias_ftp.ko или через /boot/loader.conf alias_ftp_load="YES") поведение ipfw nat изменяется к лучшему - он начнет пропускать через себя активные FTP сессии инициализированные от клиентов находящихся за ним. Модуль alias_ftp отслеживат FTP трафик проходящий через нат и динамически изменяет внутреннюю таблицу ната для установления соответствия номеров портов используемых в сессии."

В OpenBSD для этих целей есть ftp-proxy. :)

Опции порта

Хозяйке на заметку ;-) Опции, которые вы выбирали при сборке порта (через ncurses), хранятся в файле /var/db/ports/{port-name}/options.

Проблема igb и em-карт на FreeBSD

В нашем арсенале на роутерах имеются сетевые карты igbX и emX. Мы заметили неприятную особенность, на 7.3-STABLE и 8-STABLE, когда создаёшь или удаляешь vlan, сетевые интерфейсы ресетятся, а при высокой сетевой нагрузке ребутили сервер :-( Долго искали причину, патчи. Наконец, коллега нашел интересную ссылку, по которой Pyun YongHyeon предлагает решение проблемы:

http://groups.google.com/group/mailing.freebsd.net/browse_thread/thread/d5600ee416838994?pli=1

Не забыть, в конфигурационном файле rc.conf надо добавить на интерфейсы emX и igbX флаги: "-vlanhwtag -vlanhwfilter".

Настройка демона для отлова SNMP-трапов

# pkg_add -r net-snmp
# grep snmp /etc/rc.conf
snmptrapd_enable="YES"
snmptrapd_flags="-c /usr/local/etc/snmp/snmptrapd.conf"
# egrep -v '^($|#)' /usr/local/etc/snmp/snmptrapd.conf               
pidfile /var/run/snmptrapd.pid
authCommunity log,execute,net public
logoption f /var/log/snmptrapd.log
logoption s 1

Готовимся бросать трапы с коммутатора DES-3200. Заливаем MIB-файл (des3200-10-L2mgmt.mib) в /usr/local/share/snmp/mibs/des3200-10-L2mgmt.mib

# egrep -v '^($|#)' /usr/local/etc/snmp/snmp.conf
mibs  +DES3200-10-L2MGMT-MIB
# /usr/local/etc/rc.d/snmptrapd start

FreeBSD — использование UTF-8 в консоли

# locale -a | grep ru_RU
ru_RU.CP1251
ru_RU.CP866
ru_RU.ISO8859-5
ru_RU.KOI8-R
ru_RU.UTF-8
# grep -B1 KOI8-R /etc/login.conf
russian|Russian Users Accounts:\
        :charset=KOI8-R:\
        :lang=ru_RU.KOI8-R:\
 
# perl -pi -e 's{KOI8-R}{UTF-8}g' /etc/login.conf
# cap_mkdb /etc/login.conf
# pw usermod -n null -L russian
 

Накатываем патчи для FreeBSD

# freebsd-update fetch
# freebsd-update install
# reboot

Сетевая оптимизация во FreeBSD

Задача — построить роутер, который будет пропускать много трафика :) На примере ОС FreeBSD 7.2 и сетевой карты igb.

# cat /boot/loader.conf
if_igb_load="YES"
hw.igb.rxd=2048
hw.igb.txd=4096
hw.igb.num_queues=0
hw.igb.enable_aim=1
hw.igb.low_latency=2000
hw.igb.ave_latency=4000
hw.igb.bulk_latency=6000
hw.igb.rx_process_limit=200
hw.igb.fc_setting=0
hw.igb.lro=0

* This source code was highlighted with Source Code Highlighter.

Желательно слить последние драйвера для igb. Кстати, заметили, что загрузка FreeBSD происходит намного медленнее если загружать igb через loader (kld). Не знаю с чем это связано.

# egrep -v '^(#|$)' /etc/sysctl.conf
net.inet.ip.dummynet.io_fast=1
net.inet.ip.portrange.first=5700
net.inet.icmp.icmplim=500
net.inet.ip.intr_queue_maxlen=400
net.route.netisr_maxqlen=1024
net.inet.ip.dummynet.hash_size=32768
net.inet.ip.dummynet.max_chain_len=1024
net.inet.ip.fw.dyn_ack_lifetime=60
net.inet.ip.fw.dyn_syn_lifetime=10
net.inet.ip.fw.dyn_fin_lifetime=10
net.inet.ip.fw.dyn_max=65000
net.inet.ip.fw.dyn_buckets=4096
net.isr.direct=1
net.inet.ip.fastforwarding=1
kern.timecounter.hardware=HPET


* This source code was highlighted with Source Code Highlighter.

Совет по ipfw — не злоупотребляйте большим кол-ом правил, пользуйтесь стейтами, старайтесь избегать nat :)

# netstat -I igb1 -h 1
input (igb1) output
packets errs bytes packets errs bytes colls
40K 0 15M 52K 0 36M 0
40K 0 14M 52K 0 39M 0
40K 0 14M 51K 0 39M 0
40K 0 15M 50K 0 38M 0
40K 0 14M 52K 0 40M 0
38K 0 13M 49K 0 36M 0
39K 0 15M 50K 0 34M 0

* This source code was highlighted with Source Code Highlighter.

На данный момент наша карточка пропускает через себя порядка 320 Мбит/с, около 52 тысяч пакетов в секунду (pps). Машина почти не нагружена. У нас используется два quad-ядра, 2Гб памяти.