netch80

время, стой. раз-два.

Fri, 13 Nov 2009 17:42:40 GMT

Цитируем Posix:

===
Epoch

The time zero hours, zero minutes, zero seconds, on January 1, 1970
Coordinated Universal Time (UTC).
===

Смотрим в википедию - с 1970-го года в UTC было 24 вставных секунды (leap seconds).

Проверяем системные часы:

>>> a = (10*366+29*365)*86400
>>> a
1230768000
>>> import time
>>> time.gmtime(a)[0:6]
(2009, 1, 1, 0, 0, 0)

то есть никто не применял коррекцию по ним.

Первый вопрос - покажите мне хоть один юникс или одну Windows, чтобы честно реализовывала UTC, а не UT1 или UT2?

Второй вопрос - а нафига этот UTC нужен в практической машинной реальности?

[erlang] множественные очереди и одиночный тормоз

Fri, 09 Oct 2009 20:04:43 GMT

В прошлом сообщении пришёл к выводу, что спасением для быстрого детекта сигнала "притормозить" является синхронный вызов.

Но надо было действительно подумать, чтобы вспомнить, что ответ на синхронный вызов тоже падает в очередь сообщений, и извлечь его оттуда - тот же receive с матчингом - тормозит линейно зависимо от длины очереди.

"Схватить автомат и убивать всех подряд" (tm)

umass, sync и вокруг

Wed, 23 Sep 2009 05:43:14 GMT

Что-то во фре (или в семёрке, или даже в 7.2) подломали в плане аккуратности доступа к дискам. Уже два раза запарывал нафиг файловую систему на флэшке телефона, подключаемой как простой umass, несмотря на то, что после umount и sync ждал больше минуты, пока всё не успокоится.

Это смыкается с выводом, который сделал по текущему проекту: любые асинхронные подходы хороши для держания нагрузки, но независимо от стиля и качества реализации обязаны иметь и синхронные варианты, и команды типа "здесь барьер, всё что задано до него - завершить". В частном случае, sync после umount не должен был вернуть управление, пока не сбросил весь грязный кэш. Если для этого нужен другой sync - ok, но предоставьте.

Зюки

Sat, 19 Sep 2009 18:59:32 GMT

А вот как диагностировать, кто виноват в том, что Firefox и Seamonkey одинаково выводят вместо греческих букв зюки какого-то неизвестного мне алфавита? (Уточнение: фря, 7.2)

Захотелось в Erlang'е множественных очередей. Или приоритетных.

Thu, 17 Sep 2009 18:43:19 GMT

Ибо когда A посылает толстый поток данных на B, B - на C, C захлёбывается и просит B прикрутить краник - посылать сообщение об этом бессмысленно. Нормальным ходом оно дойдёт чёрт знает когда, а выбирать по маске с линейным перебором очереди - прямой способ убить всё вокруг нагрузкой.

Все альтернативные способы кривы. Прокси-процесс с flow control - лишняя нагрузка на пересылке. Самым разумным показалась эмуляция глобальной переменной через специальный процесс и gen_server:call() к нему на каждые 100-1000 обработанных сообщений. Главное, чтобы этот процесс не сдох сам от нагрузки.

Ну и как это называется? ;(

Какая смешная штука этот ваш Oracle.

Thu, 17 Sep 2009 08:52:25 GMT

INSERT WHEN NOT EXISTS (SELECT an_address FROM active_nodes WHERE an_address='10.0.7.141:5061') THEN INTO active_nodes (an_address, an_env, an_expires) VALUES ('10.0.7.141:5061', 2, PORTA_COMPAT.NOW() + NUMTODSINTERVAL(600,'SECOND')) SELECT NULL FROM DUAL;

вот кому и зачем тут этот последний SELECT мусора из ниоткуда.

Грабли привычные, традиционные

Thu, 27 Aug 2009 06:34:34 GMT

< href="http://www.rsdn.ru/forum/cpp.applied/3517122.aspx">на которые наступают снова и снова</a>.

to quote or not to quote

Sat, 11 Jul 2009 19:59:33 GMT

Про грамматизьму в IETF я уже говорил, но, видно, мало. Только что нарвался с RFC2617.

Пусть параметр в открытом виде выглядит так: a"b
Как quoted-string в заголовке Authorization он будет выглядеть так: "a\"b"

Передавать же в вычисления response надо так: a\"b
(то есть снять только крайние кавычки, внутренность параметра не менять)

Возникает простой логичный вопрос: quoted-string допускает квотинг любого символа, то есть та же строка могла быть записана и как "\a\"\b", и как "\a\"b", и всеми аналогичными вариантами. И какой из них передавать в вычисления дайджеста, и почему?

коммит

Fri, 26 Jun 2009 14:27:28 GMT

commit 7d319d801dc7ced3bbd1c7b66034bc124c4bde0c
Author: Valentin Nechayev <netch@*******>
Date: Fri Jun 26 17:19:07 2009 +0300

Hypervisor: functest 2 - for functest style 2.

(Recursion: see Recursion.)

яйцо в утке, утка в зайце...

Thu, 28 May 2009 05:53:31 GMT


Author: jamie
Date: Wed May 27 14:11:23 2009
New Revision: 192895
URL: http://svn.freebsd.org/changeset/base/192895

Log:
  Add hierarchical jails.  A jail may further virtualize its environment
  by creating a child jail, which is visible to that jail and to any
  parent jails.  Child jails may be restricted more than their parents,
  but never less.  Jail names reflect this hierarchy, being MIB-style
  dot-separated strings.

Не знаю, насколько полезно, но выглядит очень круто:)

порт или не порт?

Wed, 27 May 2009 20:47:29 GMT

Коллега уже несколько дней заводит машинку на Cell'е. При загрузке она пишет на консоль вполне разумные слова и понимает команды, но затем при запуске ядра начинает писать мусор. Зовёт на помощь подумать.

Рассматриваю странные зюки, собранные цепочками, и думаю, что это всё очень напоминает ситуацию, когда компорт переинициализировался на скорость побольше (примерно в 2 раза), а слушаем мы его на прежней скорости. Озвучиваю эту мысль.

Вписывает в yaboot.conf установку 115200 для ttyS0. Запускаем. Цепочки зюк короче и разнообразнее. Вписывает 19200. Запускаем. После критического места продолжается нормальный читаемый рассказ (стартовые скрипты, отсутствующие конфиги, и прочая и прочая). Пляшем джигу.

Говорю что-то в стиле "это элементарно, Ватсон". И тут мне объясняют, что никакой это нафиг не компорт. Это виртуальный последовательный порт по ethernet'у с участием IPMI.

Давно я в таком ах... ошеломлении не был... Оказывается, таки да - оно пытается эмулировать все свойства порта включая скорость, и несоответствие скоростей приводит к потокам искривлённых байтов. Причём не у всех - мне тут же привели пример Tyan'овской матери, на которой в одну сторону (наружу) настройка скорости не влияла, а в другую (внутрь) влияла, и оно могло чего-то выводить, но не принимать ввод.

Пламенный привет интелу и бимерам.

firefox, картинки и загрузка скопом

Mon, 25 May 2009 18:14:08 GMT

У firefox (2-го, по крайней мере) что-то сильно клинит между окнами/табами (тредами?) при загрузке картинок. Характерно наблюдать netstat'ом скорость загрузки на комплекте из ~40 табов, когда он подымается по restore previous session. Вначале скорость крайне неравномерна, резко прыгая от 0 до пика канала, но в основном держась в районе 1-3KB/s. Затем давка в дверях заканчивается, и начинается период ровной загрузки на полный канал, насколько осилит, и так пока не выбрано основное содержание. Зато в начальный период может успеть умереть до трети загрузок, по "remote not responding" (а скорее всего запросы даже не были отправлены). Так как редкая страница сейчас обходится без картинок - эффект устойчив.

Интересно, firefox3 повторяет это или нет? Проверять жалко (уже ведь загрузилось много;))

дыбр апгрейдный

Sun, 10 May 2009 18:27:56 GMT

Переход домашней фряхи с 6.4 на 7.2 прошёл почти безболезненно, кроме следующего:

- иксы 7.4 не запускались с нормальной диагностикой пока не обнаружил, что у них проблема с пониманием старого ~/.Xauthority (!) Разумеется, никакие логи этого не показали, пока не был убран весь .xinitrc - тогда кто-то начал плакаться в цикле на его формат.

- драйвер звука вообще потерял возможность что-то знать про его входные устройства (mic, line in). прямо хоть под линукс переключайся.

А ещё я "обожаю" firefox. 2-й поставлен и запущен. Поставил 3-й рядом, запускаю. Запускается морда 2-го. Берётся ktrace, изучается отчёт под микроскопом - нигде нет слова про 2-й. Вывод - оно присоединилось к тому что в памяти и запросило его открыть окно:( Опция смены профиля этому не помешала. Вспоминается рассказ Вагнера про неумение современных средств работать совместно.

CapsLock как переключатель клавиатуры на Windows

Sat, 09 May 2009 12:12:43 GMT

Тема известная (просто нагуглив можно получить и монстров типа Punto, и лёгкий keyla, и простой как угол дома lswitch), но захотелось получить вариант как у меня на Unix - Caps переключает между английским и русским, а Ctrl+Caps - между русским и украинским.

Пока идеально не получилось: [UPD] на FAR какие-то странные эффекты. Впрочем, и там можно через родной переключатель (как Ctrl+Shift) выбрать любую.

Текущие результаты (исходник и экзешник). Исходник - слегка замученный lswitch.c от Haali. Caps крутит раскладки по кругу вперёд, Ctrl+Caps - назад. Командная строка с 'q' убирает резидент, с '3s' запускает в моём любимом режиме, в любом другом случае пытается ставить с переключением по кругу.

Уже удобнее, чем в Putty, и Caps тоже можно включать (имитируя блондинку;))

Страусов не пугать - пол бетонный

Thu, 07 May 2009 19:24:02 GMT

4> <<P:32/big-float>> = <<63,128,0,0>>.
<<63,128,0,0>>
5> P.
1.0
6> <<P:32/big-float>> = <<127,128,0,0>>.
** exception error: no match of right hand side value <<127,128,0,0>>
7> <<P:32/big-float>> = <<127,128,0,1>>.
** exception error: no match of right hand side value <<127,128,0,1>>

в команде 6 я пытался расшифровать +INF, 7 - +NAN(1)

А вот что пишет ползучий питоний:

>>> struct.unpack('>f', '\x7f\x8f\x00\x00')[0]
nan
>>> struct.unpack('>f', '\xff\x8f\x00\xff')[0]
nan

"это не число, и к дьяволу подробности!"
Зато хоть создавать не запрещает:

>>> a = float('nan')
>>> a
nan
>>> -a
nan

и на том спасибо.

[erlang] Сапожник без сапог

Mon, 04 May 2009 17:00:13 GMT

С тем, что нельзя открыть файл-устройство, уже столкнулись (отвечает eisdir'ом, хотя совсем не каталог). В рассылках нашлось обоснование - мол, "а что если оно заблокируется на ожидании?" (я вообще-то /dev/urandom пытался открыть, и это мои проблемы, если что-то заблокируется). А сегодня новое. Цитирую коллегу...

Я обнаружил интересную фичу: если файл открыт с опцией compressed, то
file:position/2 за пределы файла напрочь завешивает всю е-ноду вплоть до
момента, пока кто-то не допишет в этот файл нужное количество данных. При
этом нет разницы, зазипован ли файл на самом деле. А ведь единственный
способ узнать реальный размер зазипованных данных - это поблочно прочесть
его весь до eof`а!!!

Интересно, сколько ещё таких недопараллельностей таится в "параллельной" среде...

tokyo cabinet

Fri, 20 Mar 2009 08:14:06 GMT

Издеваемся оптимизацией параметров для таблицы tokyo cabinet:

tcbtest write -rnd -lc 1024 -nc 512 ~/tmp/test.tcb 2000000 1000 1000
[...]
time: 86.647 (23Kinserts/sec)

tcbtest write -rnd -lc 1536 -nc 768 ~/tmp/test.tcb 2000000 1000 1000
[...]
time: 34.053 (59Kinserts/sec)

tcbtest write -rnd -lc 2000 -nc 1000 ~/tmp/test.tcb 2000000 1000 1000
[...]
time: 7.430 (270Kinserts/sec)

tcbtest write -rnd -lc 4000 -nc 2000 ~/tmp/test.tcb 2000000 1000 1000
[...]
time: 6.550 (305Kinserts/sec)

tcbtest write -mt -cj -tl -lc 100000 -nc 1000000 -ca 1000000 -nl -rnd ~/tmp/test.tcb 10000000 1000 1000 100000
[...]
time: 21.857 (457Kinserts/sec)

вот что-то приличное, а если не подстроить - происходит экспоненциальная потеря производительности.

Егор - а ты можешь подсказать, как mysql подкрутить (ключевые слова)?
Хочется чего-то сравнимого хотя бы до порядка, а 8Kinserts/sec меня не радует.

Имитационная обстановка - тупая таблица типа

CREATE TABLE `log` (
`l_when` int(11) default NULL,
`l_node` int(11) default NULL,
`l_object` int(11) default NULL,
`l_data` varchar(127) default NULL,
KEY `l_now` (`l_node`,`l_object`,`l_when`),
KEY `l_onw` (`l_object`,`l_node`,`l_when`)
)

с заполнением последовательными для l_when и рандомными для l_object и l_node.

преимущества message passing

Thu, 12 Mar 2009 08:41:03 GMT

Пожалуй, можно окончательно сформулировать: написание параллельного выполнения на message passing ничуть не проще (а часто и сложнее), чем на общей памяти с традиционными мьютексами, условными переменными и прочей соответствующей атрибутикой. Но это увеличение затрат не в разы и предсказуемо. А вот то, что при таком подходе реально упрощается - это возможность сделать так, чтобы у каждого участника спросить (послав ему соответствующее сообщение) - "а на чём ты задумался и почему?" и, может быть, "плюнь на это, очистись от данной операции и иди дальше" - по сравнению с "ждём освобождения, освобождения нет, кто занял и почему - ХЗ" или тем более "память разрушена, кто разрушил, почему и как - ХЗ" - экономия времени и сил получается не только в разы, но порой и на порядки. То есть упрощается диагностика и отладка.

И вот ради этого можно писать даже на таком кошмаре, как Erlang.:)

(Если кому-то сказанное очевидно - что ж, пусть возьмёт с полки пирожок. Я предпочитаю разъяснить до глубин, на которых жупелы типа "стоимость поддержки" перестают быть Обстракциями.)

Fri, 02 Jan 2009 09:10:25 GMT

У git есть очень правильная фича - указание, что именно из текущих изменений рабочей копии надо включать в коммит (не до уровня файлов, а внутри файла) - можно разобрать по отдельным микропатчам и задать включаемые.

Но ни один туториал и ни один пользователь вживую из тех, с которыми я общался, не был способен правильно это назвать и объяснить - все ужасно косноязычно рассказывали про "индекс" и "git работает не с файлами, а с содержанием".

Об относительности

Wed, 24 Dec 2008 20:48:57 GMT

Тот, кто думает, что в LISP'е слишком много скобок, никогда не писал на m4.

разочарования

Fri, 19 Dec 2008 08:20:56 GMT

- Функция loop получает кучу параметров, внутри неё if, и только в одной ветке
надо поменять значение одного параметра, а в остальные он должен прийти
неизменённым. Как это удобно сделать?
- Вызови в этом месте loop() с новым параметром и заверши работу.
- Но у меня дальше большая общая часть работы.
- Вынеси её в отдельную функцию, вызови loop() из неё.
- Это неудобно. Почему бы не сделать что-то вроде Xout=ifdef(X1, X1, X),
loop(...,Xout)?
- Ты хочешь неправильного. Здесь делают именно так.

- Как это нормально делается? Я же не могу отдать параметр обратно.
- Сложи его значение в ets.
- Но это уже побочный эффект, это неправильная практика. Надо избавляться
от побочных эффектов.
- Здесь делают так.
- Но ets дорого, и неуникально. Я не могу изобретать атом для каждого
процесса, они плодятся по одному для внешнего объекта согласно конфигурации.
Почему бы не использовать словарь процесса?
- Это неправильно. Словарь процесса - костыль, его скоро отменят.
- Но ets - такой же костыль, причём менее удобный, потому что надо использовать
левые сущности вроде имён-атомов.
- Здесь делают так.
- Почему я не могу использовать в качестве идентификатора таблицы текстовую
строку?
- Здесь так не принято.

- Мне нужно сделать общий репозиторий, в который все будут складывать свои
изменения.
- Ты хочешь неправильно. Это распределённая система.
- Я и использую её как распределённую. Каждый тащит изменения к себе, делает
что хочет в любом количестве своих копий и репозиториев, затем, когда решил,
что всё окончательно правильно - делает push.
- Ты хочешь неправильно. Каждый должен коммитить в свою ветку в центральном
репозитории. Дальше у него остальные забирают изменения.
- Я не хочу разводить бардак, особенно когда таких источников будет два
десятка. Каждый обязан влить свои изменения и за это отвечает.
- Ты хочешь неправильно. Здесь так не делают. Приходи, получай ченжсеты
от своих сотрудников и вливай это в общий репозиторий, есть стандартная
поддержка приёма и применения по почте и иными средствами.
- Мне надо чтобы они это делали сами. И это неудобно ещё по целому ряду
параметров - например, надо держать на сервере полный шелл.
- Ты хочешь неправильно. Это распределённая система.

- Если я хочу один репозиторий, но две рабочих копии?
- Ты хочешь неправильно. Это распределённая система. Каждая рабочая копия
получает полную копию репозитория со всей историей.
- Я не хочу каждый раз переливать между двумя репозиториями у себя в home.
- Ты хочешь неправильно. Это распределённая система.

- Лог коммитов сортируется по дате исходного коммита. Если кто-то поставил
дату коммита 70-м годом, его будет очень долго и нудно искать.
- Да, дата коммита и авторство не меняются при слиянии.
- Тогда почему у коммита нет нескольких дат и авторов? Ведь тот, кто влил
набор изменений, тоже сделал существенное действие, которое должно быть
отражено. Он выбрал источник вливания, он выбрал набор изменений.
- Ты хочешь странного.

Python, 3000?

Mon, 08 Dec 2008 21:23:20 GMT

Я вот одного не пойму со всем этим - куда и зачем они спешат с обновлениями.
Что-то вводится в 2.6, и становится единственным вариантом в 3.0. Это вместо того, чтобы:
- стать допустимым в 2.6.
- стать дефолтом в 3.0.
- стать единственным в 3.1.
или ещё медленнее (три переходных).
Сейчас поставщики разных дистрибутивов начнут активно впихивать 3.0 везде. Это при том, что на дворе ещё дофига 2.4 и даже 2.3. После перехода будет совсем другой язык, многие вещи несовместимы и любая серьёзная программа требует переписки.

Для сравнения - majordomo работает под Perl 5.8, при том, что код писался под Perl4.

И что вместо reload() теперь? (это я уже, наверно, торможу к вечеру)

судьба softupdates

Mon, 08 Dec 2008 18:33:56 GMT

Нет неошибающихся программистов, нет программ без ошибок. Редкие
исключения вроде TeX не нарушают это правило и даже подтверждают тем, что
эти ошибки были. Что делает нормальный программист, который знает, что он
ошибётся и хочет как можно быстрее и удобнее найти и устранить последствия
этого? Он строит тесткейсы и разнообразные проверки в рантайме: как
минимум жалобы на нарушение инвариантов. Он добавляет отладочную печать и
даёт ручку для регулировки её уровня и состава. Он даёт сбор статистики и
возможность анализа этой статистики на предмет устойчивости и
осмысленности работы. Он даёт удобную регулировку использования своего
кода, если без него можно обойтись.

Но если код добавлен, работает плохо, а его автор не желает ничего реально
сделать, чтобы он нормально работал, и не предоставляет никаких средств
для диагностики, локализации и устранения проблем? В христианстве это
называется "гордыня", а на луркоморье - ЧСВ, чувство собственного величия:
человек думает о себе существенно лучше и значительнее, чем он есть, и
действует исходя из своего самомнения.

Судьба softupdates - отличный пример воздействия гордыни на результат.
Неплохая и полезная технология убита качеством реализации и заморочкой на
непогрешимость её автора, при непригодном к сопровождению и отладке коде:
- Включение и выключение требует сложных манипуляций с перемонтированием.
- Код ведёт свою ничем не управляемую жизнь. Даже обычный sync на него
не действует, хотя, казалось бы, что может быть проще.
- Рантайм-статистики нет.
- Средств рантайм-диагностики нет (даже просто снять список задержанных
микроопераций с их таймаутами и зависимостями). Так называемые опции
DIAGNOSTICS и DEBUG включают дай бог чтобы 2% необходимых проверок.
- Самоконтроля нет.
- Даже заготовок для подключения всего вышеперечисленного нет, из чего
можно сделать однозначный вывод - если автору потребуется что-то
диагностировать, ему придётся всё вписывать с самого начала.
- Код предельно сложной подсистемы (у которой и собственные нетривиальные
структуры и соотношения данных, и работа в условиях сложной ядерной модели
данных, и работа с нижними уровнями, у которых собственная сложная логика)
написан предельно неструктурно (не в смысле функций, но в смысле блоков и
подсистем). О том, что код такого типа всё-таки можно так писать, чтобы
выделять и тестировать основные блоки ещё до запуска программы - автор
представления не имеет.

Ничего удивительного, что за уже 10 лет практического развития данной
технологии количество отрицательных отзывов о ней не меньше количества
положительных, а сторонники метода журнала метаданных получают выгодные
для себя сравнения на пустом месте.

Хотел бы я обойтись тут без комментариев про определённые личные качества
автора данной реализации, но когда его ближайший друг уже 20 лет всеми
силами избегает элементарного рефакторинга там, где слои реализации
громоздятся друг на друге уже в 4-5 слоёв и отдельные части может понять
только тот, кто работает с этим уже лет десять - не могу обойтись.;)

P.S. А самая большая фигня тут в том, что в соседнем лагере ничуть не
лучше.

мелкий питоновый хинт

Thu, 20 Nov 2008 15:09:03 GMT

print list(s) в питоновом шелле - удобный способ понять, как же строка распарсилась:)
Со строками вида \"([^\r\n\"\\\\]|\\\\[^\r\n])*\"" это жизненно важно.

freetim

Sun, 28 Sep 2008 05:47:27 GMT

А что, до сих пор нет opensource аналога The Incredible Machine?