maxcom

Снег! Хорошо новые колесики для роликов я так и не купил, надеюсь в этом году нужды в них не будет :-)

Ковырял тут индексирование постгрессом текста на большом потоке поступающих данных. GIN-индекс строится безумно долго, при этом его постоение упирается исключительно в запись на диск. При этом скорость записи выходит не большой, видимо из-за большого количества random seek, однако utilization 100% (кстати это наводит на мысль что выделенный под индекс SSD-диск может сильно помочь). Тюнинг постгресса не очень помогает. GiST индекс стоится радикально быстрее (и при этом скорость записи на диск выше). Расказы на PostgreSQL.org о разнице в 10 раз кажутся оптимистичными, на глаз разница в скорости раз в 50. Осталось только протестировать скорость поиска (напишу про это если кому-нибудь интересно :-)

Видимо правильная схема состоит в наличии двух индексов - GiST с новыми добавлениями, GIN с архивом и отдельный процесс который бы перекладывал из одного в другое. Ну, это, конечно, если загрузка вообще позволяет построить GIN-индекс быстрее чем данные уйдут из базы :-) Хотя надо реально попробовать, может нас устроит время поиска по GiST-индексу

PS: постиг индексы с условиями, они позволяют заметно ускорить запросы при плохом распределении данных в столбцах

Ура, белые мухи!

Btw, а никому случаем не нужен попутчик в коттедж на беговые лыжи в Финляндии этой зимой/весной? Машины нет, в еде/катании могу быть самодостаточным, могу присоедениться к компании.

Еще думаю на тему Rajalta Rajalle. В прошлом году в Руке я каждый день бегал по 40-45км, вроде больше и не нужно было (хотя это на одном чае, с кафешкой уже в самом конце перед коттеджем). Тут надо бежать по 60, один день 87км. Уверенность в способности/неспособности пробежать такой маршрут у меня появится только в феврале, а тут нужно решать уже сейчас...

Утка, Серебряный Бор, Москва, август 2009

Сходил на скалодром первый раз в этом году. Теперь все болит :-) Сначала даже что-то получалось, но потом огранизм совсем отказал и перестал лезть даже простые стенки. И еще наверх лезть страшно, но я себя обманул сняв очки

Надо, надо ходить (по крайнем мере пока не выпадет снег :-)

Бауманка радует - там ничего не изменилось, вход 150р, умеренное количество народа (благодаря чему можно налазиться по полной программе всего за час), беговой круг. Проката нет, и это хорошо.

Lenspen (это такая палочка для очистки оптики фотоаппарата) на Савеловском предлагают за 750р, продают за 500р. На ebay - $6 с доставкой в Москву. От жадности взял два, т.к. они вечно теряются в неподходящий момент.

Тюнил полнотекстовый поиск по lor (пока еще не затюнил до конца). PostgreSQL умная база, ее разуму можно доверять. Однако иногда вылезает жуткая тупизна оптимизатора, которую приходится обходить бесчеловечными извратами. Надо будет попробовать 8.4

Буду на HighLoad++

Настя и Фёдор, июль 2009

http://habrahabr.ru/blogs/infosecurity/70330/

С git, кстати, все еще красивше :-)

Цапля, Серебряный Бор, Москва, июль 2009

Фёдор, август 2009

Красота: http://www.dpreview.com/previews/canoneos7d/. Интересно сколько $$$$ захотят, чую не просто так они сменили нумерацию с двухзначной на однозначную :-(

Update: Preorder на Amazon - $1700. Могло быть и хуже.

Хочу поделиться одним довольно интересным deadlock'ом, на который я уже дважды наступил на linux.org.ru.

Предыстория такова. Для доступа к БД мы используем пул соединений, ограниченого размера. Пул устроен таким образом, что при недоступности запрос встает в очередь в ожидании свободного соединения.

Скрипты, генерирующие страничку обычно где-то в начале получают Connection, потом в конце его отдают. В новый скриптах это делается в контроллерах, в старом бардаке - прямо в коде JSP (но там мы используем большие буфера чтобы предотвратить Slow Lori атаки на соединения БД). Код работы с БД довольно запутан и размазан по исходникам.

В первый раз deadlock выглядет так - редко, наверное пару раз в месяц сайт полностью умирал. Все запросы висели в ожидании соединения к БД, все активные соединения висели в idle, БД и система были совершенно не загружены. Классическая картина "утечки" соединений, однако код был многократно исследован на эту тему - вся работа с БД была обернута в try { ... } finally, в котором соединение закрывалось. Никаких статических буферов для соединений к БД у нас нет. Принудительный вызов сборки мусора ситуацию не лечил.

Второй раз deadlock проявлялся сильнее, поскольку ошибка была сделана в скрипте генерирующем главную страницу - сайт после deploy'я жил несколько минут, после чего лочился.

Собственно причина лока была успешно установлена еще в первый раз, предлагаю читателям самостоятельно догадаться о причине (в github не смотреть :-)

Единственное уточню:

1) Пулы соединений предоставляет сервер приложений (tomcat), они работают корректно
2) Действительно вся работа с БД обернута в try { .. } finally, все что получается из пула туда обратно возвращается по окончанию скрипта
3) Все учавствующие в дедлоке запросы к БД работают довольно быстро, "перенагрузки" системы, БД и ввода вывода нет. Однако скорость возникновения лока напрямую зависит от популярности страницы, на которой сделана ошибка
4) Deadlock возникал не в следствии каких-то DoS или других "вредоностных" действий пользователей

Кстати я таки опробовал сервис печати фотокниг Blurb.com.

Собственно испробовать хотел давно, но в мыслях были какие-то глобальные проекты, содержащие фотографии, текст, карты и т.п., так что макет удавалось разработать не более чем на треть - дальше интерес угасал :-)

В этот раз я просто взял фотографии с поста "2008-й год в фотографиях" и самый простой шаблон книги - по фотографии на странице на черном фоне. Фотографии особо не готовил - экспортировал из Lightroom под размер страницы с шарпингом под матовую печать (фотографии были обработаны ранее)

Печатал в самом дешевом варианте - на простой бумаге с мягкой обложной. В результате получился небольшой такой журнальчик. С цветами не накосячили, напечатали как надо. В следующий раз буду заказывать на толстой бумаге, посолиднее будет.

Итог порадовал - такой вид печати дешевле фотоальбома и удобнее - "книжка" тонкая и весит мало, ее не напрягает прихватить с собой. При необходимости легко заказать второй экземпляр. Думаю буду делать такие альбомчики с фотографиями с отпусков.

Mini Inferno, июль 2009

Поучаствовал в роллерской покатушке по центру Москвы. Мероприятие не шибко спортивное - 20км за 3 часа, однако при моем уровне езды по городу быстрее и не нужно - было много возможностей повысить технику прохождения городских препятствий. На спуске внизу Косыгина тормозил так что аж ногу начало сводить. Чую если буду продолжать то ждет меня еще одна замена колес в этом году - T-stop ест их сильно.

Организация на высоте - инструктаж перед стартом, наличие замыкающего, перекрытие перекрестков. Честно говоря я ожидал большого бардака :-) Темп рваный - быстая езда плюс туп-стопы, массовое посещение толпой маленьких магазинов.

Ночная Москва красива.

Трек и телеметрия: http://connect.garmin.com/activity/10456355

Фламинго, Московский Зоопарк, май 2009