Архив ‘Ruby’

Factory girl: extract_factories

19 мая 2009, Вторник

Все наверное слышали о фабиках от Thoughtbots, а кто не слышал услыште.

Ставим все очень просто:

 gem install thoughtbot-factory_girl --source http://gems.github.com

А дальше курим доку и радуемся жизни.

О птичках, наваял тут скриптец для построения фабрик, который достаточно скопировать себе в директорию lib/tasks/

Использовать:

rake db:extract_fixtures

Генерит туповато но иногда полезно, особенно когда большой список аттрибутов у модели.

shoulda: running concrete context

5 мая 2009, Вторник

Многие Rails разработчики уже используют shoulda - замечтельный  BDD фреймворк от команды thoughtbot, как альтернативу rspec, например.

Сам фреймворк - это надстройка над UnitTests.

При разработке с  UnitTests часто возникает необходимость запустить отдельный тест и посмотреть результаты. Но как быть с shoulda - ведь названия тестов здесь это обычные текстовые предложения, которые формируются с учетом контекста теста и контекстов в котором тест находится. Например:

require File.dirname(__FILE__) + '/../test_helper'
require 'shoulda'

class ArticleTest < Test::Unit::TestCase
  fixtures :all
  context "On create" do
    should "create article if all params ok" do
      article = Article.new( :title => "shoulda rocks", :body => "Try it")
    end
    should "require title" do
      article = Article.new(:body => "That article wouldn't be published")
    end
    should "require body" do
      article = Article.new(:title => "Where is my body?")
    end
  end
end

В таком случае shoulda сгенерит следующие тесты:

test: On create should create article if all params ok
test: On create should require title
test: On create should require body

Пока у нас не много тестов все ок. Но если у нас большое количество контекстов, например, On Create, On  Update, On Destroy и т.д.? И мы хотим выполнить определенный контекст для того чтобы понять где именно проблема.

Для этого воспользуемся возможностью UnitTests запускать отдельные тесты с ключем -n

Test::Unit automatic runner.
Usage: test/unit/shop_test.rb [options] [-- untouched arguments]

    -r, --runner=RUNNER          Use the given RUNNER
                                 (c[onsole], f[ox], g[tk], g[tk]2, t[k])
    -n, --name=NAME              Runs tests matching NAME.
                                 (patterns may be used).
    -t, --testcase=TESTCASE      Runs tests in TestCases matching
                                 TESTCASE. (patterns may be used).
    -I, --load-path=DIR[:DIR...] Appends directory list to $LOAD_PATH.
    -v, --verbose=[LEVEL]        Set the output level (default
                                 is verbose). (s[ilent],
                                 p[rogress], n[ormal],v[erbose])
        --                       Stop processing options so that the
                                 remaining options will be passed to the
                                 test.
    -h, --help                   Display this help.
Deprecated options:
        --console                Console runner (use --runner).
        --gtk                    GTK runner (use --runner).
        --fox                    Fox runner (use --runner).

Как показывает нам справка, параметром ключа -n может быть любое регулярное выражение. Например, команда:

ruby test/unit/article_test.rb --name="/test:(.*)On create(.*)/"

запустит на выполнение только тесты из контекста On create.

Вот так вот.

MySQL MyISAM + rails tests = bugs

29 апреля 2009, Среда

Пришлось мне на днях потюнить MySQL. Решил попробовать разные конфигурации на предмет максимальной производительности по моим задачам. Нарыл ряд статей по  улучшению производительности. Лучше всего ИМХО написано было сдесь.

Пред история. Сразу скажу что запросы у меня простые и короткие. Пара селектов по индесированым полям + инсерт + апдейт. Ничего сложного. Но! В один прекрасный момент СУБД просто брала и начинала жрать все ресурсы процессора как локально так и на продакшин сервере. Однодневный инвестигейт показал интересную вещь. После инсерта происходит перестрой индексов данной таблицы, что само по себе требует ресурсов процессорного времени и это время прямо пропорционально количеству записей в таблице. Таким образом, если мне нужно много циклов записей/селектов подряд то время каждого цикла начинает расти. И у меня оно дошло до 1го цикла в секунду. Это при том что мне нужно это сделать 300к-500к раз. Посчитав примерно во что мне это обойдется вышло что весь цикл будет длиться с недельку. Это естественно ни в какие рамки не лезет.

Посему начал рыть. Сначала в сторону тюнинга СУБД. В целом добился прироста производительности гдето на 10%. Но проблема как обычно была не в СУБД. Т.е. как-бы в СУБД но не в СУБД. В общем это не самое интересное.

Самое интересно это то, что вовремя тюнинга я настроил все базы на использования движка MyISAM. И тут начались спец-эффекты. Упало ряд тестов. Анализ кода ничего не показал. Анализ фикстур, откаты изменений (я работаю в команде посему начал грешить на последние комиты) все это ни к чему не привело.

Начал думать (гуглом). Как оказалось тесты в рельсах работают (в основном) в режиме транзакций. Т.е. каждый тестовый случаю выполняется как транзакция, которая потом (после выполнения тестового случая) откатывается. Теперь о MyISAM, как извесно этот движек не поддерживает транзакций, поэтому ряд тестов модифицируют данные необратимо. С этим и были связаны глюки. Кроме того, глюки будут также если у вас есть модифицирующие хранимые процедуры.

Вердикт. Для тех кто использует MySQL в тестовых версиях используйте движек InnoDB, иначе могут выпасть очень даже интересные глюки. Или используйте PostgreSQL.

Rails + Populator + Faker

29 ноября 2008, Суббота

Часто в процессе разработки сайта на Rails нужно быстро создать много данных, например для тестирования пажинатора.

Можно написать rake задачу, можно добавлять вручную. В любом случае тяжело гарантировать приближенность к реальности вводимых данных. Например, выдумывать 1000 электронных адресов, фамилий и т.д. это не шутка.

Чтобы сэкономить время рекомендую воспользоваться библиотекой populator.

Ставим:

  gem install populator 

Используем. Например, нам нужно добавить в базу 3000 записей о пользователях

  User.populate(3000) do |user|
    user.first_name = “Tony”
    user.last_name = “Stark”
  end

В целом неплохо. Но как, то не очень хорошо, что у нас в базе 3000 железных людей. Нам бы разнообразия.

Для этого есть еще одна чудная библиотечка faker. Ставим:

  gem install faker 

Теперь перепишем наш пример, добавив пару дополнительных полей и оформив в rake задачу, чтобы удобно было запускать, например в production:

  require ‘populator’
  require ‘faker’

  require ‘rake’
  require ‘rake/testtask’
  require ‘rake/rdoctask’

  require ‘rubygems’
  require(File.join(File.dirname(__FILE__), ‘../../config/environment.rb’))

  namespace :populate do
     desc “Add test data”
     task(:users) do
       User.populate(3000) do |user|
         user.first_name = Faker::Name.first_name # генерирует Имя
         user.last_name = Faker::Name.last_name   # Фамилию
         user.email = Faker::Internet.email       # мыло
         user.login = Faker::Internet.user_name   # логин
         user.phone = Faker::PhoneNumber.phone_number # номер телефона
         user.about = Faker::Lorem.paragraphs( 5 ) # О себе – 5 параграфов
       end
    end
  end

Теперь у нас в базе в любой конфигурации может быть 3000 пользователей с совершенно разными данными. Очень удобно. Сокращает время, и появляются дополнительные возможности тестирования.

Graphicoolus - сервис построения графиков

27 ноября 2008, Четверг

Недавно был открыт простенький сервис построения графиков и диаграмм - Graphicoolus.

Сервис предоставляет возможность строить графики нескольких видов - собственно график, гистограмма, круговая диаграмма и пузырьковая диаграмма.

Создание осуществляется в несколько простых интуитивно понятных шагов, после выполнения которых получаем код для встраивания графика в страницу Вашего сайта.

И на последок пример графика созданного с помощью данного сервиса:

Кому интересно испытать сервис в работе кликаем сюда.

Строим графики и диаграммы с open flash chart

22 октября 2008, Среда

Очень часто возникает необходимость каким-либо способом визуализировать данные, например в виде графиков и диаграмм. В такой ситуации на помощь может прийти плагинчег - open flash chart.

Ну и для начала установим его:

ruby script/plugin install http://svn.pullmonkey.com/plugins/trunk/open_flash_chart/

После нужно скопировать файлик open_flash_chart.swf в path/to/your/app/public/ и файлик swfobject.js в  path/to/your/app/public/javascripts.

Данный плагин сводит до минимума роботу программиста, поэтому не буду изощряться примерами и просто оставлю ссылку, где все и так видно. Кому интересно жмем сюда

composite primary keys

2 октября 2008, Четверг

Дело в том, что Ruby on Rails не поддерживает составные первичные ключи. Но эту проблему можно решить с помощью гемки composite_primary_keys.

И ставим gem:

  gem install composite_primary_keys

Модель с составным первичным ключем будет выглядеть следующим образом:

  require 'composite_primary_keys'

  class Probability < ActiveRecord::Base
    set_primary_keys :row, :col
  end

И напоследок несколько примеров использования:

  Probability.primary_key # => [:row, :col]
  Probability.primary_key.to_s # => "row,col"
  Probability.find(1,1) # => <Probability row: 1, col: 1, val: 17>
  Probability.find [1,1],[1,2] # => [<Probability row: 1, col: 1, val: 17>, <Probability row: 1, col: 2, val: 19>]
  Probability.find(:first).to_param # => "1,1"

ferret - Полнотекстовый поиск в вашем сайте

27 сентября 2008, Суббота

Создание поиска по сайту задача частая и тривиальная. В Rails в основном осуществляется поиск по информации, которая хранится в моделях. Для этого в ActiveRecord есть метод find. Существует масса примеров как можно осуществлять поиск при помощи этого метода. Но у него есть существенный недостаток. На самом деле это обертка вокруг SELECT запроса, поэтому если ваш поиск сложнее чем просто выборка этот метод вам не подойдет. Кроме того, простой find имеет существенный недостаток - скорость. Если Вы используете MySQL, можете переключиться на MySQL full text search - лично я не пробовал но блоги пишут, что сильно ускоряет. Решение плохое так как привяжет вас к СУБД, что не есть очень хорошо.

Для организации эффективного и самое главное быстрого поиска применяются так называемые индексные сервера. Жависты имеют в своем арсенале Lucene - неплохой движок для полнотекстового поиска. Лопатит миллионы строк и возвращает очень даже приемлемые результаты.

Но наряду с позитивом есть и негатив. Lucene - написан на жаве и для того чтобы его использовать нужно поднимать на сервере жаву, Tomcat и т.д. В принципе ничего сложного, тем более есть мануалы.

Но есть альтернатива! ferret - библиотека для полнотекстового поиска написана на Ruby.

Инсталлируем

 gem install ferret

Правда просто? ИМХО gem - гениальная вещь.

Но, есть одно маленькое НО. Для успешной установки ferret на Win32 необходимо иметь в наличии компилятор С/С++. Я воспользовался для этого VC++ 6.0. Для того чтобы все прошло гладко, необходимо настроить пути компиляции( переменные окружения LIB, INCLUDE, PATH).

Используем совместно с ActiveRecord в RubyOnRails

Для того чтобы все было гладко есть плагин - Acts as Ferret. ( Правда этот плагин доступен также и как gem ).

Ставим плагин

script/plugin install svn://projects.jkraemer.net/acts_as_ferret/tags/stable/acts_as_ferret

Используем в моделях

Вписываем в модель такой код:

class Foo &lt; ActiveRecord::Base
   acts_as_ferret
end

Тоже не сложно. После такой записи у вас будет доступен следующий синтаксис:

 Foo.find_with_ferret("запрос")

Кроме того ferret создаст директорию index в Вашем проекте, в которой создаст также поддиректории конфигураций запуска (test, development, production). В этих директориях ferret и будет сохранять индексы. Для каждой модели будет создано свою поддиректорию.

Индексом можно управлять. По умолчанию добавление/удаление данных в модели провоцирует обновление индекса. Кроме того Вы сами можете настраивать, что отображать в поиске а что нет. Для постраничного вывода также существует ряд параметров поиска (limit, page).

Это конечно только вершина айсберга использования ferret, завесу понимания приоткроет чтение документации.

Вот и все. Будут вопросы - пишите.

CSV with Ruby

22 августа 2008, Пятница

Если стоит задача работы с csv(Comma Separated Values) файлами на помошь может прийти замечательная гемка fastercsv. Ставится она, как и все, очень просто:

gem install fastercsv

Ну и конечно небольшой примерчег кода где открывается csv файл, парситься и выводиться его содержимое в консоль:

require ‘fastercsv’

FasterCSV.parse( File.open( “example.csv” ) ) do |row|

row.each {|cell| puts cell}

end

Вот и все :)

Playing with twitter

22 августа 2008, Пятница

Почти Все знают про твиттер. Кто не знает быстро вникаем в тему. Весчь прикольная. Можно писать о том где ты и чем сейчас занят. И еще это одно из самых больших и посещаемых RoR приложений.

Вопчем как и у всех нормальных сервисов у твиттера есть свое апи. Можно юзать REST а можно и гемку, которая припрячет от вас все секреты обмена.

Ставим гемку:

sudo gem install twitter4r

Примерчег

config_file = File.join(File.dirname(__FILE__), ‘twitter.yml’)
twitter = Twitter::Client.from_config(config_file,’development’)

twitter.timeline_for(:me)do |status|

puts status.to_yaml

end

Вопчем играемсо.

Блог работает на WordPress.
Подписка RSS: все записи, комментарии.