2012年9月16日

書籍「Think Stats ―プログラマのための統計入門」読んでる

概要

Python でプログラムを書きながら、統計入門する書籍「Think Stats ―プログラマのための統計入門」を読んでいる。
読んでいる目的は、統計を初心者の人に解説する必要が出てきたため、日本語でそれなりにちゃんとした解説を読みたかったから。
この本は、「Think Stats: Probability and Statistics for Programmers」で英語版がオンライン公開されているので、英語でも問題ない人はそれを読んでも良い。

Think Stats ―プログラマのための統計入門

Think Stats ―プログラマのための統計入門

  • 作者:Allen B. Downey
  • 出版社/メーカー:オライリージャパン
  • 価格:¥ 2,100
  • AmazonAmazon.co.jp(AA)

感想

かなり丁寧に解説していて、わかりやすい。人に噛み砕いて説明する場合のヒントが沢山あり、わたしの目的には当っている。
どのレベルを想定するかにもよるが、入門と言ってもちゃんと理解するには高校基礎レベルの数学の知識は必要なので、数学知識がない人は、数学から勉強した方が良いと思われる。

2012年9月15日

Python の文字列フォーマットには format メソッドを利用するべし

概要

Python 2.6 以上を利用しているのに未だに %演算子(モジュロ)を利用した方法で文字列をフォーマットしているサンプルがネットでは出てきますが、はっきりいって古いのでやめましょう。
format メソッドを利用するべし。

format メソッドに関して

「PEP 3101 -- Advanced String Formatting」で仕様が定義されている。

サンプル

あまり丁寧ではないが、とりあえずサンプル。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import unittest


class TestStringFormat(unittest.TestCase):

    def test_basic(self):
        """基本的なサンプル
        型を意識しなくても良い
        名前付き指定が可能
        """
        a = 21
        b = 'フルマラソン'
        d = 42.195
        self.assertEqual('21日のフルマラソンは 42.195km です。',
                         '{0}日の{1}は {c}km です。'.format(a, b, c=d))

    def test_object(self):
        """クラスも使える"""
        class SampleModel(object):
            def __init__(self):
                self.id = 1200
                self.name = '永遠'
                self.age = 17

        model = SampleModel()
        self.assertEqual('永遠は17歳',
                         '{model.name}は{model.age}歳'.format(model=model))


if __name__ == '__main__':
    unittest.main()

結論

プログラミング言語は発展しているので、最新の機能は勉強して、利用するとかなり便利だったりする。
不便におもっている事は単に知らないだけ、ということも結構ある。それだと損だと思う。

2012年9月14日

Mac OS X に OpenCV と Python ライブラリを MacPorts を利用してインストールする

概要

「OpenCV」と、OpenCV の Pythonライブラリを MacPorts を利用して Mac OS X にインストールする手順。
普段は独自にビルドした物を利用しているが、それなりに面倒なので、MacPorts でインストールするとどんな感じかためしてみる。

OpenCVについて

「OpenCV」は「オープンソース(BSDライセンス)のコンピュータビジョン」ライブラリ。
「コンピュータビジョン」とは、雑に説明すれば「コンピュータの視点」ということで、OpenCV はコンピュータに物を見る力を与えるライブラリとなる。

OpenCVには500を越える機能があり、「2次元、3次元画像処理」、「認識、識別」、「情報の表示」等、様々な事ができる。
良くある「肌色率の検出」や「顔認識」なども実装することが可能。
この記事を書いている現在の最新版は、2012年7月4日リリースのバージョン2.4.2となる。

OpenCV の Python ライブラリ

OpenCV は C++ で実装されているが、公式の実装に Python ライブラリが含まれており、ほとんどの機能が Python から利用可能。

インストール

インストールの方法は「いろいろ」ある。ここでは、MacPorts からインストールしてみる。
マシンパワーにもよるが、結構時間がかかる。

sudo port install opencv +python27

インストールディレクトリの確認

以下にインストールされる。cv2.so が本体で、cv.py は 内部で cv2.so を import しているだけのファイル。

/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/cv.py
/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/cv2.so

動作の確認

MacPorts でインストールした場合、MacPorts の Python を利用する。

/opt/local/bin/python2

ライブラリを import する。

import cv
# もしくは
import cv2

機能を確認するには help 関数を利用すると良い。

import cv
help(cv)

とりあえずつかえるようになる。

課題

このままだと MacPorts の Python でしか利用できない。「/opt/local/lib/」以下のファイルに依存した状態で cv2.so がビルドされるので、cv2.so だけコピーして動作するという物でもない。
PYTHONPATHを工夫をすれば良いかもしれないが、独自ビルドした物を普段は利用していてすぐには困らないので、とりあえず保留。

2012年9月13日

Python 画像処理ライブラリ Pillow を使ってみる

概要

Python の画像処理ライブラリはPIL(Python Imaging Library)が有名だが、正式リリースは2009年11月15日にリリースされた1.1.7が最後になっている。
アルファ版の1.2a0が2011年1月8日にBitbucket上でリリースされている(effbot / pil-2009-raclette / downloads — Bitbucket)が、ソースの改修は2011年6月28日で止まっている。

「Pillow」は PIL を setuptools 対応にするために fork して開発されているライブラリで、現在も活発にメンテナンスされている。
ただし、PIL も Pillow も正しくは Python 3 に対応していない。Pillowは Python 3対応を徐々にコミットしているようだ。
「Pillow」の方が品質が良さげなので、使ってみる。

インストール

Pillow は setuptools 対応しているので PIL と異なりちゃんと pip でインストールできる。
別途、「libjpeg」、「zlib」、「freetype2」、「littleCMS」を事前にインストールしておくこと。

pip install pillow

Windows を利用している人は、shimizukawa / Pillow / downloads — Bitbucketからビルド済みのライブラリをダウンロードすることも可能。

ドキュメント

ドキュメントは「The Python Imaging Library — Pillow」にある。
また、基本APIはPILと同じなので、動作をためす場合、「PIL Tutorial」はかなり役に立つ。

サンプル

画像処理をする場合のサンプル画像は「SIPI Image Database」から持ってくるのが良い。
おそらくこの手の画像で一番有名なのが、「Lena, or Lenna」の画像だろう。
Pillowのレポジトリ(Pillow/Images at master · python-imaging/Pillow · GitHub)にも存在している。

本当に簡単なサンプルを以下に示す。PIL と使い方に違いはない。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import unittest

import Image


class TestPillow(unittest.TestCase):

    def setUp(self):
        self.image = Image.open('lena.ppm')

    def test_open(self):
        """画像を開く"""
        self.assertEqual('PPM', self.image.format)
        self.assertEqual((128, 128), self.image.size)
        self.assertEqual('RGB', self.image.mode)

    def test_tojpeg(self):
        """画像を リサイズして JPEG に変換"""
        small = self.image.resize([32, 32])
        small.save('lena_small.jpg', 'JPEG')

if __name__ == '__main__':
    unittest.main()

まとめ

画像を簡単に処理する Python のライブラリ Pillow を使ってみた。画像処理はちょっとした時に必要になるので、覚えておいて損はない。

2012年9月12日

py.test で pep8 と coverage を同時にチェックする

概要

Python で テストする場合、pytestを使うと便利だ。
pytest には plugin 機構が存在しており、pep8 と coverage を同時にチェックすることができる。

設定

特に設定する項目はなく、plugin を pip でインストールするだけで使うことが可能になる。

pip install pytest-pep8
pip install pytest-cov

実行

py.test の実行にに、オプションに「--pep8」を付けると pep8 チェック、「--conv」を付けると coverage が動作する。

py.test --pep8 --cov myproj -v tests

pep8 チェックと coverage チェックが表示される。coverage チェックは毎回実行する必要はないが、pep8はチェックしておいた方が良い。

============================= test session starts ==============================
platform darwin -- Python 2.7.3 -- pytest-2.2.4 -- /path/to/bin/python
cachedir: /path/to/myproj/.cache
collected 3 items 

tests/__init__.py:0: PEP8-check SKIPPED
tests/test_sample.py:0: PEP8-check PASSED
tests/test_sample.py:15: TestSample.test_sample PASSED
--------------- coverage: platform darwin, python 2.7.3-final-0 ----------------
Name                  Stmts   Miss  Cover
-----------------------------------------
myproj/__init__        1      0   100%
myproj/sample          8      0   100%
myproj/sample2         8      3    63%
-----------------------------------------
TOTAL                  17      3    82%

===================== 2 passed, 1 skipped in 0.27 seconds ======================

テスト、テスト、そしてテスト

テストを書く。テストは最初に書く必要はないが、かならず必要になる。

2012年9月11日

Python 3.3 が間もなくリリースされるので新機能を確認しておく

概要

Python 3.3 安定版が今月中にリリースされる予定。すでに rc2 までリリースされているので、新機能を確認しておこうと思う。

新機能の確認

「What’s New In Python 3.3」で新機能が確認できる。
まだ、良く理解してない機能もある。機能が多すぎて全部は無理なので、とりあえず上からメモしておく。以下のメモは正しさは一切保証しない。

Virtual Environments

「virtualenv」として存在した、Pythonの環境を切り分ける機能と同等の物が「venv」機能として実装された。「pyvenv」コマンドがインストールされるので、「pyvenv」コマンドを利用するのが簡単そう。
本当はパッケージ管理ツールの「pysetup」も入るはずだったのだけど、品質が向上しなかったり等で今回は外された。正直「pysetup」がはいってない「pyvenv」だけだといまいちな印象になってしまっている。

Namespace Packages

Pythonでパッケージを作成するにはディレクトリ内に「__init__.py」を用意する必要があったが、不要になった。
Python 3 は Python 2 と import の動作が異なるので注意。

New memoryview implementation and buffer protocol documentation

Python 3 では buffer() が memoryview() に変更されて、かなりいろいろ変更されている。

Flexible String Representation

文字列は完全に UCS-4 対応している。文字列表現は Python 3.2 まではちょっと厳密すぎたのだけど、すこし緩くなった。

Reworking the OS and IO exception hierarchy

OS と IO の例外階層が整理されている。綺麗になってデバッグしやすい等、便利。

Syntax for Delegating to a Subgenerator

「yield from」が追加されて、これはとても便利。というか、この手の機能を必要とする人にはめちゃくちゃ便利。

Suppressing exception context

例外の中で例外出すときに「raise from」文法が追加されている。

Explicit Unicode literals

Python 2 では u'xxx' みたいにして Unicode literals を明示していたが、Python 3.2 までは明示せずに Unicode literals になったので u'xxx' の機能がなかった。Python 3.3 では u'xxx' 表現が復活、でも付けてもたいした意味はない。Python 2 との互換性維持等が目的。
地味に Python 2 でも Python 3 でも動作するソース作成しようとすると面倒だったので、この改善は良いと思う。

Qualified name for classes and functions

class と function にQualified name(修飾名)を取得できる「__qualname__」が増えた。

Key-Sharing Dictionary

いろいろと細かい事はあるのだけど、組み込みの dict(辞書)のメモリ効率が良くなり、早くなったと思っておけば良いような。

Function Signature Object

functionのシグニチャがオブジェクトになっている。「inspect.signature()」メソッドが増えたりしている。
かなり便利なのだけど、どのぐらいの人がこの機能を使うのかわからない。

Adding sys.implementation

「sys」モジュールに「sys.implementation」が増えた。

lzma

lzma に標準で対応した。bz2 も修正されている。

まとめ

機能が多すぎて力つきた。理解してない機能があるけど、手元の Python 2 でしか動作しない自作モジュールとかを移植しながら勉強しようと思う。

2012年9月10日

Python OAuth ライブラリ rauth で Twitter API v1.1 を利用する

概要

Twitter API v1.1 が公開されました。 全ての endpoint で OAuth 1.0a での認証が必須になっています。
Python のライブラリで OAuth 1.0aの認証が簡単にコーディングできる「rauth」から、Twitter API v1.1 を利用してみます。

rauth に関して

「rauth」は OAuth 1.0/a, 2.0、Oflyの認証に対応した Python のライブラリです。
Python の HTTPライブラリである「requests」に依存しています。
「requests」が非常にすぐれたライブラリで、その機能を有効に利用しているため、「rauth」はかなり簡単に OAuth 認証のコーディングが可能です。
ライセンスは MIT ライセンスです。残念ながら Python 3 には現在対応していない模様です。

インストール

pip でインストールします。

pip install rauth

rauth は「requests」に依存していますが、pip なら依存関係を解決してインストールされます。

Twitter API v1.1 にアクセスしてみる

「access_token」、「access_token_secret」は取得済みの状態とします。
以下は、「search/tweets」の「application/rate_limit_status」を取得するサンプルです。unittest として記述しています。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import unittest

from rauth.service import OAuth1Service


class TestApi(unittest.TestCase):
    """Twitter API test"""

    def test_oauth(self):
        auth = OAuth1Service(
            name='twitter',
            consumer_key='consumer_key',
            consumer_secret='consumer_secret',
            request_token_url='https://api.twitter.com/oauth/request_token',
            access_token_url='https://api.twitter.com/oauth/access_token',
            authorize_url='https://api.twitter.com/oauth/authorize')
        self.assertIsNotNone(auth)
        response = auth.get(
            'https://api.twitter.com/1.1/application/rate_limit_status.json',
            access_token='access_token',
            access_token_secret='access_token_secret')
        content = response.content
        limit = content['resources']['search']['/search/tweets']['limit']
        self.assertEqual(180, limit)

if __name__ == '__main__':
    unittest.main()

つぶやいてみる

つぶやきを投稿するサンプルは以下になります。「application/rate_limit_status」の例を含めて多少汎用化してあります。Python 2.6、Python 2.7 で動作します。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import unittest

import datetime

from rauth.service import OAuth1Service


class TestApi(unittest.TestCase):
    """Twitter API test"""
    def setUp(self):
        self.auth = OAuth1Service(
            name='twitter',
            consumer_key='consumer_key',
            consumer_secret='consumer_secret',
            request_token_url='https://api.twitter.com/oauth/request_token',
            access_token_url='https://api.twitter.com/oauth/access_token',
            authorize_url='https://api.twitter.com/oauth/authorize',
            header_auth=True)
        self.access_token = {
            'access_token': 'access_token',
            'access_token_secret': 'access_token_secret'}
        self.endpoint = 'https://api.twitter.com/1.1/{path}.json'

    def test_get_rate_limit_status(self):
        """application/rate_limit_status test"""
        response = self.auth.get(
            self.endpoint.format(path='application/rate_limit_status'),
            **self.access_token)
        content = response.content
        limit = content['resources']['search']['/search/tweets']['limit']
        self.assertEqual(180, limit)

    def test_post_statuses_update(self):
        """statuses/update test"""
        text = 'つぶやきテストです。{now}'.format(now=datetime.datetime.now())
        params = {'status': text}
        response = self.auth.post(
            self.endpoint.format(path='statuses/update'),
            params=params,
            **self.access_token)
        content = response.content
        self.assertEqual(text.decode('utf-8'), content['text'])

if __name__ == '__main__':
    unittest.main()

まとめ

「rauth」で Twitter API v1.1 を利用して、情報の取得と投稿ができました。Twitter API v1.1 がかなり整理されたことで、簡単な処理なら Twitter に特化したライブラリを利用する必要はほとんどないかもしれません。
「rauth」は Twitter だけでなく OAuth 認証全般で利用できますので、試してみると良いでしょう。