2012年9月13日

Python 画像処理ライブラリ Pillow を使ってみる

概要

Python の画像処理ライブラリはPIL(Python Imaging Library)が有名だが、正式リリースは2009年11月15日にリリースされた1.1.7が最後になっている。
アルファ版の1.2a0が2011年1月8日にBitbucket上でリリースされている(effbot / pil-2009-raclette / downloads — Bitbucket)が、ソースの改修は2011年6月28日で止まっている。

「Pillow」は PIL を setuptools 対応にするために fork して開発されているライブラリで、現在も活発にメンテナンスされている。
ただし、PIL も Pillow も正しくは Python 3 に対応していない。Pillowは Python 3対応を徐々にコミットしているようだ。
「Pillow」の方が品質が良さげなので、使ってみる。

インストール

Pillow は setuptools 対応しているので PIL と異なりちゃんと pip でインストールできる。
別途、「libjpeg」、「zlib」、「freetype2」、「littleCMS」を事前にインストールしておくこと。

pip install pillow

Windows を利用している人は、shimizukawa / Pillow / downloads — Bitbucketからビルド済みのライブラリをダウンロードすることも可能。

ドキュメント

ドキュメントは「The Python Imaging Library — Pillow」にある。
また、基本APIはPILと同じなので、動作をためす場合、「PIL Tutorial」はかなり役に立つ。

サンプル

画像処理をする場合のサンプル画像は「SIPI Image Database」から持ってくるのが良い。
おそらくこの手の画像で一番有名なのが、「Lena, or Lenna」の画像だろう。
Pillowのレポジトリ(Pillow/Images at master · python-imaging/Pillow · GitHub)にも存在している。

本当に簡単なサンプルを以下に示す。PIL と使い方に違いはない。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import unittest

import Image


class TestPillow(unittest.TestCase):

    def setUp(self):
        self.image = Image.open('lena.ppm')

    def test_open(self):
        """画像を開く"""
        self.assertEqual('PPM', self.image.format)
        self.assertEqual((128, 128), self.image.size)
        self.assertEqual('RGB', self.image.mode)

    def test_tojpeg(self):
        """画像を リサイズして JPEG に変換"""
        small = self.image.resize([32, 32])
        small.save('lena_small.jpg', 'JPEG')

if __name__ == '__main__':
    unittest.main()

まとめ

画像を簡単に処理する Python のライブラリ Pillow を使ってみた。画像処理はちょっとした時に必要になるので、覚えておいて損はない。

2012年9月12日

py.test で pep8 と coverage を同時にチェックする

概要

Python で テストする場合、pytestを使うと便利だ。
pytest には plugin 機構が存在しており、pep8 と coverage を同時にチェックすることができる。

設定

特に設定する項目はなく、plugin を pip でインストールするだけで使うことが可能になる。

pip install pytest-pep8
pip install pytest-cov

実行

py.test の実行にに、オプションに「--pep8」を付けると pep8 チェック、「--conv」を付けると coverage が動作する。

py.test --pep8 --cov myproj -v tests

pep8 チェックと coverage チェックが表示される。coverage チェックは毎回実行する必要はないが、pep8はチェックしておいた方が良い。

============================= test session starts ==============================
platform darwin -- Python 2.7.3 -- pytest-2.2.4 -- /path/to/bin/python
cachedir: /path/to/myproj/.cache
collected 3 items 

tests/__init__.py:0: PEP8-check SKIPPED
tests/test_sample.py:0: PEP8-check PASSED
tests/test_sample.py:15: TestSample.test_sample PASSED
--------------- coverage: platform darwin, python 2.7.3-final-0 ----------------
Name                  Stmts   Miss  Cover
-----------------------------------------
myproj/__init__        1      0   100%
myproj/sample          8      0   100%
myproj/sample2         8      3    63%
-----------------------------------------
TOTAL                  17      3    82%

===================== 2 passed, 1 skipped in 0.27 seconds ======================

テスト、テスト、そしてテスト

テストを書く。テストは最初に書く必要はないが、かならず必要になる。

2012年9月11日

Python 3.3 が間もなくリリースされるので新機能を確認しておく

概要

Python 3.3 安定版が今月中にリリースされる予定。すでに rc2 までリリースされているので、新機能を確認しておこうと思う。

新機能の確認

「What’s New In Python 3.3」で新機能が確認できる。
まだ、良く理解してない機能もある。機能が多すぎて全部は無理なので、とりあえず上からメモしておく。以下のメモは正しさは一切保証しない。

Virtual Environments

「virtualenv」として存在した、Pythonの環境を切り分ける機能と同等の物が「venv」機能として実装された。「pyvenv」コマンドがインストールされるので、「pyvenv」コマンドを利用するのが簡単そう。
本当はパッケージ管理ツールの「pysetup」も入るはずだったのだけど、品質が向上しなかったり等で今回は外された。正直「pysetup」がはいってない「pyvenv」だけだといまいちな印象になってしまっている。

Namespace Packages

Pythonでパッケージを作成するにはディレクトリ内に「__init__.py」を用意する必要があったが、不要になった。
Python 3 は Python 2 と import の動作が異なるので注意。

New memoryview implementation and buffer protocol documentation

Python 3 では buffer() が memoryview() に変更されて、かなりいろいろ変更されている。

Flexible String Representation

文字列は完全に UCS-4 対応している。文字列表現は Python 3.2 まではちょっと厳密すぎたのだけど、すこし緩くなった。

Reworking the OS and IO exception hierarchy

OS と IO の例外階層が整理されている。綺麗になってデバッグしやすい等、便利。

Syntax for Delegating to a Subgenerator

「yield from」が追加されて、これはとても便利。というか、この手の機能を必要とする人にはめちゃくちゃ便利。

Suppressing exception context

例外の中で例外出すときに「raise from」文法が追加されている。

Explicit Unicode literals

Python 2 では u'xxx' みたいにして Unicode literals を明示していたが、Python 3.2 までは明示せずに Unicode literals になったので u'xxx' の機能がなかった。Python 3.3 では u'xxx' 表現が復活、でも付けてもたいした意味はない。Python 2 との互換性維持等が目的。
地味に Python 2 でも Python 3 でも動作するソース作成しようとすると面倒だったので、この改善は良いと思う。

Qualified name for classes and functions

class と function にQualified name(修飾名)を取得できる「__qualname__」が増えた。

Key-Sharing Dictionary

いろいろと細かい事はあるのだけど、組み込みの dict(辞書)のメモリ効率が良くなり、早くなったと思っておけば良いような。

Function Signature Object

functionのシグニチャがオブジェクトになっている。「inspect.signature()」メソッドが増えたりしている。
かなり便利なのだけど、どのぐらいの人がこの機能を使うのかわからない。

Adding sys.implementation

「sys」モジュールに「sys.implementation」が増えた。

lzma

lzma に標準で対応した。bz2 も修正されている。

まとめ

機能が多すぎて力つきた。理解してない機能があるけど、手元の Python 2 でしか動作しない自作モジュールとかを移植しながら勉強しようと思う。

2012年9月10日

Python OAuth ライブラリ rauth で Twitter API v1.1 を利用する

概要

Twitter API v1.1 が公開されました。 全ての endpoint で OAuth 1.0a での認証が必須になっています。
Python のライブラリで OAuth 1.0aの認証が簡単にコーディングできる「rauth」から、Twitter API v1.1 を利用してみます。

rauth に関して

「rauth」は OAuth 1.0/a, 2.0、Oflyの認証に対応した Python のライブラリです。
Python の HTTPライブラリである「requests」に依存しています。
「requests」が非常にすぐれたライブラリで、その機能を有効に利用しているため、「rauth」はかなり簡単に OAuth 認証のコーディングが可能です。
ライセンスは MIT ライセンスです。残念ながら Python 3 には現在対応していない模様です。

インストール

pip でインストールします。

pip install rauth

rauth は「requests」に依存していますが、pip なら依存関係を解決してインストールされます。

Twitter API v1.1 にアクセスしてみる

「access_token」、「access_token_secret」は取得済みの状態とします。
以下は、「search/tweets」の「application/rate_limit_status」を取得するサンプルです。unittest として記述しています。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import unittest

from rauth.service import OAuth1Service


class TestApi(unittest.TestCase):
    """Twitter API test"""

    def test_oauth(self):
        auth = OAuth1Service(
            name='twitter',
            consumer_key='consumer_key',
            consumer_secret='consumer_secret',
            request_token_url='https://api.twitter.com/oauth/request_token',
            access_token_url='https://api.twitter.com/oauth/access_token',
            authorize_url='https://api.twitter.com/oauth/authorize')
        self.assertIsNotNone(auth)
        response = auth.get(
            'https://api.twitter.com/1.1/application/rate_limit_status.json',
            access_token='access_token',
            access_token_secret='access_token_secret')
        content = response.content
        limit = content['resources']['search']['/search/tweets']['limit']
        self.assertEqual(180, limit)

if __name__ == '__main__':
    unittest.main()

つぶやいてみる

つぶやきを投稿するサンプルは以下になります。「application/rate_limit_status」の例を含めて多少汎用化してあります。Python 2.6、Python 2.7 で動作します。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import unittest

import datetime

from rauth.service import OAuth1Service


class TestApi(unittest.TestCase):
    """Twitter API test"""
    def setUp(self):
        self.auth = OAuth1Service(
            name='twitter',
            consumer_key='consumer_key',
            consumer_secret='consumer_secret',
            request_token_url='https://api.twitter.com/oauth/request_token',
            access_token_url='https://api.twitter.com/oauth/access_token',
            authorize_url='https://api.twitter.com/oauth/authorize',
            header_auth=True)
        self.access_token = {
            'access_token': 'access_token',
            'access_token_secret': 'access_token_secret'}
        self.endpoint = 'https://api.twitter.com/1.1/{path}.json'

    def test_get_rate_limit_status(self):
        """application/rate_limit_status test"""
        response = self.auth.get(
            self.endpoint.format(path='application/rate_limit_status'),
            **self.access_token)
        content = response.content
        limit = content['resources']['search']['/search/tweets']['limit']
        self.assertEqual(180, limit)

    def test_post_statuses_update(self):
        """statuses/update test"""
        text = 'つぶやきテストです。{now}'.format(now=datetime.datetime.now())
        params = {'status': text}
        response = self.auth.post(
            self.endpoint.format(path='statuses/update'),
            params=params,
            **self.access_token)
        content = response.content
        self.assertEqual(text.decode('utf-8'), content['text'])

if __name__ == '__main__':
    unittest.main()

まとめ

「rauth」で Twitter API v1.1 を利用して、情報の取得と投稿ができました。Twitter API v1.1 がかなり整理されたことで、簡単な処理なら Twitter に特化したライブラリを利用する必要はほとんどないかもしれません。
「rauth」は Twitter だけでなく OAuth 認証全般で利用できますので、試してみると良いでしょう。

2012年9月9日

Twitter API v1.1 を確認する

概要

2012年9月5日にTwitter社が API v1.1 の詳細を公開したので、確認してみます。

関連する文書

関連する文書は以下となります。

API v1.1の概要

「Overview: Version 1.1 of the Twitter API | Twitter Developers」に概要が記述されています。

  • 各endpoint毎に15分毎の呼出回数制限が設定された。ほとんどが15分15回で、検索系APIのみ15分180回。発言も15分180回。
  • JSONだけになった。XMLやRSSは提供されない。
  • 全てのendpointでOAuth認証が必須になった。
  • つぶやきの表示形式が義務付けられた。
  • 10万を越えるユーザを抱えるクライアントは、それ以上ユーザを増やすには申請が必要。
  • API v1.0 は 2013年3月5日に停止される。
  • dev.twitter.com の文書は、v1.1用に更新される。
  • 意見はまだ募集しており、今後変更される可能性はある。

その他変更されたと思われる部分

まだ、十分さわれていないが、概要に書いていない部分で変更点がある模様。

  • 認証しないでアクセスした場合のHTTPステータスコードが v1.0 と異なる。v1.0 では 「400 Unauthorized」で、v1.1 では 「401 Bad Request」。
  • Streaming API の機能が増えて、よりリアルタイム性が増した。

個人的な意見

個人的な意見を書いておく。Twitter社には比較的同情的な立場。Twitter も比較的普通の使い方しかしてないと思われる。

  • 「REST API v1.1 Resources | Twitter Developers」を見ると非常に良く設計されたAPIだと感じる。かなりいろいろな事を考慮して作成されている。
  • v1.0 から v1.1 への移行は比較的容易になるように考慮されている。
  • 「認証」を前提とした設計になっていると強く感じる。
  • XML、RSS が提供されなくなるのは「認証」を前提とした時はある意味必然の結果に見える。
  • APIの制限が、v1.0は全てを合計して 350回/時 だったのが、v1.1 では endpoint 毎に 15回/15分や、180回/15分になったことで、おそらく API はより安定すると思われる。
  • 多くの人はタイムライン取得を1分に1回にしており(多くのついったクライアントのデフォルト値)、ほとんどの人がAPI制限にひかからない。むしろ増えたように感じるだろう。
  • 1分に1回以上タイムラインを取得したい場合は、Streaming API の user endpointを利用すれば可能。
  • モバイルに関しては iPhone/Android 以外はほとんど考慮していないと思われるが、普通の使い方の限り iPhone/Android でもあまり問題が無いように見える。iPhone/Android 上でも Streaming API は当然利用できる。
  • つぶやきの表示義務(Developer Display Requirements | Twitter Developers)は、必要な情報をちゃんと全部表示しろ、という義務に見える。
  • つぶやきの表示義務はTwitter公式クライアントも守れているのか怪しい。ちょっとおかしい感じ。
  • クライアントのユーザ10万制限は、Twitter側のインフラがそろそろ限界なのだろう。また、ほとんどのクライアントは10万いかず、10万を越えるほどのクライアントなら、申請すればちゃんと通るのではないか、と楽観的に考えている。
  • ヘビーユーザは、そろそろ別のサービスに移動する時期なのではないだろうか。Twitter 側はそれを認識しているように見える。
  • APIの設計から考えるに、Twitter 社は今回の決定をいかなる反対があっても断固として実行すると思われる。Twitter社はある意味おいつめられている感じがする。
  • API v1.1になっても依然として、「完全な」クライアントを作成することが可能な時点で、他の企業と比較しても明らかに異状な API 公開態度に見える。
  • 移行期限が長いか短いかで考えると、短い感じもするが、おそらく、年度をまたぐような延長は無いと思われる。3/5 という期限は非常に考慮してある感じだ。
  • 今回の件でクライアントの一部が開発を終了したり、ユーザに混乱が発生するだろうが、ほとんどは時間が解決するだろう。
  • ユーザが騒いでも、Twitter社にとってはほとんど問題にならない規模だろう。

まとめ

変な所には意見を言うべきかと思う。
ただ、全体的に良くできているため、最終的には、ヘビーユーザの一部が離れ、クライアントが整理され、botが多少減り、一般ユーザはあまり困らない、という結果になるのでやないか、と今の所は楽観視している。

2012年9月8日

Python 3.3 移行するならテスト環境を py.test と tox にすると便利

概要

予定通りに行けば、Python 3.3 が今月中にリリースされます。
現在は Python2 と Python3 は移行時期で、完全に Python3 に移行するのは難しいタイミングです。しかし、将来確実に Python3 に移行する必要が出てくるため、場合によっては、Python2 と Python3 両方で動作するソースを作成する必要があります。
Python2 と Python3 で動作するソースを書く場合、別バージョンのPythonで同じソースを同時にテストできる「tox」と、テスト結果を詳細に表示してくれる「pytest」を導入すると便利になります。

インストール

pip でインストールできます。

pip install tox
pip install pytest

また、複数のバージョンのPythonでテストする場合は、環境に該当バージョンのPythonをインストールする必要があります。

準備

tox でテストを動作させるには最低限 setup.py と tox.ini が必要です。

まずは setup.py を用意します。

#!/usr/bin/env python
# -*- coding: utf-8 -*-

from setuptools import setup

setup(
    name='sample',
    version='0.0.1',
)

まずは tox.ini を用意します。

# tox.ini
[tox]
envlist =
    py26,
    py27,
    py32,
    py33,

[testenv]
deps = pytest
comands = py.test -v tests

実行

実行は tox コマンドで実行できます。

tox

エラーが出た場合の対処

エラーが発生した場合、toxを実行したディレクトリ直下に「.tox/log」が生成されて、ログが出力されます。
ログは比較的詳細に出力されますので、これを見ることで問題を解決することができるでしょう。

Mac OS X の特定の環境では readline 関連のエラーが出るようです。

AssertionError: Filename /path/to/python2.7/site-packages/readline.so 
      does not start with any of these prefixes

エラー発生箇所のreadline.soをリネームしておくと発生しなくなります。

cd /path/to/python2.7/site-packages/
mv readline.so readline.so-bak

環境によっては tox に関係の無いエラーが発生してしまう場合がありますが、log の出力が結構しっかりしているので、対処は可能ではないかと思います。

テストを書きましょう

あとは、テストを書きましょう。

Python で URL 操作にしたい場合は furl を利用する

概要

Python 標準の urllib 等を利用した URL 操作は結構面倒。URL パラメータとかを生成する場合等は furl を利用するのが便利。

インストール

pip を利用する。

pip install furl

使い方

使い方は「furl/API.md」に全部書いてある。

サンプル

これだけだとつまらないので、ほんの一部の機能を使った簡単なサンプルをはっておく。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import unittest

from furl import furl


class TestFurl(unittest.TestCase):

    def setUp(self):
        """
        気象庁 東京 2012年8月データを取得する URL をサンプルにする
        """
        self.url = furl(
            'http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
            'prec_no=44&'
            'block_no=47662&'
            'year=2012&'
            'month=8&'
            'day=&'
            'view=')

    def test_change_year(self):
        """
        年を変更してみる
        """
        #  年を変更する
        self.url.args['year'] = '2011'
        self.assertEquals(
            'http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
            'prec_no=44&'
            'block_no=47662&'
            'year=2011&'  # 年が変更された
            'month=8&'
            'day=&'
            'view=',
            self.url.url)

    def test_clear(self):
        """
        パラメータをクリアする
        """
        self.url.set({})
        self.assertEquals(
            'http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php',
            self.url.url)

if __name__ == '__main__':
    unittest.main()

課題

furl は現在 Python3 に対応してない。パッチは投稿されているみたいなので、対応をすこし待ってみる。
もし Python 3 に対応しないようなら、fork してでも使いたいライブラリです。