2012年9月9日

Twitter API v1.1 を確認する

概要

2012年9月5日にTwitter社が API v1.1 の詳細を公開したので、確認してみます。

関連する文書

関連する文書は以下となります。

API v1.1の概要

「Overview: Version 1.1 of the Twitter API | Twitter Developers」に概要が記述されています。

  • 各endpoint毎に15分毎の呼出回数制限が設定された。ほとんどが15分15回で、検索系APIのみ15分180回。発言も15分180回。
  • JSONだけになった。XMLやRSSは提供されない。
  • 全てのendpointでOAuth認証が必須になった。
  • つぶやきの表示形式が義務付けられた。
  • 10万を越えるユーザを抱えるクライアントは、それ以上ユーザを増やすには申請が必要。
  • API v1.0 は 2013年3月5日に停止される。
  • dev.twitter.com の文書は、v1.1用に更新される。
  • 意見はまだ募集しており、今後変更される可能性はある。

その他変更されたと思われる部分

まだ、十分さわれていないが、概要に書いていない部分で変更点がある模様。

  • 認証しないでアクセスした場合のHTTPステータスコードが v1.0 と異なる。v1.0 では 「400 Unauthorized」で、v1.1 では 「401 Bad Request」。
  • Streaming API の機能が増えて、よりリアルタイム性が増した。

個人的な意見

個人的な意見を書いておく。Twitter社には比較的同情的な立場。Twitter も比較的普通の使い方しかしてないと思われる。

  • 「REST API v1.1 Resources | Twitter Developers」を見ると非常に良く設計されたAPIだと感じる。かなりいろいろな事を考慮して作成されている。
  • v1.0 から v1.1 への移行は比較的容易になるように考慮されている。
  • 「認証」を前提とした設計になっていると強く感じる。
  • XML、RSS が提供されなくなるのは「認証」を前提とした時はある意味必然の結果に見える。
  • APIの制限が、v1.0は全てを合計して 350回/時 だったのが、v1.1 では endpoint 毎に 15回/15分や、180回/15分になったことで、おそらく API はより安定すると思われる。
  • 多くの人はタイムライン取得を1分に1回にしており(多くのついったクライアントのデフォルト値)、ほとんどの人がAPI制限にひかからない。むしろ増えたように感じるだろう。
  • 1分に1回以上タイムラインを取得したい場合は、Streaming API の user endpointを利用すれば可能。
  • モバイルに関しては iPhone/Android 以外はほとんど考慮していないと思われるが、普通の使い方の限り iPhone/Android でもあまり問題が無いように見える。iPhone/Android 上でも Streaming API は当然利用できる。
  • つぶやきの表示義務(Developer Display Requirements | Twitter Developers)は、必要な情報をちゃんと全部表示しろ、という義務に見える。
  • つぶやきの表示義務はTwitter公式クライアントも守れているのか怪しい。ちょっとおかしい感じ。
  • クライアントのユーザ10万制限は、Twitter側のインフラがそろそろ限界なのだろう。また、ほとんどのクライアントは10万いかず、10万を越えるほどのクライアントなら、申請すればちゃんと通るのではないか、と楽観的に考えている。
  • ヘビーユーザは、そろそろ別のサービスに移動する時期なのではないだろうか。Twitter 側はそれを認識しているように見える。
  • APIの設計から考えるに、Twitter 社は今回の決定をいかなる反対があっても断固として実行すると思われる。Twitter社はある意味おいつめられている感じがする。
  • API v1.1になっても依然として、「完全な」クライアントを作成することが可能な時点で、他の企業と比較しても明らかに異状な API 公開態度に見える。
  • 移行期限が長いか短いかで考えると、短い感じもするが、おそらく、年度をまたぐような延長は無いと思われる。3/5 という期限は非常に考慮してある感じだ。
  • 今回の件でクライアントの一部が開発を終了したり、ユーザに混乱が発生するだろうが、ほとんどは時間が解決するだろう。
  • ユーザが騒いでも、Twitter社にとってはほとんど問題にならない規模だろう。

まとめ

変な所には意見を言うべきかと思う。
ただ、全体的に良くできているため、最終的には、ヘビーユーザの一部が離れ、クライアントが整理され、botが多少減り、一般ユーザはあまり困らない、という結果になるのでやないか、と今の所は楽観視している。

2012年9月8日

Python 3.3 移行するならテスト環境を py.test と tox にすると便利

概要

予定通りに行けば、Python 3.3 が今月中にリリースされます。
現在は Python2 と Python3 は移行時期で、完全に Python3 に移行するのは難しいタイミングです。しかし、将来確実に Python3 に移行する必要が出てくるため、場合によっては、Python2 と Python3 両方で動作するソースを作成する必要があります。
Python2 と Python3 で動作するソースを書く場合、別バージョンのPythonで同じソースを同時にテストできる「tox」と、テスト結果を詳細に表示してくれる「pytest」を導入すると便利になります。

インストール

pip でインストールできます。

pip install tox
pip install pytest

また、複数のバージョンのPythonでテストする場合は、環境に該当バージョンのPythonをインストールする必要があります。

準備

tox でテストを動作させるには最低限 setup.py と tox.ini が必要です。

まずは setup.py を用意します。

#!/usr/bin/env python
# -*- coding: utf-8 -*-

from setuptools import setup

setup(
    name='sample',
    version='0.0.1',
)

まずは tox.ini を用意します。

# tox.ini
[tox]
envlist =
    py26,
    py27,
    py32,
    py33,

[testenv]
deps = pytest
comands = py.test -v tests

実行

実行は tox コマンドで実行できます。

tox

エラーが出た場合の対処

エラーが発生した場合、toxを実行したディレクトリ直下に「.tox/log」が生成されて、ログが出力されます。
ログは比較的詳細に出力されますので、これを見ることで問題を解決することができるでしょう。

Mac OS X の特定の環境では readline 関連のエラーが出るようです。

AssertionError: Filename /path/to/python2.7/site-packages/readline.so 
      does not start with any of these prefixes

エラー発生箇所のreadline.soをリネームしておくと発生しなくなります。

cd /path/to/python2.7/site-packages/
mv readline.so readline.so-bak

環境によっては tox に関係の無いエラーが発生してしまう場合がありますが、log の出力が結構しっかりしているので、対処は可能ではないかと思います。

テストを書きましょう

あとは、テストを書きましょう。

Python で URL 操作にしたい場合は furl を利用する

概要

Python 標準の urllib 等を利用した URL 操作は結構面倒。URL パラメータとかを生成する場合等は furl を利用するのが便利。

インストール

pip を利用する。

pip install furl

使い方

使い方は「furl/API.md」に全部書いてある。

サンプル

これだけだとつまらないので、ほんの一部の機能を使った簡単なサンプルをはっておく。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import unittest

from furl import furl


class TestFurl(unittest.TestCase):

    def setUp(self):
        """
        気象庁 東京 2012年8月データを取得する URL をサンプルにする
        """
        self.url = furl(
            'http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
            'prec_no=44&'
            'block_no=47662&'
            'year=2012&'
            'month=8&'
            'day=&'
            'view=')

    def test_change_year(self):
        """
        年を変更してみる
        """
        #  年を変更する
        self.url.args['year'] = '2011'
        self.assertEquals(
            'http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
            'prec_no=44&'
            'block_no=47662&'
            'year=2011&'  # 年が変更された
            'month=8&'
            'day=&'
            'view=',
            self.url.url)

    def test_clear(self):
        """
        パラメータをクリアする
        """
        self.url.set({})
        self.assertEquals(
            'http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php',
            self.url.url)

if __name__ == '__main__':
    unittest.main()

課題

furl は現在 Python3 に対応してない。パッチは投稿されているみたいなので、対応をすこし待ってみる。
もし Python 3 に対応しないようなら、fork してでも使いたいライブラリです。

2012年9月7日

Python で pep-8 の「E501 line too long」にしないためのコーディングテクニック

概要

Python は 「PEP 8 -- Style Guide for Python Code」というコーディング規約がある。
また、ソースコードが pep-8 に準拠しているかチェックするための「pep8 - Python style guide checker」が存在する。
Python 使いは、pep-8 に準拠したソースを記述するのが良い。

pep-8 の中で最も守られていないルールはおそらく「1行79文字制限」ではないだろうか。
pep8 - Python style guide checkerではこれに違反すると「E501 line too long」になる。

テストコード等一部で E501 になるのが仕方ない場合もあるが、通常 E501 が出るのは避けるべきだ。
E501 を避けるためのテクニックを紹介する。

テクニックのポイント

Pythonが丸括弧「()」で囲んだ範囲を纒まりとして認識することを利用する。

長い文字列の改行

URLなどは長い文字列になりがちだ。

sample = 'http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?prec_no=44&block_no=47662&year=2012&month=8&day=&view='

長い文字列は以下のようにすれば改行できる。

sample = ('http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
          'prec_no=44&block_no=47662&year=2012&month=8&day=&view=')

Python は「()」で囲んだ中は一つの連続として取り扱い、かつ「()」内で連続した文字列を自動で結合する。
この場合「+」演算子で結合したり、「format」や「%s」を利用する必要はない。

以下は極端に改行した例だ。

sample = ('http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
          'prec_no=44&'
          'block_no=47662&'
          'year=2012&'
          'month=8&'
          'day=&view=')

当然改行しても、format や %s 等は正常に動作する。

%s を利用した例。

sample = ('http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
          'prec_no=%s&block_no=%s&year=%s&month=8&day=&view='
          % (44, 47662, 2012))

format を利用した例。

sample = ('http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
          'prec_no={}&block_no={}&year={}&month=8&day=&view='
          .format(44, 47662, 2012))

これで横 79文字制限を避けることができる。

複数 import 文の改行

import 文に「*」を使わないようにすると、複数の import 文だと横に長くなる場合がある。

from mongoengine import BooleanField, DecimalField, DateTimeField, EmbeddedDocumentField, StringField

文字列の場合と同様「()」を利用することで、改行が可能だ。

from mongoengine import (
    BooleanField,
    DecimalField,
    DateTimeField,
    EmbeddedDocumentField,
    StringField,
)

メソッド呼びだしなどが長い場合の改行

メソッドの中でメソッドを呼び出すと、横に長くなる傾向がある。

sample_function(foo_function(bar_function('test')))

以下のように改行できる。

sample_function(
    foo_function(
        bar_function('test')))

ただ、このようなコーディングは本来は避けた方が良いだろう。

1行79文字を越えるのは設計かコーディングが変だと考えること

文字列やimport文以外で、1行79文字を越えなければいけないのは完全にコーディングがおかしい。
引数が多すぎるメソッドやメソッドの中でメソッドの呼び出しはオブジェクト指向を理解しているとは言いがたいコーディングである。
1行79文字を越えた場合、おかしい、と考えるべき。

結論

pep-8 は非常に良く考えられたコーディング規約だ。完全準拠したコーディングを愚直に実施してみると、その真の意味が理解できるようになるだろう。

2012年9月6日

pyquery で XML の namespace を扱う

概要

pyquery は XML を JQuery のように処理するこができる。
XML の namespace も処理することができる。

処理するXML

pypi は 各パッケージに DOAP(Description of a Project) が提供されているので、サンプルとしてこれを処理する。
pyquery 1.2.1 の DOAP は http://pypi.python.org/pypi?:action=doap&name=pyquery&version=1.2.1になる。

DOAP の形式確認

DOAP は RDF で、pypi の DOAP は以下のような形式になっている。

<?xml version="1.0" encoding="UTF-8" ?>
<rdf:RDF xmlns="http://usefulinc.com/ns/doap#"
         xmlns:foaf="http://xmlns.com/foaf/0.1/"
         xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#">
<Project>
<name></name>
<shortdesc></shortdesc>
<description></description>
<homepage></<homepage>
<maintainer>
<foaf:Person>
<foaf:name></foaf:name>
<foaf:mbox_sha1sum></foaf:mbox_sha1sum>
</foaf:Person>
</maintainer>
<release><Version><revision></revision></Version></release>
</Project></rdf:RDF>

サンプル

revisionの中身を取るには以下のようにする。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from pyquery import PyQuery as pq


def main():
    url = 'http://pypi.python.org/pypi?:action=doap&name=pyquery&version=1.2.1'

    # namespace
    namespaces = {"ns": "http://usefulinc.com/ns/doap#"}
    # pyquery
    query = pq(url, parser='xml')

    # revision の取得
    revision = query('ns|revision',
                     namespaces=namespaces).text()

    print revision


if __name__ == '__main__':
    main()

どうやって調べるのか

Python 系のパッケージはだいたいテストソースが付いている。
pyquery のテストソースには namespace の処理例が書いてある。
namespace の処理以外にも pyquery で可能な処理がほとんど書いてあるので、テストソースを読むと大体の事は解決する。

2012年9月5日

pyquery を利用して気象庁のWebサイトから過去の気象データを取得する

概要

pyqueryを利用してスクレイピングをする。
気象庁のWebサイトから過去の気象データを取ってみる。

注意点

スクレイピングは相手サーバに負荷をかけないように注意すること。この記事を参考にして、問題が発生しても一切責任は取らない。自己責任でどうぞ。

pyquery について

jQuery 風にHTML/XML が操作できるのが特徴。パーサーに lxml を利用するのでパース速度も高速で、lxml に可能なことは、大体可能。
この分野だと、beautifulsoupも有名。pyqueryとどちらを利用するかは好みの問題。

pyquery のインストール

pip でインストールできる。lxml に依存している。

pip install pyquery

サンプルソース

2012年8月の東京の平均気温を取得するサンプル。
以下のサンプルはまったく汎用的にしてないが、jQueryを知っていればかなり簡単。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from pyquery import PyQuery as pq


def main():
    # 気象庁 東京 2012年8月データ
    url = ('http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
           'prec_no=44&block_no=47662&year=2012&month=8&day=&view=')
    #  pyquery
    query = pq(url, parser='html')
    # title の取得
    title = query('title').text()
    # 日毎を取得
    day = query('.data_0_0')

    print title
    for i, item in enumerate(day):
        if i % 20 == 5:
            print('{:02d}日の平均気温 {} ℃'
                  .format(i / 20 + 1, pq(item).text()))

if __name__ == '__main__':
    main()

2012年9月4日

Emacs での Python コーディングに python-mode.el でも標準の python.el でもない python.el を使ってみている

概要

Emacs 上で Python をコーディングする場合のモードはどれを使うのが良いのかを再検討中。

モードの候補

EmacsでPythonコーディングをする場合、複数のモードが存在する。
以下の3つが選択肢になる。

Emacs 標準の python.el は大分良くなってきたが、機能がちょと不足している。また、自動インデントが pep-8 に対応していない部分がある。

長い間python-mode.el in Launchpadを利用してきたが、補完関連は非常に強力なのだが、やはり自動インデントが pep-8 にちゃんと対応していない部分がある。

インデントが一番意図通りに動作するのが fgallina/python.el · GitHubだったので、これを利用してみている。

設定

本日時点では以下のような設定にしている。補完は iPython 上でやってしまうため、今の所補完関連の設定はしているが、ちゃんと動作していない。

おためし中

もうしばらく利用してみて、python-mode から完全に移行するか検討する。