2012年9月7日

Python で pep-8 の「E501 line too long」にしないためのコーディングテクニック

概要

Python は 「PEP 8 -- Style Guide for Python Code」というコーディング規約がある。
また、ソースコードが pep-8 に準拠しているかチェックするための「pep8 - Python style guide checker」が存在する。
Python 使いは、pep-8 に準拠したソースを記述するのが良い。

pep-8 の中で最も守られていないルールはおそらく「1行79文字制限」ではないだろうか。
pep8 - Python style guide checkerではこれに違反すると「E501 line too long」になる。

テストコード等一部で E501 になるのが仕方ない場合もあるが、通常 E501 が出るのは避けるべきだ。
E501 を避けるためのテクニックを紹介する。

テクニックのポイント

Pythonが丸括弧「()」で囲んだ範囲を纒まりとして認識することを利用する。

長い文字列の改行

URLなどは長い文字列になりがちだ。

sample = 'http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?prec_no=44&block_no=47662&year=2012&month=8&day=&view='

長い文字列は以下のようにすれば改行できる。

sample = ('http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
          'prec_no=44&block_no=47662&year=2012&month=8&day=&view=')

Python は「()」で囲んだ中は一つの連続として取り扱い、かつ「()」内で連続した文字列を自動で結合する。
この場合「+」演算子で結合したり、「format」や「%s」を利用する必要はない。

以下は極端に改行した例だ。

sample = ('http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
          'prec_no=44&'
          'block_no=47662&'
          'year=2012&'
          'month=8&'
          'day=&view=')

当然改行しても、format や %s 等は正常に動作する。

%s を利用した例。

sample = ('http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
          'prec_no=%s&block_no=%s&year=%s&month=8&day=&view='
          % (44, 47662, 2012))

format を利用した例。

sample = ('http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
          'prec_no={}&block_no={}&year={}&month=8&day=&view='
          .format(44, 47662, 2012))

これで横 79文字制限を避けることができる。

複数 import 文の改行

import 文に「*」を使わないようにすると、複数の import 文だと横に長くなる場合がある。

from mongoengine import BooleanField, DecimalField, DateTimeField, EmbeddedDocumentField, StringField

文字列の場合と同様「()」を利用することで、改行が可能だ。

from mongoengine import (
    BooleanField,
    DecimalField,
    DateTimeField,
    EmbeddedDocumentField,
    StringField,
)

メソッド呼びだしなどが長い場合の改行

メソッドの中でメソッドを呼び出すと、横に長くなる傾向がある。

sample_function(foo_function(bar_function('test')))

以下のように改行できる。

sample_function(
    foo_function(
        bar_function('test')))

ただ、このようなコーディングは本来は避けた方が良いだろう。

1行79文字を越えるのは設計かコーディングが変だと考えること

文字列やimport文以外で、1行79文字を越えなければいけないのは完全にコーディングがおかしい。
引数が多すぎるメソッドやメソッドの中でメソッドの呼び出しはオブジェクト指向を理解しているとは言いがたいコーディングである。
1行79文字を越えた場合、おかしい、と考えるべき。

結論

pep-8 は非常に良く考えられたコーディング規約だ。完全準拠したコーディングを愚直に実施してみると、その真の意味が理解できるようになるだろう。

2012年9月6日

pyquery で XML の namespace を扱う

概要

pyquery は XML を JQuery のように処理するこができる。
XML の namespace も処理することができる。

処理するXML

pypi は 各パッケージに DOAP(Description of a Project) が提供されているので、サンプルとしてこれを処理する。
pyquery 1.2.1 の DOAP は http://pypi.python.org/pypi?:action=doap&name=pyquery&version=1.2.1になる。

DOAP の形式確認

DOAP は RDF で、pypi の DOAP は以下のような形式になっている。

<?xml version="1.0" encoding="UTF-8" ?>
<rdf:RDF xmlns="http://usefulinc.com/ns/doap#"
         xmlns:foaf="http://xmlns.com/foaf/0.1/"
         xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#">
<Project>
<name></name>
<shortdesc></shortdesc>
<description></description>
<homepage></<homepage>
<maintainer>
<foaf:Person>
<foaf:name></foaf:name>
<foaf:mbox_sha1sum></foaf:mbox_sha1sum>
</foaf:Person>
</maintainer>
<release><Version><revision></revision></Version></release>
</Project></rdf:RDF>

サンプル

revisionの中身を取るには以下のようにする。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from pyquery import PyQuery as pq


def main():
    url = 'http://pypi.python.org/pypi?:action=doap&name=pyquery&version=1.2.1'

    # namespace
    namespaces = {"ns": "http://usefulinc.com/ns/doap#"}
    # pyquery
    query = pq(url, parser='xml')

    # revision の取得
    revision = query('ns|revision',
                     namespaces=namespaces).text()

    print revision


if __name__ == '__main__':
    main()

どうやって調べるのか

Python 系のパッケージはだいたいテストソースが付いている。
pyquery のテストソースには namespace の処理例が書いてある。
namespace の処理以外にも pyquery で可能な処理がほとんど書いてあるので、テストソースを読むと大体の事は解決する。

2012年9月5日

pyquery を利用して気象庁のWebサイトから過去の気象データを取得する

概要

pyqueryを利用してスクレイピングをする。
気象庁のWebサイトから過去の気象データを取ってみる。

注意点

スクレイピングは相手サーバに負荷をかけないように注意すること。この記事を参考にして、問題が発生しても一切責任は取らない。自己責任でどうぞ。

pyquery について

jQuery 風にHTML/XML が操作できるのが特徴。パーサーに lxml を利用するのでパース速度も高速で、lxml に可能なことは、大体可能。
この分野だと、beautifulsoupも有名。pyqueryとどちらを利用するかは好みの問題。

pyquery のインストール

pip でインストールできる。lxml に依存している。

pip install pyquery

サンプルソース

2012年8月の東京の平均気温を取得するサンプル。
以下のサンプルはまったく汎用的にしてないが、jQueryを知っていればかなり簡単。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from pyquery import PyQuery as pq


def main():
    # 気象庁 東京 2012年8月データ
    url = ('http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?'
           'prec_no=44&block_no=47662&year=2012&month=8&day=&view=')
    #  pyquery
    query = pq(url, parser='html')
    # title の取得
    title = query('title').text()
    # 日毎を取得
    day = query('.data_0_0')

    print title
    for i, item in enumerate(day):
        if i % 20 == 5:
            print('{:02d}日の平均気温 {} ℃'
                  .format(i / 20 + 1, pq(item).text()))

if __name__ == '__main__':
    main()

2012年9月4日

Emacs での Python コーディングに python-mode.el でも標準の python.el でもない python.el を使ってみている

概要

Emacs 上で Python をコーディングする場合のモードはどれを使うのが良いのかを再検討中。

モードの候補

EmacsでPythonコーディングをする場合、複数のモードが存在する。
以下の3つが選択肢になる。

Emacs 標準の python.el は大分良くなってきたが、機能がちょと不足している。また、自動インデントが pep-8 に対応していない部分がある。

長い間python-mode.el in Launchpadを利用してきたが、補完関連は非常に強力なのだが、やはり自動インデントが pep-8 にちゃんと対応していない部分がある。

インデントが一番意図通りに動作するのが fgallina/python.el · GitHubだったので、これを利用してみている。

設定

本日時点では以下のような設定にしている。補完は iPython 上でやってしまうため、今の所補完関連の設定はしているが、ちゃんと動作していない。

おためし中

もうしばらく利用してみて、python-mode から完全に移行するか検討する。

2012年9月3日

ps の出力を grep する時「grep -v grep」しないで grep 自身のプロセスを取り除くには "[プ]ロセス名"

概要

psの出力をgrepする場合、grep 自身が含まれる。取り除く場合「grep -v grep」を利用するが他の方法もある。

"[プ]ロセス名"

zsh のプロセスを grep する場合は以下のようにする。

ps aux | grep "[z]sh"

簡単な解説

[ ] は囲まれた文字のリスト中の一文字にマッチする。
「grep "[z]sh"」とダブルクォートで囲み[ ]を使うことで grep の プロセスは「grep "[z]sh"」になる。
実際のプロセスの検索は「z」一文字と「sh」という意味で検索されるため、grep のプロセスは一致しなくなる。

課題

これは手で grep する時用な気がしている。スクリプトの中で grep 対象が変数に格納されている場合は「grep -v grep」の方が書くのは楽。

元ネタ

結構昔から利用しているので元ネタはすっかり忘れたが、おそらく元ネタはこのあたり。ps -ef | grep hoge | grep -v grep ではなく、ps -ef | grep [h]oge - hogehoge @teramako

2012年9月2日

OS X で tmux のバッファをクリップボードでも使う

概要

OS X で tmux を利用していると tmux のバッファをクリップボードでも使いたくなる。 tmux の標準機能にはないので、設定する。

設定

OS X の tmux のバッファをクリップボードでも使えるようにするソースがGitHubで開発されている。
ChrisJohnsen/tmux-MacOSX-pasteboard · GitHub

マニュアル通りにコンパイルしても良いが MacPorts や homebrew でもインストールできる。

MacPortsの場合

sudo port install tmux-pasteboard

homebrewの場合

brew install reattach-to-user-namespace

tmux.confは以下のように記述する。

set -g default-command "reattach-to-user-namespace -l zsh"
unbind ^y
bind ^y run "tmux save-buffer - | reattach-to-user-namespace pbcopy"
unbind ^p
bind ^p run "reattach-to-user-namespace pbpaste | tmux load-buffer - && tmux paste-buffer"

残課題

この設定だと Mac と Linux で tmux.conf を共有する場合は工夫しないとだめそう。

2012年9月1日

Emacs 24 の Emacs Lisp スクリプトで shebang を書いても Lexical Scope を有効にする方法がわからない(解決)

概要

Emacs Lisp は Emacs 24 から Lexical Scope が利用できるので、コマンドラインスクリプトが書き易くなった。
Emacs 使いはこの際、スクリプトを Emacs Lisp で書けば良いのぢゃないかと思った。
でも、shebang を書いて実行すると Lexical Scopeが有効にならないみたい。

普通にスクリプトとして実行

Emacs では Emacs Lisp をスクリプトとして実行できる。

;; -*- coding: utf-8; lexical-binding: t -*-
(message "hello world")
以下で実行する。
emacs --script sample.el

shebangを利用できるか

「emacs --script」で起動するのでなく普通にスクリプトとして起動したい。

chmod 755 sample.el
./sample.el

でも、「shebang」(シバン or シェバン)(!#) を書くと Lexical Scope が有効にならない。

#!/usr/bin/env emacs --script # -*- coding: utf-8; lexical-binding: t -*-
;; これは正常に動作しない。 2番目の # 以降が無視される。
;; 2番目の # を先頭にすると shebang が無視される。
;; 2番目の # を ;;; とかに変更すると文法エラーになる。

以下のように書いても Lexical Scope が有効にならない。

:;exec emacs -batch -l "$0" "$@" --no-site-file -q  # -*- coding: utf-8; lexical-binding: t -*-

知りたいこと

ソースまで調べていないので、shebangの利用をしながら Lexical Scope が有効にできるか不明。
「emacs --script」で起動すれば良いので、困るわけではないが、なんか方法があるなら知りたい。

補足:Emacs Lisp でコマンドラインスクリプトを作成する

Emacs Lisp でコマンドラインスクリプトを作成したい方は、「スクリプト言語としてのEmacs Lisp」を参照するとわかりやすい。

追記

2012年09月01日深夜追記

cvmat@twitterからの指摘。
「GNU Emacs Lisp Reference Manual 11.9.4 Using Lexical Binding」に「Note that unlike other such variables, this one must be set in the first line of a file. 」の記述があり、1行目にしか書けない。
1行目に書くパターンでも shebang を書いた状態で認識させる方法が無いみたい。
現在の仕様では無理みたい。

2012年09月01日深夜さらに追記

cvmat@twitterから「exec」で「/dev/stdin」を使う方法を教わりましたので以下みたいにしたら動作しました。
安全かどうかとか、これが綺麗な書き方かとかはまだ詳細に考えていませんが動かす方法があることはわかりました。ありがとうございます。

:;exec emacs --script /dev/stdin <<EOF
;; -*- coding: utf-8; lexical-binding: t -*-
(setq x 1)
(defvar y 2)

(defun one ()
  (message "one: x = %d, y = %d" x y)  ;; x = 1, y = 5
  (+ x y))

(defun two ()
  (message "two: x = %d, y = %d" x y)  ;; x = 1, y = 2
  (let ((x 3)
        (y 5))
    (one)))

(message "%d" (two))  ;; 6 が表示される(x = 1, y = 5の加算)
;:EOF