python

DLSite.comのHTMLが微妙に変わったようだ

主な情報はヘッダから採るようにしているが、やはり少々影響は受ける。 PythonとJavaの混成アプリで今回影響を受けたのはPython部分。Pythonは普段使わないからすぐ忘れてその度に文法をWebで検索して思い出す…。インデントで挙動が変わるのだけはどうかと思…

Javaに移植

という訳でPythonが終わったので、Pythonでやってた処理をJavaに移植。まぁApache Commons様があればちょろいものよ…子プロセスの標準出力を受けてファイルに出すスレッドを一々準備するのがちょっと面倒だけど。 ただ、既存のXMLの構造を探りながら徐々に作…

Python終了のお知らせ2

ソースからのビルドにも失敗したので、今度は別PCにインストール後、C:\Python32\をディレクトリごと固めてこのPCにコピー。パスを直下とDLLsとlibsに通してpythonコマンドを実行すると python32.dllが見つかりません エラー。ちなみにC:\Python32\配下にpyt…

Python 3.2.2のビルド

という訳でPython 3.2.2をソースからビルドする羽目に。こういうの苦手なんだが…昔から一発で通った試しがあまり無い。でもWindowsだしUnix程#ifdefの迷路って訳でも無いだろう…多分…。 http://www.python.org/download/releases/3.2.2/ から Gzipped source…

Python終了のお知らせ

3.2.1をアンインストールして、3.2.2をインストールしようとしたところ、インストーラが msiexec.exe の 0x6d6d5eaa でハンドルされていない例外が発生しました: 0xC0000005: 場所 0x00000020 を読み込み中にアクセス違反が発生しました。 で必ず異常終了す…

サイト更新用プログラム

SJCPも無事終わったので、再び取り掛かる。大体の所は完成して確かにXMLを読んでテキストを吐く処理に関してはJavaより簡潔。ただ「〜」他の文字コード問題とか、PHPで末尾に使うとマズイ文字とか細々したのがまだ。Jythonとかなら自作クラス呼べたのだろう…

IDLE

を使って何度も実行していると、pythonw.exe ってプロセスがどんどん増えていく不気味な謎。そしてその内、IDLEが固まってプロセスをKILLすることになる。 http://ar.aichi-u.ac.jp/python/idle/ この辺?

Pythonは

XMLをちょっと操作するとかのワンライナーには良いんだが、print文に日本語入れると実行時にエラーになるのがいやん。 IDOLに到ってはソース中に日本語コメント入れるとセーブ時に文句を言う始末。 多分文字コードが何か制限があるんだろうな。utf-8じゃなき…

スレッドプーリング

の雛形が無いかなー、と思ったら ここにあった。 import threading import random import Queue import time class ThreadPool: def __init__(self, count): self._queue = Queue.Queue(0) # infinite sized queue self._threads = [threading.Thread(target…

文字化け大体解決

Java -> SQLite3 -> Pythonで文字化け無し。 要素技術はクリアしたので後は組み込むばかり。 →うむ。組み込んだ。明日実地で試す。

波ダッシュ問題一部解決

文字列をshift_jisなtxtに書き出す前にutf-8の段階で、301cをff5eに置換するとOK。 str=str.replace(u'\u301c', u'\uff5e')

波ダッシュ問題

うーむ…。ファイルへのwriteメソッド中でunicode -> shift_jis をやってるから手を出せない事が判明。面倒だな。 見たところ、\u301Cをshift_jisに変換させると?になってしまう(←これがイカン!!)し、かといって、\uff5eをshift_jisに変換させようとすると…

SQLiteから日本語読み込み

Javaで書き込んで、Pythonから読み出すんだけど db = sqlite3.connect(DB_FILE_NAME) sql = "select * from "+TABLE_NAME print sql list = db.execute(sql).fetchall() for item in list: print item[1]+" "+item[5] db.close で、2桁目と5桁目が日本語(U…

Python文字化け

〜が?に。うむ、これはJavaでも通った道。UTF-8 Windows-31Jで出るんだよね。 Pythonではどうやって回避すれば良いのか調査中。いやまぁ変換前にまずそうな数値を書き換えるしかないんだけど。 ① utf8からshift_jisに変換するとき => cp932でencodeする perl…

PythonからJava DBにアクセス

よりも、やっぱJavaからSQLiteにアクセスする方が手馴れてて楽だろうなぁ…。 斎藤L太郎さん版JDBCドライバ SQLite JDBC driver developed by Taro L. Saito is an extension of Zentus's SQLite JDBC driver that enables Java to access SQLite database fi…

PyDevとlxml

http://pypi.python.org/pypi/lxml/2.3beta1 EclipseにPyDevを入れた後に、Windowsにlxmlをインストーラでインストール。 コマンドラインでは import lxml はエラーなし。 PyDevではこれが Unused import: lxml Unresolved import: lxml になる。 lxmlはソー…

URLリストから全部取得

できた。 あとはリスト作成のみ。これはまたHTML解析処理が必要だ…。 →あっさり出来た。大分慣れてきたな。ふふ。

HTML取得できた

ログインが必要なのがちょっと面倒だったけど、Pythonが段々楽になって堕落…。 スクリプト故、ソース(?)に書けばアーギュメント読み込み処理が不要な辺りが特に楽。 近年、VC++ -> Java -> Pythonと簡易に流れてる。 http://2cool.jp/blog/detail/20/ を…

私は漫画は喫茶店で描けないが

漫画販売のアフィリエイト関連スクリプトは組めるのだ。

HTML解析一つ完成、しかし…

うーむ、まぁ多少Javaより簡単な気もするが…。複数行対策にフラグを色々追加してると、気のせいかSAXの時と余り変わらない気もしないでもない。ファイルを1行ずつ読んでるのがイカンのか。 次はログイン機能のあるURLアクセス。urllib2という物を使うらしい…

IDLEのエディタで行番号

って、どうすれば表示されるのだろう…? →不明なので、eclipseにpydev入れた。寧ろ入力する傍から文法チェックされるしディレクトリ管理もできてこっちでいいや。自動アップデートには注意しつつ。

pydevを自動アップデートしたら…

エラいことになってしまってエディタが開けん。 エディターを開くことができません: エディター・クラスをインスタンス化できませんでした。これは通常、引数をとらないコンストラクターの欠落か、エディターのクラス名が plugin.xml でミス・タイプされてい…

文法

を未だにはっきり理解してないので自作クラス中の def exec(): return や def exec(self): return がPyDevで文法エラー Method '!! - nekora.hoge' should have self as first parameter Encountered "(" at line 13, column 5. Was expecting: ... になるの…

ソースがどっか行った!

先日やっとログインにこぎつけたPythonプログラムのソースがどっか行った…。 うーむ…一体何処へ行ったんだ…。

Python版Mechanize

はどうも日本語ドキュメントが見当たらないな。 JavaだとEclipseが編集中に適当にメソッド名を提案してくれるから知らないライブラリでも何となく使えるんだけど、PyDevはこの辺結構サボるし(いや、メソッド内で宣言してたりするとたまにはやってくれるけど)…

Yahoo アプリケーションID取った

割と簡単だった。 lxmlはクビ。いやhtmlも解析できるみたいだし本当は使いたい所だけど。 とりあえずJavaで呼んでみたが普通に成功。RESTは初めてだけど、SOAPと違って上りはXMLをPOSTじゃなくてURLにパラメータ埋め込むのね。URLエンコードたるい。あとはこ…

Python と lxml

lxmlはPython 2.6には未対応とのこと。Python 2.5はもう古く、Windows用バイナリが無し。ソースからビルドしなければならないが、PCBuild8配下のslnをVisual Studio で開くと何の苦労もなく一応、Python 2.5はBuild成功。一応対話型コンソールまでは動くよう…

Pythonは意外にC依存多い?

lxmlを easy_install しようとしたら、libxml2 と libxslt が必要と言われた。もしや…それってCで書かれたネイティブライブラリでわ…yumとかで入れるあれ…。ロリポップでCなCGIはご法度。それ以前にtelnetとかsshとかでは繋げないから入れられん。 C:\Python…

PyDev

Urls to use when updating with the Eclipse update manager Mirrors: * http://pydev.org/updates Nightly builds: * http://pydev.org/nightly http://pydev.org/download.html とか言ってるけど、実際のURLは http://update-production-pydev.s3.amazona…

アフィ自動更新に関するメモ

お役立ちリンクは http://b.hatena.ne.jp/nekora/20100506 にまとめた。 ロリポップではJavaが使えないが、Perl, PHP, Ruby, Pythonが使える。「集合知プログラミング」のサンプルは全部Python。よって実装はPythonに決まり。幸い先日Python本を読んだので文…