MySQLdb & client encoding

Jarosław Zabiełło — Wed, 16 Aug 2006 01:28:00 +0200

MySQLdb to główna biblioteka dla Pythona obsługująca bazę MySQL. Baza ta (od werseji 4.1 wzwyż) ma wbudowany wygodny mechanizm translacji znaków jakie mają być wyświetlane dla klienta. Oczywiście, należy założyć, że natywnym formatem danych dla bazy to UTF-8. Za pomocą prostej kwerendy (SET NAMES latin2) można wymusić aby wszelkie napisy były wypluwane do klienta w wybranym formacie (tu: iso-8859-2).

Ostatnio, przy okazji pracy z Pylons, przyjrzałem się bardzo ciekawemu projektowi: SQLAlchemy. Wszystko wskazuje na to, że SQLObject odejdzie do lamusa (tym bardziej że jego twórca coś go porzucił i planuje stworzyć nowy SQLObject2). SQLAlchemy jest nie tylko znacznie poteżniejszym ORM, ale ma także znacznie lepszą dokumentację niż SQLObject – ok. 117 stron samego tylko manuala.

Jedyny problem, jakie to typowe, to brak czytelnej opcji translacji polskich znaków. Podobny problem swego czasu znalazłem w Django (wysłałem patcha i to poprawili dodając na sztywno “SET NAMES utf8”) W wypadku SQLAlchemy nie ma opcji do definicji kodowania po stronie klienta. Manual wspomina tylko o ustawieniu kodowania dla bazy, a to nie to samo. Okazuje, się, że rozwiązanie jest bardzo proste. Podczas tworzenia połączenia do bazy wystarczy użyć dodatkowych parametrów. Nie ma potrzeby bawienia się w żadne kwerendy “SET NAMES”. Owe parametry to use_unicode i charset:

import MySQLdb
conn = MySQLdb.connect(
    user='root', 
    passwd='', 
    db='test', 
    use_unicode=False, 
    charset='cp1250')

W powyższym wypadku, MySQL będzie zakładał że klient ma odebrać teksty w formacie stringów cp1250. Zaś w wypadku użycia “use_unicode=True” zwracane będą śliczne obiekty unicodowe! Przykładowy plik konfiguracyjny dla Pylonsa korzystającego z SQLAlchemy (config/init.py) może zatem wyglądać np. tak:

from sqlalchemy import *
import sqlalchemy.pool as pool
import MySQLdb

def getconn():
    return MySQLdb.connect(
        user='root', 
        passwd='', 
        db='test', 
        use_unicode=False, 
        charset='utf8')

db = create_engine(
    'mysql://root:@localhost/test',
    pool=pool.QueuePool(getconn, pool_size=20, max_overflow=40), 
    strategy='threadlocal')
metadata = BoundMetaData(db)

test_table = Table('test', metadata, autoload=True)

class Test(object):  
    def __str__(self):  
        return self.title  

test_mapper = mapper(Test, test_table)

W powyższym przykładzie, wymusiłem kodowanie utf8 dla klienta oraz połączenie z bazą działać będzie w puli 20-40 wątków. Właśnie tego mi brakuje w Django: pracy wielowątkowej, bo zużywa ona mniej pamięci. W/w model można użyć w kontrolerze Pylons (controllers/home.py) np. tak:

from myproject.lib.base import *
from myproject.models import *

class HomeController(BaseController):
  def index(self):        
      c.rows = select([test_table.c.id, test_table.c.name]).execute()
      return render_response('/home.myt')

"MySQLdb & client encoding" by climbus

Mon, 05 Mar 2007 09:47:00 +0100

chyba jednak nie. ustawia na true jeżeli jest charset ale później nadpisuje to jeżeli jest opcja use_unicode

"MySQLdb & client encoding" by climbus

Mon, 05 Mar 2007 08:44:28 +0100

z tego co wyczytałem z kadu mysqldb jeżeli jest ustawiony charset mysqldb ustawia use_unicode na true

"MySQLdb & client encoding" by rsz

Thu, 17 Aug 2006 09:08:45 +0200

Dokładnie to samo (na sztywno SET NAMES utf8) musieliśmy whackować do SQLObjecta. Nie ma to, jak dobrze zaprojektowany soft.

"MySQLdb & client encoding" by Riklaunim riklaunim@gmail.com

Wed, 16 Aug 2006 19:40:12 +0200

wszystko fajnie tylko dlaczego twórcy pylons tak olewają dokumentację? Czy myślą że puszczenie linka do myghty i sqlalchemy załatwi sprawę? Zwróciłem im na to uwagę i skończyło się na słowach “poprawy” :|

Jarosław Zabiełło - BLOG: MySQLdb & client encoding

MySQLdb & client encoding

"MySQLdb & client encoding" by climbus

"MySQLdb & client encoding" by climbus

"MySQLdb & client encoding" by rsz

"MySQLdb & client encoding" by Riklaunim riklaunim@gmail.com