Hace unos días vimos que la carga del servidor de Nireblog subía espectacularmente en un horario en el que no suele tener mucha. Tras comprobar que había más de 700 tareas entre apache y mysql, hice un netstat y constaté que la mayoría de las conexiones venían de una sola dirección ip. Se trataba de un bot agresivo de Attributor que estaba haciendo peticiones a diestro y siniestro (del orden de unas 10 por segundo). Tras denegar la ip mediante iptables, recuperamos la carga. Pero eso sólo fue una solución temporal, dado que usan más direcciones y ayer nos volvió a tocar con otra diferente. Así que os voy a contar una serie de soluciones que podemos aplicar ante estos robots chupa-conexiones.
Fichero robots.txt: cuando un robot visita una página, lo primero que solicita es http://www.lapagina.com/robots.txt. En ese documento se le indica si tiene permitido el acceso o no. Esto, claro está, si es un bot bien programado o con buenas intenciones (por ejemplo, las arañas que se usan para extraer direcciones de correo a las que enviar spam no siguen el protocolo ). Por tanto, esta solución puede que no nos valga de mucho. Para decirle que no pase, pondríamos lo siguiente:
User-agent: attributor.com Disallow: /
Para más información sobre el funcionamiento de este fichero, pasaros por robotstxt.org. Además también tenéis un completo listado de User Agents con las ip’s que suelen usar.
Fichero .htaccess: si el bot deja su nombre en el campo user-agent, podremos denegar su acceso en este fichero de la siguiente forma:
Con esto le estamos diciendo a nuestro apache que, a todas las peticiones que le lleguen en las que el campo User Agent tenga la palabra attributor, les devuelva el código 403 : Forbidden. Expliquemos más a fondo la expresión regular que se usa:
^ indica que es el comenzamiento de la URL
.* cualquier cadena alfanumérica
$ indica que es el final de la URL
Como vemos, esto nos librará de conexiones a base de datos, porque no se sirve nada, pero no de las conexiones a nuestro servidor web. Aunque si queremos pagar al bot con su misma moneda, podemos modificar la acción de la regla y en vez de hacer que se deniegue el acceso, se puede redirigir a la página del bot en cuestión (en nuestro caso a www.attributor.com). Recordad que para usar .htaccess tenemos que tener habilitado el modulo mod_rewrite de apache.
Para comprobar si nos está funcionando correctamente este método, podemos hacer una petición simulada desde aquí, donde podemos introducir el User Agent a mano y hacer una petición a nuestra web.
Iptables: si ni siquiera queremos que trabaje nuestro servidor web, podemos rechazar las peticiones con nuestro firewall. Aunque para eso deberemos conocer las direcciones ip que usa el bot. Si las sabemos, podemos agregar la siguiente regla:
iptables -A INPUT -s 64.41.145.240 -j LOG –log-prefix “[BLOQ]=>” iptables -A INPUT -s 64.41.145.240 -j DROP
La primera línea hace que se registre el bloqueo en el log de iptables (en el caso de debian es /var/log/syslog ) y la segunda hace que todos los paquetes que lleguen de esa dirección sean descartados. Si no sabemos todas las direcciones que usan los bots, también podemos aplicar la siguiente solución que nos presentó Ricardo Galli: usar el módulo recent de iptables para que descarte las conexiones si un cliente ha intentado hacer más de 30 en 10 segundos
Aquí os dejo ya la presentación que usaré el sábado en Candelaria en la mesa de “Ciudadanos Inquietos: Emprendedores”. Muchas gracias por todo el feedback que he recibido estos días. Me ha sido de gran ayuda para prepararlo todo y para aclarar muchas ideas.
En la web social, las nuevas plataformas crecen como las setas en primavera. Pero también pocas son las que sobreviven. Y creo que el secreto reside en la masa , o lo que es lo mismo, en ofrecer valores añadidos que atraigan a los usuarios. Eso es lo que pretendemos con Nirewiki. No queremos que se quede en una simple plataforma para crear wikis.
Por ello ya están implementados tres módulos que ofrecen nuevas funcionalidades o bien integran servicios externos (otro punto clave):
Microblogueo: se podrán dejar notas en nuestro wiki al más puro estilo twitter. Si tenéis un wiki con varios usuarios, es una forma interesante para concentrar ideas cortas. Para usarlo, nos iremos a la siguiente página: http://nombre_del_wiki.nirewiki.com/page/notes. Ejemplo.
Feevy: podremos integrar nuestros portales hechos con feevy de una forma fácil. Sólo es necesario introducir nuestro identificador feevy en la página http://nombre_del_wiki.nirewiki.com/page/feevy. Incluso nos permite hacer un filtrado por etiquetas. Ejemplo.
Mapas: si queremos poner puntos en el hiperespacio, con este sencillo módulo lo podremos hacer. Sólo hay que irse a http://nombre_del_wiki.nirewiki.com/page/map y geolocalizar lo que más nos apetezca. Ejemplo.
Y seguro que pronto llegarán más porque David es un no parar. Un auténtico ciclón del php
Por cierto, cada día está más cerca la liberación de código de Nirewiki. Si queréis probarlo, podéis mandarnos un correo a Ketari o a mí.
Que el niño nos está creciendo, es algo evidente. Que hemos intentado optimizar el rendimiento del anterior servidor, también está claro. Pero la casa ya se había quedado pequeña para tantas visitas, así que hemos decidido comprar otra con más habitaciones y baños.
Se trata de un Intel Xeon Clovertown 5310 1.6-A con 2 GB de RAM. Una máquina brutal (aún me quedo embobada viendo sus procesadores…). Aunque eso mismo decíamos de la anterior que albergaba Nireblog y la vamos a tener que cambiar en menos de un año…
Eso sí, esto implica más dinero, que esperamos poder seguir sacando de la publicidad. Si alguien se anima a patrocinar Nireblog, será más que bienvenido
La migración será mañana lunes, 14 de abril, a primera hora (entre las 08:00 y las 09:00 AM – Hora española). No preveemos más de una hora, pero como con Murphy una nunca sabe… no prometemos nada.
Lamentamos las disculpas y esperamos que el cambio sea para mejor.
LOG DE LA MIGRACIÓN 08:40 Hemos empezado un poco más tarde de lo previsto :S 09:30 Copiando los ficheros que se han cambiado desde ayer y la base de datos 09:45 Ya está todo copiado. Hemos cambiado las dns’s y estamos a la espera de la replicación
Parece que los números se ponen redondos con Nireblog. Y es que no deja de crecer, lo que es una alegría pero también una preocupación, puesto que el servidor sufre lo suyo. Eso sí, después de una buena temporada partiéndonos los cuernos para optimizarlo, parece que va mejor (no invocaremos al maligno, que siempre aparece en los mejores momentos…).
Así que al igual que David, hago uso de la estupenda herramienta que ha liberado soitu para mostrar gráficas y os dejo el número de blogs por idioma que hay creados en la actualidad con Nireblog:
Si queréis ver el número de posts, aquí tenéis las estadísticas.
¡Que siga creciendo Nireblog! (aunque poquito a poco, o me va a salir una úlcera de todos los disgustos que me da el servidor…).
El tiempo pasa para todos igual. También es cierto, que hay momentos en los que un segundo parece eterno y otros en los que una hora se pasa en un suspiro. Yo cada día lo valoro más, ya que tengo que aprovechar cada minuto al máximo. Sin embargo, mi memoria es mucho más traicionera. Soy capaz de olvidar el nombre de una persona tan rápido como me lo ha dicho.
Toda esta perorata temporal me sirve como excusa para presentaros una estupenda web, www.circavie.com, desde la que se pueden crear líneas del tiempo (o como dirían los anglosajones: timelines). En ellas se marcan las fechas importantes permitiendo además agregar tanto fotografías como vídeos. Para acceder, o bien nos creamos una cuenta o bien lo hacemos mediante OpenID. Esta buena integración con otras herramientas se demuestra a la hora de poner nuestro Buddy Icon, puesto que se puede exportar el que usamos en Flickr con solo poner nuestro nombre de usuario.
Nos deja embeber y poner en un post las líneas del tiempo u obtener el enlace. Aquí tenéis un ejemplo con el emporio nire* de protagonista:
Destacar que se pueden dejar comentarios sobre los eventos. Como pega, no funcionan las tildes.
Como no tenemos nada más precioso que el tiempo, no hay mayor generosidad que perderlo sin tenerlo en cuenta. Marcel Jouhandeau
Ya está disponible en petit-comité la primera versión GPL v3 de Nirewiki. Como aún está verde, sólo se ha proporcionado a las personas que mostraron interés por el proyecto. Pero si quieres recibir una copia para instalarla, testearla y buscar errores, puedes mandarle un correo a David (ketari en gmail punto com).
Pinta bien, sobre todo porque se presenta la opción de instalar módulos, al más puro estilo wordpress. Un ejemplo de ello es el de feevy, con el que se pueden crear portales fácilmente como éste.
Faltan muchas cosas, pero es ahora cuando necesitamos la colaboración de todos
Esto es un no parar. Si hace poco teníamos a dos niños correteando por el nire-salón (nirudia y niretv), ahora llega otro nuevo bebé. Y en éste tenemos muchas ilusiones puestas porque será el primer bebé libre. Le abriremos las tripas a todo el mundo (esto último me ha quedado un poco macabro… pero es lo que tiene el software libre ).
Queremos crear una plataforma en la que todos participéis y necesitamos ayuda de todo tipo: en diseño, seguridad, traducciones, testeo, … Cualquier cosa que se os ocurra será bienvenida para enriquecer el proyecto. Y por supuesto, lo más importante es generar una comunidad. Si todos tiramos de este carro, tendremos una herramienta instalable en multitud de lugares.
Por descontado, ya contamos con la traducción a multitud de idiomas de la plataforma. Todo gracias a nuestro niretrad querido (en el que también nos podéis ayudar).
¿Qué diferencia Nirewiki de otros sistemas como MediaWiki, DocuWiki, etc, …?
Pues básicamente en que con estas aplicaciones podemos crear un wiki. Con Nirewiki podremos tener una plataforma desde la que crear muchos wikis. Algo así como un WordPress MU para los blogs. Esa es la novedad que creo que hasta ahora no se había implementado (igual me equivoco, pero entonces me tiráis de las orejas ).
La idea es crear un sistema abierto no sólo en el código sino en la utilización de estándares y posibilidades de importar y exportar contenidos en formatos que cumplan los estándares.
No pretendemos reinventar la rueda. Creemos que es positivo reutilizar partes de otros proyectos que llevan funcionando ya muchos años: por ejemplo, para la traducción a otros idiomas utilizamos las traducciones del sistema Mediawiki uno de los más traducidos y que soporta la Wikipedia.
Para la edición de los contenidos utilizamos la versión del editor Wysiwyg utilizada por WordPress, por varias razones. Entre ellas, porque es bastante sencilla de utilizar y está traducida a bastantes idiomas.
En estos momentos ya hay una versión de Nirewiki funcionando, pero somos conscientes que para poder liberar el código con las mínimas condiciones de seguridad y facilidad de uso es necesario darle un buen repaso.
Estamos buscando gente que quiera unirse al proyecto: programadores, diseñadores, o cualquier persona que nos ayude a mejorar las prestaciones del sistema. Mejoras en varios aspectos: usabilidad, accesibilidad y apariencia, pero también en nuevas funcionalidades y en incrementar las posibilidades de reutilización de aplicaciones externas que puedan añadirse a Nirewiki como plugins, themes u otras similares.
Si quieres colaborar con nosotros, pásate por el wiki. Serás bienvenido
Al final no pudo ser y ayer no nos llevamos el premio del Diario Vasco, pero que nos quiten lo bailao (o mejor aún, que nos quiten los pintxos que nos comimos después de la ceremonia ).
Siempre es un gustazo pasarse por Donosti aunque sea en visita relámpago, poder conversar con gente muy activa en el mundo de la red y ver en acción a Golden Apple Quartet (y aún más ver a David en acción echándole cara X’DDD). Resultado: buena compañía, buena comida y bebida y cosas tan gloriosas como esta cuña gratuita para Zebehar:
Hace unos días vimos que la carga del servidor de Nireblog subía espectacularmente en un horario en el que no suele tener mucha. Tras comprobar que había más de 700 tareas entre apache y mysql, hice un netstat y constaté que la mayoría de las conexiones venían de una sola dirección ip. Se trataba de un bot agresivo de Attributor que estaba haciendo peticiones a diestro y siniestro (del orden de unas 10 por segundo). Tras denegar la ip mediante iptables, recuperamos la carga. Pero eso sólo fue una solución temporal, dado que usan más direcciones y ayer nos volvió a tocar con otra diferente. Así que os voy a contar una serie de soluciones que podemos aplicar ante estos robots chupa-conexiones.
). Por tanto, esta solución puede que no nos valga de mucho. Para decirle que no pase, pondríamos lo siguiente:
Esto funciona gracias a 